A OpenAI tem um sistema para colocar marca d’água em texto criado pelo ChatGPT e uma ferramenta para detectar a marca d’água pronta há cerca de um ano, relata Jornal de Wall Street. Mas a empresa está dividida internamente sobre se deve ou não lançá-lo. Por um lado, parece a coisa responsável a fazer; por outro, pode prejudicar seus lucros.
A marca d’água do OpenAI é descrita como um ajuste de como o modelo prevê as palavras e frases mais prováveis que seguirão as anteriores, criando um padrão detectável. (Isso é uma simplificação, mas você pode conferir a explicação mais aprofundada do Google sobre a marca d’água de texto do Gemini para mais informações).
Oferecer qualquer maneira de detectar material escrito por IA é uma bênção potencial para professores que tentam dissuadir os alunos de entregar tarefas de escrita para IA. Diário relata que a empresa descobriu que a marca d’água não afetou a qualidade da saída de texto do seu chatbot. Em uma pesquisa encomendada pela empresa, “pessoas em todo o mundo apoiaram a ideia de uma ferramenta de detecção de IA por uma margem de quatro para um”, o Diário escreve.
Depois de Diário publicou sua história, a OpenAI confirmou que trabalhou na marca d’água do texto em uma atualização de postagem de blog hoje que foi vista por TechCrunch. Nele, a empresa afirma que seu método é muito preciso (“99,9% eficaz”, segundo documentos da Diário viu) e resistente a “adulteração, como paráfrase”. Mas diz que técnicas como reformulação com outro modelo o tornam “trivial para contornar por maus atores”. A empresa também diz que está preocupada com a utilidade das ferramentas de IA de estigmatização para falantes não nativos.
Mas parece que a OpenAI também está preocupada que o uso de marcas d’água possa desanimar os usuários pesquisados do ChatGPT, quase 30% dos quais disseram à empresa que usariam menos o software se a marca d’água fosse implementada.
Apesar disso, alguns funcionários ainda acreditam que a marca d’água é eficaz. À luz dos sentimentos incômodos dos usuários, no entanto, o Diário diz que alguns sugeriram tentar métodos que são “potencialmente menos controversos entre os usuários, mas não comprovados”. Em sua atualização de postagem de blog hoje, a empresa disse que está “nos estágios iniciais” de explorar a incorporação de metadados. Ela diz que ainda é “muito cedo” para saber o quão bem isso funcionará, mas que, como é assinado criptograficamente, não haveria falsos positivos.
As informações são do The Verge, site especializado em tecnologia
É uma publicação focada em tecnologia e seu impacto cultural.
