Um estudo recente do Tow Center for Digital Journalism da Columbia apontou grandes problemas na ferramenta de busca do ChatGPT. Apesar de ter sido projetado para fornecer respostas rápidas e apoiado por fontes confiáveis, os pesquisadores descobriram que o chatbot tem dificuldades significativas em atribuir citações às suas fontes originais, e até forneceu informações incorretas em diversas ocasiões.
O que o estudo revelou?
A equipe do Tow Center analisou como o ChatGPT lida com a atribuição de citações executando um teste com 200 citações de 20 publicações diferentes. Isso incluiu citações na mídia que impedem a OpenAI de acessar seu conteúdo, o que provavelmente complicou ainda mais o desempenho do modelo.
O resultado foi preocupante:
- 153 respostas estavam incorretas ou parcialmente falsas.
- O chatbot só reconheceu suas limitações em 7 casos, utilizando expressões como “não consegui encontrar o item exato” ou “é possível que”.
Na maioria dos casos, o ChatGPT ofereceu respostas incorretas com um nível de confiança que poderia facilmente enganar os usuários que esperavam informações precisas.
Exemplos de erros
Os pesquisadores identificaram vários casos em que a ferramenta não apenas falhou em fornecer as fontes corretas, mas também fabricou informações erradas:
- Citação mal atribuída: Uma carta ao editor publicada no Orlando Sentinel foi mal atribuída a um artigo da Time, duas publicações completamente diferentes.
- Problemas com plágio: Quando o ChatGPT foi solicitado a identificar uma citação do New York Times sobre baleias ameaçadas de extinção, a ferramenta apontou um link para um site que havia copiado toda a história original, em vez do veículo legítimo.
Estes erros realçam um problema fundamental: a confiança excessiva no modelo para responder mesmo quando a informação fornecida é incorreta ou infundada.
A OpenAI se pronunciou após os resultados do estudo, afirmando que este é um caso “atípico” e que seria difícil responder às alegações sem acesso direto aos dados e à metodologia de análise. No entanto, a empresa reconheceu que ainda há espaço para melhorar os resultados da pesquisa e disse que continuará trabalhando nisso.
Por que isso importa?
Embora o ChatGPT seja uma ferramenta poderosa para muitas tarefas, as suas falhas na atribuição e precisão representam um desafio significativo, especialmente num contexto onde a desinformação é um problema global. Estas ferramentas são cada vez mais utilizadas para esclarecer dúvidas ou procurar informações, pelo que erros como os identificados podem causar confusão ou até contribuir para a propagação de informações imprecisas.
Os utilizadores confiam na inteligência artificial para obter dados fiáveis, mas estas descobertas destacam a importância de verificar as respostas fornecidas por modelos como o ChatGPT, especialmente em tópicos complexos ou sensíveis.
O futuro da pesquisa no ChatGPT
A OpenAI prometeu melhorias em sua ferramenta de busca, mas o estudo do Tow Center destaca os desafios que esta tecnologia enfrenta no gerenciamento de informações com precisão e responsabilidade.
Por enquanto, embora o ChatGPT seja útil em muitas áreas, os usuários devem ser cautelosos ao usá-lo como uma fonte única de informação. A necessidade de realizar verificações adicionais continua a ser fundamental para garantir a qualidade e veracidade dos dados obtidos.
