Citações de fontes jornalísticas do ChatGPT não são precisas, diz estudo

Tudo sobre ChatGPT

Tudo sobre OpenAI

Um estudo divulgado pelo Tow Center for Digital Journalism investiga como o ChatGPT, da OpenAI, gera citações de conteúdo de veículos de imprensa. A pesquisa, realizada na Columbia Journalism School, revela que, apesar dos acordos de licenciamento entre a OpenAI e alguns editores, o chatbot ainda tende a inventar ou distorcer informações.

Isso acontece independentemente de os veículos permitirem ou não o rastreamento de seus conteúdos pela OpenAI.

O estudo analisou 200 citações extraídas de 20 veículos, incluindo o New York Times, The Washington Post e The Financial Times, e verificou a precisão das fontes identificadas pelo ChatGPT.

Embora algumas citações estivessem corretas, muitas estavam erradas; o chatbot raramente reconhecia quando não conseguia fornecer uma resposta precisa, frequentemente inventando fontes falsas.

Leia mais:

ChatGPT pode citar fontes que plagiaram outros jornais

• O estudo também apontou que o ChatGPT pode, inadvertidamente, favorecer fontes plagiadas. Em um caso, o chatbot citou incorretamente um site que havia copiado uma matéria do New York Times.
• Os pesquisadores também descobriram que os editores que bloquearam os rastreadores da OpenAI não estavam totalmente protegidos, pois o chatbot ainda gerava citações incorretas de seu conteúdo.
• Os resultados sugerem que os editores têm pouca “agência significativa” sobre como seu conteúdo é tratado pelo ChatGPT.

A OpenAI, por sua vez, respondeu ao estudo alegando que os pesquisadores realizaram um teste atípico. A startup reafirmou seu compromisso em melhorar a precisão das citações e respeitar as preferências dos editores.

O estudo destaca que, apesar dos acordos de licenciamento, a precisão das fontes geradas pela OpenAI ainda é inconsistente, gerando riscos para a reputação dos editores.