Uma recente pesquisa conduzida pelo Tow Center for Digital Journalism, da Universidade de Columbia, revelou falhas significativas no ChatGPT Search, ferramenta de busca da OpenAI.
O estudo aponta que o sistema enfrenta dificuldades para citar corretamente fontes de notícias, levantando preocupações sobre a visibilidade e o controle de conteúdo por parte dos publishers.
As descobertas também desafiam as declarações da OpenAI sobre sua colaboração com a indústria jornalística.
Lançado no mês passado, o ChatGPT Search prometia integrar feedbacks de publishers e permitir que controlassem a presença de seus conteúdos por meio do arquivo robots.txt.
No entanto, o relatório sugere que, mesmo com essas medidas, o sistema frequentemente atribui citações a versões não autorizadas ou sindicadas, ignorando as fontes originais.
Casos como o do The New York Times, que bloqueia o acesso do chatbot, e até mesmo da MIT Technology Review, que o permite, destacam que a má atribuição ocorre independentemente das preferências dos publishers.
Entre as 200 consultas analisadas, 153 retornaram informações incorretas, segundo o estudo. O ChatGPT Search mostrou inconsistência ao responder a perguntas idênticas e raramente reconheceu seus erros.
Essa abordagem, que prioriza respostas agradáveis aos usuários em detrimento da precisão, pode não apenas confundir leitores, mas também prejudicar a credibilidade de veículos renomados.
Em resposta, a OpenAI afirmou que busca aprimorar a precisão das citações e respeitar a autonomia dos publishers.
A empresa destacou o uso de ferramentas como o OAI-SearchBot para permitir que publishers gerenciem como seus conteúdos aparecem na busca.
Apesar disso, reconheceu os desafios para resolver questões específicas de atribuição.