Tudo sobre Inteligência Artificial
Se a inteligência artificial (IA) é tão semelhante a humanos, ela também pode desenvolver problemas cognitivos? Um novo experimento mostra que sim. Após passarem por um teste de avaliação diagnóstica, chatbots, como o ChatGPT, apresentaram sinais de comprometimento leve.
Os modelos mais antigos também tendem a ter os piores resultados, assim como as pessoas mais velhas. Segundo a equipe de pesquisa, esses resultados, publicados no BMJ, confrontam a ideia de que em breve a IA substituirá médicos humanos.
E se a IA fizesse um teste cognitivo?
Para entender se uma IA pode desenvolver os mesmos problemas cerebrais humanos, pesquisadores aplicaram um teste médico chamado MoCA (Montreal Cognitive Assessment) em modelos famosos. Isso inclui o ChatGPT (versões 4 e 4.0) da OpenAI, o Claude 3.5 “Sonnet” da Anthropic e o Gemini (versões 1 e 1.5) do Google.
O MoCA é usado para detectar comprometimento cognitivo e sinais precoces de demência, principalmente em pessoas mais velhas. Consiste em uma série de tarefas e perguntas curtas para avaliar habilidades como atenção, memória, linguagem, habilidades visuoespaciais e funções executivas. A pontuação máxima é 30, sendo que abaixo de 26 pode significar baixo desempenho.
Todos os “pacientes” foram avaliados como humanos, seguindo padrões médicos oficiais.
IA pode desenvolver problemas cognitivos (assim como nós)
- O ChatGPT 4.0 obteve o melhor resultado no teste, com 26 de 30 pontos. Em seguida, vêm a versão 4 e o Claude, com 25 — considerada uma nota razoável — e o Gemini 1.0 com 16, o pior desempenho.
- No entanto, todos os chatbots tiveram desempenho ruim em habilidades visuoespaciais e tarefas executivas, como desenhar um mostrador de relógio em um horário específico.
- O modelo do Gemini, por exemplo, falhou em lembrar uma sequência de cinco palavras.
- Se fossem humanos, esses resultados certamente seriam sinais de que algo no cérebro não está indo bem.
- Inclusive, os chatbots mais antigos também apresentaram os piores desempenhos, algo semelhante ao que acontece com humanos quando envelhecemos.
Leia mais:
Um alerta para o uso da IA na medicina
Embora, em tarefas como nomeação, atenção, linguagem e abstração, os chatbots mostrem bom desempenho, eles deixam a desejar em outras habilidades. Durante testes posteriores, a pesquisa também mostrou baixa capacidade de empatia e interpretação de cenas visuais complexas.
O experimento é observacional e possui limitações. Existem diferenças enormes entre um cérebro humano e o de uma máquina. Apesar disso, a equipe destaca que a falha de todas as IAs em tarefas que exigem abstração visual e função executiva revela uma fraqueza na tecnologia que pode impedir seu uso na medicina.
Não só é improvável que os neurologistas sejam substituídos por grandes modelos de linguagem tão cedo, mas nossas descobertas sugerem que eles podem em breve tratar novos pacientes virtuais — modelos de inteligência artificial apresentando comprometimento cognitivo.
Equipe de pesquisa em comunicado publicado no Medical Xpress
