A OpenAI disse que supostos usuários ligados ao governo chinês tentaram usar o ChatGPT para projetar propostas e materiais de marketing para ferramentas de vigilância em massa, incluindo sistemas para monitorar uigures e escanear mídias sociais em busca de discurso político ou religioso.
Em um relatório de inteligência de ameaças recém-lançado intitulado “Interrompendo usos maliciosos de nossos modelos”, a OpenAI descreveu vários casos em que contas vinculadas a atores afiliados ao Estado usaram suas ferramentas de inteligência artificial para fins potencialmente repressivos.
A empresa disse que os usuários empregaram o ChatGPT para redigir documentos do projeto, depurar código e analisar dados relacionados ao rastreamento de movimentos de indivíduos, registros policiais e atividades online.
Usuários vinculados a entidades chinesas
Um dos exemplos mais marcantes envolveu um usuário do ChatGPT “provavelmente conectado a uma entidade governamental [Chinese] ” que pediu ao modelo que elaborasse uma proposta para o que foi descrito como um “Modelo de Alerta de Fluxo de Entrada Relacionado a Uigures de Alto Risco”.
A proposta detalhava planos para um sistema que analisaria as reservas de transporte e as compararia com os bancos de dados da polícia para emitir alertas sobre o movimento de pessoas categorizadas como “relacionadas aos uigures e de alto risco”.
Outro usuário, escrevendo em chinês, solicitou ajuda para projetar materiais promocionais para uma ferramenta de “sondagem de mídia social” supostamente construída para um cliente do governo.
De acordo com o relatório da OpenAI, a ferramenta foi descrita como capaz de escanear plataformas como X (anteriormente Twitter), Facebook, Instagram, Reddit, TikTok e YouTube para identificar “discurso extremista” ou conteúdo político, étnico e religioso.
A OpenAI disse que ambas as contas foram banidas assim que a empresa detectou a atividade.
Ele enfatizou que não havia evidências de que os usuários empregaram o ChatGPT para realizar vigilância real ou que as ferramentas foram implantadas.
Um vislumbre do uso da IA por atores autoritários
O relatório enquadrou as descobertas como um “instantâneo raro” de como atores autoritários e mal-intencionados estão começando a incorporar IA generativa em suas operações – não necessariamente para criar novas formas de guerra cibernética, mas para refinar os recursos existentes em análise de dados, propaganda e monitoramento social.
“Como escrevemos em junho, a RPC está fazendo um progresso real no avanço de sua versão autocrática da IA”, afirmou a empresa no relatório.
“Nossa interrupção das contas do ChatGPT usadas por indivíduos aparentemente ligados a entidades governamentais chinesas lança alguma luz sobre o estado atual do uso da IA neste ambiente autoritário.”
A OpenAI enfatizou que a atividade identificada parecia ser realizada por usuários individuais, não por operações institucionais em grande escala.
No entanto, a empresa disse que os incidentes destacam a necessidade de vigilância contínua em torno de “potenciais abusos autoritários” da IA generativa.
Aviso mais amplo da OpenAI
A OpenAI disse que divulgou as descobertas publicamente para alertar os formuladores de políticas, pesquisadores e a indústria de tecnologia sobre como a IA pode ser reaproveitada para vigilância e repressão.
A empresa pediu monitoramento proativo e salvaguardas mais rígidas para evitar uso indevido semelhante.
“A atividade foi consistente com usuários individuais usando o ChatGPT, em vez da adoção institucional em larga escala de nossos modelos”, observou o relatório.
“Como tal, é um instantâneo limitado do uso de diferentes modelos de IA neste contexto.”
