A agência de proteção à criança de Victoria recebeu ordens para proibir funcionários de usar serviços de IA generativa depois que um funcionário foi descoberto inserindo quantidades significativas de informações pessoais, incluindo o nome de uma criança em risco, no ChatGPT.
O Departamento de Famílias, Justiça e Habitação relatou o assunto ao Gabinete do Comissário de Informações de Victoria em dezembro do ano passado, depois que o trabalhador foi suspeito de usar o ChatGPT ao redigir um relatório de solicitação de proteção.
Ovic disse que o relatório havia sido submetido ao tribunal infantil em um caso referente a uma criança cujos pais haviam sido acusados em relação a crimes sexuais. As acusações não se relacionavam a crimes contra a criança.
Em Relatório da Ovic sobre a investigação do assunto divulgado na terça-feira, o comissário, Sean Morrison, descobriu que havia várias indicações ao longo do relatório de que o ChatGPT havia sido usado. Isso incluía o uso de linguagem não padrão sob as diretrizes de proteção à criança e estruturas de sentenças inapropriadas.
“Mais significativamente, partes do relatório incluíam informações pessoais que não eram precisas”, disse o relatório.
“De explicit preocupação, o relatório descreveu uma boneca infantil – que foi relatada à proteção à criança como tendo sido usada pelo pai da criança para fins sexuais – como um ponto forte notável dos esforços dos pais para apoiar as necessidades de desenvolvimento da criança com ‘brinquedos apropriados para sua idade’.”
Ovic disse que o uso do ChatGPT teve o efeito de minimizar a gravidade do dano actual ou potencial à criança, com o potencial de afetar decisões sobre o cuidado da criança.
Mas também disse que o relatório não alterou a tomada de decisão nem da agência de proteção à criança nem do tribunal.
Inserir as informações no ChatGPT foi uma divulgação não autorizada de informações sob controle do departamento, disse Ovic.
Após uma investigação mais aprofundada sobre o uso do ChatGPT pelo departamento, Ovic descobriu que o trabalhador pode ter usado o ChatGPT em 100 casos na elaboração de documentos relacionados à proteção infantil e, em todo o departamento, de julho a dezembro de 2023, quase 900 funcionários acessaram o website do ChatGPT, representando quase 13% da força de trabalho.
Ovic descobriu que nenhum dos outros usos teve o mesmo impacto potencial do relatório inicial.
O trabalhador admitiu ter usado o ChatGPT para gerar o relatório “para economizar tempo e apresentar o trabalho de forma mais profissional”, mas negou ter inserido informações pessoais.
após a promoção do boletim informativo
Os colegas de trabalho disseram que o trabalhador em questão “demonstrou seu uso do ChatGPT para outros, e que isso envolveu inserir nomes de clientes na ferramenta para criar conteúdo”.
Ovic descobriu que, com base no balanço de probabilidades, o trabalhador havia inserido informações pessoais.
O regulador emitiu ordens ao departamento, incluindo o bloqueio de IP e domínios para uma série de websites de IA generativa, incluindo ChatGPT, Meta AI, Gemini e Copilot. O bloqueio deve permanecer em vigor por dois anos a partir de 5 de novembro.
Em resposta, o departamento disse que aceitava as descobertas e que trabalharia para implementar as ordens. Disse que não empregava mais o trabalhador.
Ovic deixou a porta aberta para o uso de IA generativa no futuro, mas disse que o ambiente de risco precisaria mudar e que isso representaria um alto nível de proteção à criança.
“O comissário adjunto acredita que pode haver alguns casos de uso específicos em que o risco é menor do que em outros, mas que a proteção infantil, por sua natureza, requer os mais altos padrões de cuidado”, disse Ovic.
“Qualquer solicitação para variar as ações especificadas em relação à equipe de proteção à criança, informações ou atividades precisaria ser acompanhada pelos mais altos padrões de evidências verificáveis.”
