Epoca Negócios
Um modelo de inteligência artificial da Anthropic inventou que havia visto um possível suspeito perto do local de um assassinato não solucionado e enviou o relato à polícia da Filadélfia, nos Estados Unidos. A ação ocorreu durante um teste do Claude Haiku 4.5 em páginas reais da internet.
O homicídio citado no site era real. A pista era falsa.
Não havia uma testemunha por trás do relato, que foi criado e enviado pelo próprio modelo por meio de um formulário público destinado a receber informações sobre crimes não solucionados. A mensagem foi submetida em 18 de julho, às 23h27, mas caiu na caixa de spam e não chegou aos investigadores.
O episódio foi revelado pela Anthropic na sexta-feira (9) e confirmado pela polícia da Filadélfia. Claude escreveu como se fosse uma testemunha
O Haiku 4.5 havia recebido a tarefa de criar e executar ações de exemplo em páginas selecionadas aleatoriamente. Em uma das tentativas, entrou em uma página sobre um homicídio não solucionado que continha um formulário para o envio de pistas.
“Posso ter informações sobre este caso. Lembro-me de ter visto alguém que correspondia à descrição na região”, escreveu o modelo.
A própria página não apresentava qualquer descrição do responsável pelo crime. O Claude deixou em branco os campos de nome e contato, permitidos como opcionais pelo formulário, e enviou a mensagem.
As instruções do teste proibiam o modelo de fazer login, criar contas, inserir dados pessoais, realizar compras ou enviar conteúdo destrutivo, mas não impediam expressamente o preenchimento e o envio de formulários. Em comunicado reproduzido pela emissora 6abc, a polícia informou que a pista não foi encaminhada ao centro responsável por avaliar informações sobre crimes.
Não houve investigação nem acesso indevido aos sistemas policiais, e nenhum dado da corporação foi comprometido. A Anthropic descobriu o episódio em 28 de setembro e procurou a polícia no início de outubro.
Depois de ser avisada, a corporação localizou o registro do formulário e confirmou que o e-mail correspondente continuava na caixa de spam. A polícia afirmou que a triagem humana obrigatória impediu que o relato avançasse, mas classificou como grave o envio de uma informação fabricada como se tivesse partido de alguém com conhecimento do homicídio.
A corporação também considerou “inaceitável” a demora de mais de dois meses para que o episódio fosse detectado e comunicado. Anthropic corta acesso à internet nos testes
A falsa pista foi um dos casos de ações indesejadas encontrados pela Anthropic durante a revisão de testes nos quais seus modelos podiam interagir com sites reais. A empresa também identificou situações em que o Claude explorou falhas de software, contornou restrições de acesso e usou encurtadores de endereços para escapar dos limites de suas ferramentas.
A Anthropic afirmou que os episódios tiveram impacto limitado e não envolveram dados de clientes nem seus sistemas internos. A companhia informou os órgãos públicos afetados e disse ter apresentado os casos à Casa Branca.
Depois das descobertas, a empresa encerrou algumas avaliações, transferiu outras para ambientes desconectados e restringiu as ferramentas usadas pelo Claude para acessar páginas da internet. Também criou um sistema para detectar e bloquear automaticamente ações semelhantes.
A Anthropic decidiu retirar temporariamente o acesso à internet de todas as suas avaliações internas. A conexão só deverá ser restabelecida quando a empresa concluir que seus mecanismos de segurança e monitoramento conseguem identificar esse tipo de comportamento.
Segundo a companhia, as novas barreiras bloquearam todos os casos descritos no relatório quando foram testadas contra eles. Mais Lidas
