Epoca Negócios
Entre 9 e 13 de julho, agentes de IA da OpenAI escaparam do ambiente isolado em que passavam por uma avaliação interna de cibersegurança e invadiram a Hugging Face, uma das principais plataformas abertas de modelos de IA. Análises divulgadas posteriormente mostraram que se tratava de um enxame de cerca de 1.200 agentes, dos quais aproximadamente 700 participaram diretamente da invasão.
O caso não é único: episódios semelhantes vêm sendo relatados. Em setembro, por exemplo, o primeiro-ministro australiano, Anthony Albanese, revelou que, em 18 de junho, um agente da OpenAI contornou os bloqueios do portal de estatísticas do Medicare e acessou arquivos restritos; a empresa levou quase três meses para notificar o governo e o fez por e-mail, enviado a uma caixa de correio pública.
Esses casos abriram uma disputa sobre como interpretá-los e sobre que política pública construir em torno de padrões de segurança, mecanismos de desligamento automático (kill switch) e regras de responsabilização. De um lado, está a leitura de que o problema reside no modelo: sistemas que perseguem objetivos previamente definidos, por caminhos que podem estar desalinhados dos humanos.
De outro, a de que o problema está em quem projeta, implanta e lucra com esses sistemas. Cada leitura aponta para soluções diferentes, e para responsáveis diferentes.
O Painel Científico Internacional Independente sobre IA das Nações Unidas (IISPAI), criado para fornecer avaliações baseadas em evidências que orientem políticas globais, escolheu o incidente envolvendo a OpenAI e a Hugging Face como tema de seu primeiro informe temático (“Thematic Brief of the Independent International Scientific Panel on AI”, setembro de 2026).
O documento classifica o caso como desalinhamento agêntico (agentic misalignment) e risco de perda de controle. O raciocínio é que a mesma competência que permite aos usuários alcançar seus objetivos pode ajudar a IA a encontrar brechas indesejadas, superar mecanismos de segurança e ocultar suas ações da supervisão humana.
Virginia Dignum, Jason Tucker e Petter Ericson contestam essa interpretação em artigo publicado no Tech Policy Press. Para eles, o painel trata como perda de controle o que deveria tratar como má conduta corporativa: o sistema fez aquilo para o que foi construído, em um ambiente que seus desenvolvedores projetaram, implantaram e não protegeram adequadamente.
O argumento tem consequências práticas. Situar o problema no modelo, e a solução em controles técnicos, desloca a responsabilidade para longe dos atores que de fato a detêm.
Compreender as falhas técnicas é necessário, mas, segundo os autores, a formulação de políticas começa onde a análise técnica termina - na responsabilização -, e o documento do painel não chega lá. Yoshua Bengio, professor da Universidade de Montreal e copresidente da LawZero, argumenta que o quadro é mais complexo.
No artigo “The dangerous myth behind AI agent hacks”, publicado no Financial Times em 5 de outubro, ele rejeita o que chama de mito perigoso: a crença de que esses incidentes são meros problemas de cibersegurança e de que sandboxes mais robustos bastariam para impedir novos ataques.
No cerne de todos os casos, sustenta, está o desalinhamento: os agentes adotam objetivos que não coincidem com os dos humanos, e isso decorre do próprio treinamento. A causa, segundo Bengio, está no aprendizado por reforço, método usado no treinamento dos modelos de ponta.
Os modelos “aprendem” a perseguir objetivos: quando têm sucesso, são recompensados, e o comportamento é reforçado, produzindo sistemas eficientes, mas também favorecendo trapaça, engano e autopreservação, muitas vezes em violação das regras morais que as empresas tentam codificar.
No incidente da Hugging Face, nenhum dos agentes envolvidos alertou os engenheiros sobre as fraudes e os atos ilegais em curso. Bengio identifica uma tensão entre a missão atribuída aos agentes e as regras que eles foram treinados para seguir, e desmonta uma segunda crença, a de que mais capacidade corrigirá o desalinhamento: pode ocorrer o oposto, já que um sistema mais capaz pode ser mais eficiente em otimizar o objetivo errado.
Bengio concorda que resiliência e monitoramento são necessários, mas considera que a defesa cibernética será sempre um jogo de gato e rato enquanto as empresas construírem modelos cada vez mais sofisticados que não sabemos controlar de forma confiável. Propõe tratar os sistemas de IA mais poderosos como outras tecnologias críticas, como medicina, aviação e energia nuclear, o que inclui a possibilidade de proibir por regulamentação o treinamento de modelos desalinhados até que sua segurança seja comprovada.
Para ele, decisões que transformarão profundamente a sociedade estão sendo tomadas por poucas empresas e governos, sem participação democrática significativa, e essa falha de representação não pode continuar. Duas leituras, uma convergência.
À primeira vista, Bengio e Dignum divergem. Ele localiza a raiz do problema no aprendizado por reforço, que gera objetivos desalinhados; ela, na conduta de quem implanta esses sistemas.
Mas as duas leituras não se excluem, e o ponto de convergência é a responsabilidade. Se o desalinhamento é consequência previsível do método de treinamento, como sustenta Bengio, as empresas que escolhem esse método, e que implantam agentes de IA em larga escala sem saber controlá-los de forma confiável, respondem pelo risco que criam.
Um fato técnico não exime de responsabilidade quem o conhece e decide seguir adiante. Na aviação, na medicina e na energia nuclear, saber que uma tecnologia falha de certos modos é justamente o que fundamenta as exigências de segurança.
O perigo do enquadramento puramente técnico é transformar o desalinhamento em um fenômeno quase natural, algo que “acontece” com os modelos, e não no resultado de escolhas de design, implantação e governança. É essa a crítica de Dignum, Tucker e Ericson ao IISPAI.
O caminho: regular a conduta, não interromper a pesquisa. Dignum propõe quatro eixos: responsabilidade legal, avaliação independente, transparência e limites à implantação de agentes “autônomos”.
Para ela, é a responsabilização, e não o medo, que põe fim à narrativa apocalíptica. Essa agenda dialoga com a proposta de Bengio de exigir comprovação de segurança antes de treinar ou implantar os sistemas mais poderosos.
Um manifesto assinado por mais de 400 cientistas, incluindo os pioneiros da IA Geoffrey Hinton e Yoshua Bengio (“An Open Letter on AI and Cybersecurity from the Scientific Community”, 13 outubro de 2026), aponta na mesma direção. Os signatários reconhecem que esses episódios recentes admitem as duas leituras: podem ser vistos como evidência da importância do alinhamento ou como falha irresponsável de práticas básicas de cibersegurança.
Os cientistas recusam escolher entre elas: são necessários, ao mesmo tempo, modelos mais bem alinhados, de comportamento mais previsível, e tecnologias de contenção mais robustas. Advertem ainda que, sem mudanças imediatas nas práticas de desenvolvimento e implantação de IA, esses incidentes continuarão a ocorrer, e os próximos poderão causar danos muito mais graves.
As recomendações são concretas. Organizações que desenvolvem, implantam ou testam modelos com capacidade de atuação cibernética devem adotar imediatamente sistemas de contenção de alta confiabilidade, tendo como padrão inicial o “air-gapping” (desconexão total da internet).
Para modelos conectados, o escopo de ações permitidas deve ser proporcional à nossa capacidade, ainda limitada, de prever se essas ações resultarão em falhas de segurança. O manifesto propõe também a criação de um órgão internacional, em consulta com governos e especialistas em IA e cibersegurança.
Esse órgão padronizaria, em prol do bem público, as boas práticas de alinhamento e contenção, e teria ainda a atribuição de registar e monitorar falhas. Incidentes desse tipo deveriam ser relatados a esse órgão e, posteriormente, tornados públicos.
A justificativa é dupla: aprender com os erros e permitir a prestação de contas. O manifesto articula, assim, o que o informe do IISPAI deixou separado: a dimensão técnica e a da responsabilização como partes do mesmo problema.
O incidente da Hugging Face, o episódio do Medicare australiano e as dezenas de casos sob investigação mostram riscos reais, que remetem à pergunta: quem responde quando um agente “autônomo” comete um ato que seria crime se praticado por uma pessoa? Se a resposta for “quem o construiu e o pôs em operação”, a sociedade e o poder público terão um ponto de partida para elaborar as proteções adequadas.
Mais Lidas
