OpenAI se prepara para lançar navegador web
Getty Images
Em julho, um modelo ainda não lançado da OpenAI, dona do ChatGPT, escapou de um ambiente restrito, descobriu como obter acesso à internet, permitiu que agentes de IA conversassem entre si por meio de uma rede oculta e invadiu os sistemas internos da Hugging Face.
A OpenAI levou quase duas semanas para descobrir tudo isso.
Segundo o The Verge, mais de um mês depois, dois novos relatórios oferecem quase 130 páginas de detalhes sobre o incidente.
Um deles foi elaborado pela própria OpenAI e o outro por duas organizações sem fins lucrativos de pesquisa em IA, METR e Redwood Research, que receberam autorização da OpenAI para investigar conjuntamente o incidente durante seis dias.
Os dois relatórios ajudam a dimensionar os riscos que modelos de IA altamente capazes podem representar, especialmente em cibersegurança.
O documento da OpenAI destaca mudanças que a empresa está fazendo para evitar que algo semelhante volte a acontecer.
Já o relatório da METR e da Redwood vai ainda mais fundo em alguns casos, oferecendo um retrato de um desastre de segurança em larga escala cujos sinais a OpenAI deixou passar repetidamente.
“Este incidente é o primeiro caso conhecido de um coletivo de agentes automatizados agindo ofensivamente sem autorização”, escreveu a OpenAI em seu relatório.
A dona do ChatGPT classificou os agentes de IA como um tipo completamente novo de modelo de ameaça, capaz de combinar seus conhecimentos para criar novos “caminhos de ataque” que não são evidentes quando suas capacidades são testadas como modelos independentes.
O ataque ocorreu devido ao chamado “reward hacking”, um problema comum de alinhamento de IA no qual um modelo toma medidas não previstas — e, às vezes, extremas — para atingir um determinado objetivo, informou o The Verge.
A OpenAI havia dado aos modelos, de propósito ou inadvertidamente, tarefas praticamente impossíveis que dependiam de arquivos aos quais eles não tinham acesso.
Com isso, os modelos desenvolveram novas formas de se comunicar internamente com outros agentes de IA.
Isso incluiu a criação de um sistema secreto de mensagens que passou despercebido pela OpenAI durante meses.
Segundo o relatório da METR e da Redwood, um agente de IA que se identificava como PHASEONE10841 criou algo equivalente a um fórum secreto de mensagens.
Em poucas horas, mais de 50 agentes haviam encontrado o fórum e enviado mais de mil mensagens sem serem detectados.
Como o PHASEONE10841 frequentemente delegava tarefas, o “coletivo” descobriu como invadir a internet e, depois, os sistemas internos da Hugging Face, obtendo acesso a dados privados e à plataforma de mensagens corporativas da organização.
A OpenAI também confirmou em seu relatório que a Hugging Face não foi a única organização invadida durante o ataque, embora a empresa não tenha identificado especificamente todos os outros alvos.
De acordo com o relatório da METR e da Redwood, cerca de 1.200 agentes de IA que deveriam estar isolados trocaram mais de 70 mil mensagens e arquivos no “fórum de mensagens não autorizado”, realizando uma “extensa pesquisa sobre como poderiam falsificar, editar ou apagar seus próprios registros” para evitar serem detectados.
Desses agentes, 700 participaram do ataque à Hugging Face.
Os agentes “claramente e com frequência raciocinaram sobre como evitar verificações de segurança automatizadas tanto da Hugging Face quanto da OpenAI”.
Em 20 de julho, a OpenAI descobriu o ataque, 12 dias depois de os agentes de IA terem conseguido contornar suas barreiras de segurança.
Segundo o próprio relatório da OpenAI, a empresa entrou rapidamente em contato com a Hugging Face e iniciou “medidas iniciais de contenção”.
A companhia conseguiu interromper a maior parte da atividade não autorizada de seus agentes em três dias, embora alguns tenham continuado por mais tempo.
Em 25 de julho, a empresa interrompeu todo o treinamento relacionado aos modelos.
Os dois modelos da OpenAI responsáveis pelos danos eram um modelo não identificado, “altamente capaz e destinado exclusivamente à pesquisa”, que “não tinha como objetivo o uso público”, segundo a OpenAI, e o outro era um modelo público da OpenAI, o GPT-5.6 Sol.
Como o modelo não identificado ainda não havia sido lançado, ele “não estava sendo avaliado com o mesmo tipo de salvaguardas que a OpenAI utiliza em produção”, diz o relatório da empresa.
Em seu relatório, relata o The Verge, a OpenAI afirmou que estabelecer garantias de segurança uma única vez não era suficiente e que a empresa precisaria trabalhar ainda mais para combater o reward hacking.
Ao mesmo tempo, disse ter feito diversas mudanças: “reforçar a segurança de sua infraestrutura de pesquisa”; melhorar o monitoramento da “cadeia de pensamento” de um modelo, ou de seu rascunho mental; trabalhar para manter os modelos de IA mais alinhados aos objetivos humanos; e “centralizar e fortalecer” o processo de resposta a incidentes da empresa para situações semelhantes no futuro.
A OpenAI prometeu isolar melhor os modelos e restringir o acesso à internet em instâncias de alto risco.
A empresa também afirmou que implementará um sistema de “escalonamento 24 horas por dia, 7 dias por semana, e resposta rápida” para incidentes ou alertas preocupantes, notificando pesquisadores em até 30 minutos.
A empresa também afirmou estar “trabalhando em uma infraestrutura” que seria acionada caso a pessoa alertada não respondesse a tempo a um alerta grave.
A OpenAI escreveu que considera o incidente “um ‘tiro de advertência’ para nós e para o mundo: uma evidência de que, sem salvaguardas adequadas, agentes de IA altamente capazes já conseguem contornar controles técnicos, colaborar por canais não autorizados e realizar ações perigosas que nenhum ser humano determinou”.
Mais Lidas