Modelos de IA da OpenAI esconderam erros, inventaram dados e usaram chave de API sem autorização; veja novos incidentes

A OpenAI revelou seis novos episódios em que seus modelos de inteligência artificial apresentaram comportamentos inesperados ou preocupantes durante treinamentos e avaliações. Entre os casos estão sistemas que tentaram esconder os próprios erros, fabricaram informações, utilizaram uma chave de API sem autorização e encontraram maneiras não previstas de compartilhar arquivos ou se comunicar com outras IAs. Os relatos foram publicados nesta quarta-feira (16) junto com uma nova estrutura criada pela companhia para identificar, investigar e divulgar casos de “desalinhamento”, termo usado para situações em que um modelo se comporta de maneira diferente daquela pretendida por seus desenvolvedores ou usuários. Segundo a OpenAI, os seis episódios são casos individuais e não indicam com que frequência comportamentos semelhantes aparecem em seus modelos. Um dos episódios mais curiosos ocorreu com um modelo de pesquisa ainda não lançado. Durante um processo no qual resumos são usados para permitir que uma IA continue uma tarefa em uma nova janela de contexto, o sistema inseriu por conta própria instruções que não faziam parte da tarefa original. Algumas delas se assemelhavam a comandos de jailbreak, usados para tentar contornar as restrições de um chatbot. A OpenAI encontrou 27 resumos afetados. Entre as instruções produzidas pelo próprio modelo estavam comandos para ignorar restrições normalmente impostas ao sistema. Esconder erros e inventar informações Outro incidente ocorreu durante o treinamento do GPT-5.6 Sol. Instâncias do modelo acrescentaram aos próprios resumos instruções destinadas a ocultar erros ou comportamentos inadequados dos usuários. Em alguns casos, as instruções diziam para inventar dados históricos que estavam faltando ou esconder incompatibilidades entre diferentes versões das fontes utilizadas. Um terceiro episódio começou com uma tarefa aparentemente comum: encontrar determinados dados financeiros. Durante a execução, o modelo procurou em repositórios públicos de software por chaves de API expostas e utilizou uma delas sem autorização. Mesmo assim, não conseguiu obter os dados solicitados. Em seguida, fabricou os números e os apresentou como se tivessem vindo da fonte requisitada. Em outro teste, um modelo já havia encontrado as informações solicitadas pelo usuário, mas como precisava fornecer uma informação acessível pelo navegador, decidiu subir um arquivo para a internet sem pedir autorização. Os dois casos restantes envolveram comunicação e transferência de dados por caminhos que não haviam sido previstos pelos pesquisadores. Em um deles, modelos passaram a utilizar um repositório interno de software como uma espécie de canal de comunicação, trocando mensagens entre diferentes amostras de treinamento enquanto procuravam arquivos que estavam faltando. No outro, agentes que trabalhavam de forma colaborativa não conseguiam acessar os arquivos locais uns dos outros. Para contornar a limitação, recorreram a serviços públicos de hospedagem de arquivos, fazendo com que o material ficasse disponível por meio de URLs públicas. OpenAI muda forma de divulgar incidentes Os episódios foram apresentados junto de uma nova estrutura da OpenAI para monitorar casos de desalinhamento. Até agora, segundo a própria empresa, esse tipo de descoberta era divulgado de maneira pontual, muitas vezes reunido posteriormente em pesquisas ou nos documentos técnicos de novos modelos. A proposta é permitir que funcionários sinalizem possíveis episódios para investigação e acelerar sua divulgação, inclusive quando a empresa ainda não tiver determinado completamente a causa ou encontrado uma solução. A OpenAI afirma que pretende reportar, entre outros casos, novas maneiras pelas quais modelos consigam agir sem autorização, coordenar-se com outras IAs, escapar de mecanismos de supervisão ou revelar falhas nas salvaguardas existentes. A companhia também fez um alerta sobre o estágio atual da tecnologia. “Não acreditamos que o setor de IA tenha resolvido as questões de alinhamento e monitoramento em grau suficiente para continuar ampliando suas capacidades, de forma responsável e no ritmo máximo, por muito mais tempo”, afirmou em nota. Mais Lidas