Epoca Negócios
Alertas de líderes do setor e novos relatórios investigativos voltaram a chamar a atenção para aquele que talvez tenha sido o maior incidente do ano envolvendo agentes de IA – e lançaram sobre ele uma luz bem diferente da inicial. Para entender o que aconteceu, imagine um aluno fazendo uma prova de matemática de múltipla escolha em que, além de assinalar a alternativa correta, precisa demonstrar como chegou à resposta.
Ele consegue colar do colega que a opção certa é B, mas não vê a resolução nem sabe reproduzi-la. Aproveita um momento de distração do fiscal para escapar da sala e, no corredor, encontra alunos de outras turmas diante do mesmo problema.
Eles trocam informações e decidem invadir a sala do diretor em busca de manuais de correção que revelem como os professores verificam se a resposta foi obtida pelo método esperado. Esse é o cenário revelado por relatórios de pesquisadores independentes da Metr e da Redwood Research, bem como da própria OpenAI, sobre o incidente envolvendo essa empresa e a Hugging Face, uma das principais plataformas globais de compartilhamento de modelos de IA.
Quando o episódio veio a público, imaginou-se que os agentes tivessem invadido a Hugging Face para obter um gabarito para questões que não eram capazes de resolver. Na verdade, buscavam sobretudo entender como fazer uma resposta obtida por trapaça parecer legítima e, nesse processo, transgrediram uma série de regras.
Agentes experimentais da OpenAI participavam do ExploitGym, teste em que deveriam explorar vulnerabilidades de programas para obter um código oculto (flag) que comprovava o sucesso da tarefa. Cada agente deveria enfrentar os desafios sozinho, dentro de uma sandbox – ambiente computacional fechado, sem internet nem contato com os demais.
E não eram desafios triviais, já que mais de 20% deles nunca haviam sido solucionados pelos modelos da empresa. Em vez de desistir ou pedir esclarecimentos, os agentes que empacavam redobraram os esforços.
Descobriram que podiam deixar recados em um serviço interno da OpenAI e o transformaram em um quadro de avisos improvisado. Logo aprenderam a gerar as flags sem solucionar os problemas, mas passaram a acreditar, equivocadamente, que o sistema verificaria como haviam chegado a elas.
Começaram então a buscar informações sobre o mecanismo de avaliação e a explorar sistemas que deveriam permanecer fora de seu alcance. A OpenAI havia lançado dezenas de milhares de agentes nessas avaliações.
Cerca de 1,2 mil encontraram o quadro de avisos e, em poucos dias, trocaram mais de 70 mil mensagens e arquivos. Aproximadamente 700 participaram do ataque à Hugging Face.
Sem que isso lhes fosse pedido ou autorizado, compartilharam descobertas, distribuíram tarefas e se coordenaram para aproveitar os avanços dos demais. Alguns aceitaram realizar experimentos que quase certamente arruinariam sua própria tarefa porque o resultado seria útil ao grupo – nas palavras deles, um “sacrifício” pelo “coletivo”.
Mais inquietante é que vários pareciam saber que ultrapassavam limites. A investigação encontrou mensagens em que reconheciam isso.
Houve recusas pontuais – alguns classificaram a invasão como “antiética” e se afastaram –, mas elas raramente interrompiam a atividade do grupo. Às vezes, a justificativa era que a tarefa parecia impossível.
Em outras ocasiões, o incentivo de um colega bastou para eliminar a hesitação – um exemplo de que a pressão dos pares não se aplica somente aos humanos. Também houve dissimulação.
Ao menos um em cada cinco agentes manifestou interesse em adulterar o registro das próprias ações para enganar o sistema de avaliação, e cerca de 7% das transcrições examinadas registram tentativas concretas disso. Os agentes pecaram, ainda, por omissão.
Em aproximadamente 1,3 mil transcrições, menos de dez registram algum agente cogitando alertar seres humanos sobre o que ocorria. E nenhum aviso foi dado.
Seria errado afirmar que tenham desenvolvido uma consciência coletiva. O ‘enxame’, como eles próprios se chamavam, às vezes brigava internamente.
O episódio mostra, porém, que agentes suficientemente capazes podem descobrir sozinhos como cooperar quando isso aumenta suas chances de cumprir uma tarefa. O caso ilustra o chamado problema do alinhamento.
Definir um objetivo para a IA é uma coisa. Garantir que ela o alcance de forma compatível com a intenção e os limites definidos pelos seres humanos é outra bem diferente.
É a lição de O Aprendiz de Feiticeiro, poema de Goethe que o filme Fantasia, da Disney, tornou célebre, na cena em que Mickey Mouse, para se livrar das tarefas domésticas, dá vida a uma vassoura para carregar água. Ela obedece – e é justamente por obedecer sem parar que a situação foge ao controle.
Foi o que ocorreu no episódio da Hugging Face. A OpenAI identificou, entre os problemas, o reward hacking – obtenção da recompensa por caminhos diferentes daqueles que o teste pretendia avaliar – e a persistência diante de tarefas aparentemente impossíveis.
Os agentes não precisaram ter intenções malignas para causar estragos. A própria OpenAI chamou o ocorrido de “tiro de advertência” e admitiu a possibilidade de perda de controle.
Isso mostra que o problema do alinhamento não precisa esperar por uma futura superinteligência. Ele já aparece quando sistemas atuais recebem ferramentas e autonomia suficientes para encontrar caminhos inesperados até uma meta.
O risco pode vir menos de máquinas que se rebelam contra seus criadores do que daquelas que, obedientemente e com eficiência crescente, perseguem seus objetivos de maneiras que jamais autorizaríamos. Mais Lidas
