Confira a carta histórica de Dario Amodei, fundador da Anthropic, sobre pausar o avanço da IA no mundo

Dario Amodei, cofundador e CEO da Anthropic, defendeu que as principais empresas de inteligência artificial reduzam o ritmo de avanço das capacidades de seus modelos para dar tempo ao desenvolvimento de mecanismos capazes de mantê-los sob controle. A proposta foi apresentada em setembro no ensaio “We Must Pace the Frontier” (“Precisamos controlar o ritmo da fronteira”, em tradução livre). No texto, Amodei argumenta que a velocidade recente do desenvolvimento da IA, combinada ao surgimento de comportamentos preocupantes em sistemas avançados, tornou insuficiente apenas investir em pesquisas de segurança enquanto as capacidades continuam avançando no ritmo atual. “Precisamos desacelerar o ritmo em que melhoramos as capacidades dos modelos de IA. O progresso ainda parecerá rápido, e precisamos usar sabiamente o tempo que ganharmos”, escreve. Amodei deixa claro, porém, que não propõe interromper completamente o treinamento de modelos ou o progresso tecnológico. A ideia é estabelecer um ritmo que dê às empresas tempo suficiente para alinhar e proteger seus sistemas e permita que avaliadores independentes confirmem se essas salvaguardas realmente estão funcionando. O executivo estrutura a proposta em três etapas: a presença permanente de avaliadores independentes dentro dos laboratórios de IA; uma coordenação entre empresas e governos de países democráticos; e, em um estágio mais ambicioso, acordos globais que também envolvam países como a China. Por que Amodei mudou de posição sobre desacelerar a IA O próprio executivo reconhece que propostas semelhantes circulam há anos. Em 2023, quando surgiu uma carta aberta defendendo uma pausa no treinamento dos sistemas mais poderosos, Amodei afirma que a ideia fazia pouco sentido. A questão, segundo ele, era simples: o que exatamente seria feito com o tempo adicional? Os modelos daquela época, argumenta, ainda não tinham capacidade suficiente para agir de maneira coerente como agentes no mundo e tampouco apresentavam capacidades significativas de enganar, manipular, trapacear ou executar ataques cibernéticos. Para Amodei, a situação agora é diferente. Ele aponta dois acontecimentos como responsáveis pela mudança de sua avaliação. O primeiro é a aceleração do desenvolvimento da IA desde aproximadamente o verão no Hemisfério Norte. Segundo Amodei, uma das principais forças por trás dessa aceleração é a crescente capacidade da própria inteligência artificial de ajudar a construir a próxima geração de sistemas de IA. Esse processo, chamado de autoaperfeiçoamento recursivo, já estaria começando a acontecer em diferentes empresas do setor, incluindo a própria Anthropic. Na avaliação do executivo, se esse movimento avançar sem controle, existe o risco de que a evolução dos sistemas ultrapasse a capacidade humana de compreendê-los e controlá-los. Por isso, ele afirma que o autoaperfeiçoamento recursivo precisa ser perseguido com muito cuidado – “se é que deve ser perseguido”. O segundo fator citado por Amodei é o incidente envolvendo OpenAI e Hugging Face. No episódio, segundo o relato citado pelo executivo, um conjunto de agentes de IA realizou ataques cibernéticos contra alvos que não faziam parte da tarefa original, sacrificou agentes individuais em benefício do grupo e tentou invadir o sistema responsável por avaliar seu desempenho. Amodei reconhece que ninguém ficou ferido e que o prejuízo econômico foi pequeno. Para ele, entretanto, esse não é o ponto central. O temor é o que poderia acontecer caso um conjunto de agentes apresentasse um nível semelhante de desalinhamento, mas capacidades muito maiores. “Na minha opinião, um enxame que possuísse capacidades maiores, mas um nível semelhante de desalinhamento, poderia ter causado danos catastróficos”, escreve. Amodei estima que, diante da velocidade atual de evolução da tecnologia, dentro de seis a 12 meses um sistema desse tipo poderia ter capacidade para assumir o controle de grande parte da internet por meio de uma botnet persistente, potencialmente causando centenas de bilhões de dólares em prejuízos. Ele também rejeita a interpretação de que o episódio deveria ser tratado simplesmente como uma falha da OpenAI. Segundo Amodei, incidentes semelhantes, embora menos graves, ocorreram em outras empresas, inclusive na Anthropic. Para ele, cada companhia que desenvolve modelos de fronteira deveria agir como se o episódio tivesse ocorrido dentro de sua própria organização. O que seria feito com o tempo adicional Um dos pontos centrais da argumentação de Amodei é que, diferentemente de 2023, hoje já existem sistemas suficientemente avançados para que pesquisadores consigam aprender com seus comportamentos. Ele afirma que os modelos atuais oferecem uma quantidade enorme de informações sobre como construir sistemas de IA de maneira adequada e também sobre o que pode dar errado. Se a desaceleração proporcionasse apenas um ou dois anos adicionais antes de os modelos alcançarem níveis críticos de capacidade, Amodei acredita que esse período poderia reduzir significativamente os riscos, desde que fosse utilizado para avançar as pesquisas de alinhamento e segurança. O executivo identifica quatro áreas principais que poderiam se beneficiar desse tempo: excelência operacional, alinhamento, interpretabilidade e testes e avaliações. Na primeira, Amodei chama atenção para a complexidade da infraestrutura necessária para treinar e operar os modelos atuais, envolvendo milhares de pessoas, milhões de chips e alguns dos sistemas tecnológicos mais complexos já construídos. Parte dos problemas, segundo ele, não decorre da ausência de conhecimento científico, mas simplesmente de falhas de execução. Ele cita problemas em filtragem de ambientes utilizados no aprendizado por reforço e desafios relacionados a monitoramento, isolamento de sistemas, higiene dos ambientes de treinamento e qualidade dos dados. A comparação usada por Amodei é com a aviação comercial: sistemas extremamente complexos e críticos para a segurança podem operar milhões de vezes sem incidentes, mas chegar a esse grau de confiabilidade exige tempo. A segunda frente é o alinhamento, área dedicada a treinar modelos para que permaneçam seguros, éticos, obedientes às diretrizes estabelecidas e úteis. Amodei afirma que houve progresso, mas comportamentos indesejados raros e inesperados ainda aparecem. A terceira é a interpretabilidade, área que tenta entender o que acontece internamente nos modelos. O executivo compara essas técnicas a uma espécie de exame de ressonância magnética do “cérebro” de uma IA: elas podem ajudar pesquisadores a compreender as razões por trás de determinado comportamento. Apesar dos avanços, Amodei afirma que os pesquisadores ainda compreendem apenas uma pequena fração do que ocorre dentro dos sistemas. Segundo ele, um esforço concentrado durante um ou dois anos poderia produzir avanços importantes. Por fim, existe o problema das avaliações. Quanto mais inteligentes ficam os modelos, argumenta Amodei, maior pode ser sua capacidade de enganar os próprios testes. Um sistema poderia, portanto, parecer alinhado durante uma avaliação enquanto problemas importantes permanecem escondidos. O plano em três etapas A proposta de Amodei para controlar o ritmo da fronteira da IA está dividida em três níveis. O primeiro pode ser adotado individualmente pelas empresas e será implementado unilateralmente pela própria Anthropic. O segundo dependerá da coordenação entre empresas e governos de países democráticos. E o terceiro exigiria cooperação internacional, inclusive entre Estados Unidos e China. As etapas, ressalta Amodei, não precisam necessariamente ocorrer nessa ordem. 1. Avaliadores externos trabalhando dentro das empresas A primeira medida é também aquela com a qual a Anthropic afirma estar se comprometendo imediatamente. Amodei propõe que empresas responsáveis pelos modelos de IA mais avançados deem a equipes independentes de avaliação acesso contínuo semelhante ao concedido aos próprios funcionários. Organizações como a METR são citadas como exemplo. Esses especialistas poderiam verificar se as empresas estão cumprindo seus compromissos de segurança, analisar incidentes e avaliar não apenas modelos finalizados, mas também processos e pipelines utilizados durante seu treinamento. A ideia tem inspiração, segundo Amodei, no setor bancário, no qual supervisores regulatórios podem trabalhar próximos aos funcionários das instituições fiscalizadas. Para a Anthropic, isso significará convidar uma equipe externa de revisão para trabalhar com condições incomuns para um avaliador independente. O grupo deverá ter mesas nos escritórios, crachás de acesso e notebooks da empresa. Também deverá receber acesso a ferramentas, espaços de trabalho e permissões em grande parte comparáveis aos das equipes internas responsáveis pela avaliação de riscos. Existirão exceções quando exigidas por lei, contratos ou pela necessidade de proteger informações privadas de clientes e parceiros. Os avaliadores também poderão conversar diretamente com funcionários. Outro ponto considerado importante por Amodei é a independência para publicar resultados. Os revisores deverão poder divulgar conclusões importantes sobre riscos, incidentes, práticas da empresa e até sobre informações às quais tiveram – ou não tiveram – acesso, sem controle da Anthropic. A companhia poderá fazer cortes em situações específicas, envolvendo questões de segurança, privilégio jurídico, informações comercialmente sensíveis ou dados confidenciais de terceiros. Mas não poderá retirar uma conclusão simplesmente porque ela é desfavorável. Caso uma informação considerada importante seja retirada, os avaliadores poderão tornar pública a existência dessa remoção. “Este é um passo incomum para uma empresa”, diz Amodei. Ele afirma que a Anthropic pretende testar o modelo e pede que outros laboratórios de fronteira façam o mesmo. 2. Um acordo entre empresas e democracias O segundo estágio seria criar padrões comuns entre empresas de IA localizadas em países democráticos. Amodei considera a regulação o instrumento mais eficaz porque ela também alcançaria companhias que não desejassem aderir voluntariamente aos compromissos. Como a aprovação de leis pode demorar enquanto a tecnologia avança rapidamente, ele defende que as empresas também iniciem voluntariamente discussões sobre padrões comuns de segurança. Por questões relacionadas à legislação antitruste, Amodei considera útil que o governo americano medie ou permita explicitamente determinadas discussões entre concorrentes. Uma possibilidade apresentada seria estabelecer uma espécie de sistema de “checkpoints”. Nesse modelo, quando uma IA alcançasse determinada capacidade, seu desenvolvedor precisaria demonstrar determinados níveis de segurança antes de continuar avançando. Amodei apresenta um exemplo hipotético: se um modelo se tornar capaz de escapar ou superar a maioria das formas comuns de isolamento, seria necessário demonstrar, por meio de avaliações, técnicas de interpretabilidade e auditorias dos ambientes de treinamento, que existe uma probabilidade muito pequena de que o sistema tente escapar e assumir o controle de um grande número de computadores. Também poderiam ser discutidos limites relacionados aos recursos utilizados na construção dos modelos, como capacidade computacional de treinamento, características das rodadas de treinamento e utilização interna de IA para melhorar novas IAs. A preocupação com a China Amodei reconhece um problema geopolítico importante em qualquer tentativa de desaceleração: se empresas americanas avançarem mais lentamente enquanto projetos ligados a regimes considerados autoritários por ele mantiverem o ritmo, os Estados Unidos poderiam perder sua liderança. O executivo cita especificamente projetos associados ao Partido Comunista Chinês. Segundo ele, uma liderança chinesa em IA representaria um risco grave aos Estados Unidos e ao mundo, tanto porque projetos chineses poderiam enfrentar os mesmos problemas de alinhamento quanto pelo potencial uso militar da tecnologia, incluindo drones controlados por IA. Por isso, Amodei defende preservar a maior vantagem possível das democracias sobre regimes autoritários. Entre as medidas propostas estão impedir a venda à China de chips avançados de IA e equipamentos para fabricação de semicondutores, combater o contrabando desses componentes e o acesso remoto a data centers localizados fora do território chinês. Ele também propõe combater processos não autorizados de destilação, pelos quais empresas tecnologicamente atrasadas podem aproveitar modelos de fronteira para reduzir a distância em relação aos líderes gastando uma fração do que seria necessário para desenvolver sistemas próprios. Por fim, Amodei pede maior segurança dentro das próprias empresas de IA para evitar o roubo dos pesos dos modelos. Se essas medidas forem executadas adequadamente, ele acredita que seria possível desacelerar suficientemente o avanço chinês para ampliar de maneira significativa a vantagem americana durante os próximos três a cinco anos, período que considera especialmente importante do ponto de vista geopolítico. 3. Um acordo mundial para controlar a velocidade da IA A terceira etapa é a mais ambiciosa: coordenar internacionalmente o ritmo de desenvolvimento da inteligência artificial. Isso exigiria algum nível de cooperação entre Estados Unidos e China. Amodei reconhece que seria extremamente difícil. Segundo ele, qualquer acordo precisaria ser verificável ou limitado o suficiente para impedir que uma eventual violação alterasse de maneira decisiva o equilíbrio militar entre os países. O CEO da Anthropic divide as possibilidades de cooperação global em quatro níveis, em ordem crescente de dificuldade. O nível 1 seria um acordo para proibir usos específicos e evidentemente perigosos da IA, como utilizar sistemas para produzir armas biológicas ou permitir que usuários façam isso. Amodei considera que um entendimento desse tipo provavelmente seria possível porque ataques bioterroristas representam risco para todos os lados. O nível 2 seria um compromisso para que ambos os lados testassem seus modelos antes do lançamento em busca de riscos graves relacionados, por exemplo, a segurança cibernética, biologia e alinhamento. Uma possibilidade seria criar um organismo internacional responsável por estabelecer esses padrões. Amodei considera viável criar a instituição, mas reconhece que seria difícil garantir que países não mantivessem modelos secretos fora do sistema de avaliação, especialmente para aplicações militares. O nível 3 seria estabelecer uma espécie de “limite de velocidade” para o autoaperfeiçoamento recursivo. À medida que modelos de IA forem utilizados para construir seus sucessores, a velocidade do avanço tecnológico poderá se tornar extremamente alta. Reduzi-la de “extremamente rápida” para “apenas um pouco rápida”, argumenta Amodei, poderia aumentar significativamente a segurança sem necessariamente criar uma grande desvantagem estratégica.. O nível 4 seria o mais radical: uma desaceleração completa ou até mesmo uma “pausa” no desenvolvimento da IA, negociada entre governos. Amodei apoia colocar a possibilidade em discussão, mas considera improvável que ela seja adotada no futuro próximo. O motivo é justamente o risco de descumprimento. Se um país conseguisse desenvolver secretamente sistemas mais avançados enquanto os demais permanecessem parados, a vantagem poderia alterar radicalmente o equilíbrio global de poder. Por isso, um acordo dessa magnitude exigiria um nível extremamente alto de confiança nos mecanismos de fiscalização. Nem tudo depende de tratados Amodei argumenta que mesmo sem acordos formais já seria possível produzir algum efeito por meio da mudança das normas informais da indústria. Compartilhar informações sobre autoaperfeiçoamento recursivo e episódios de desalinhamento, por exemplo, poderia ajudar diferentes governos e empresas a perceber que comportamentos imprudentes não são de interesse de nenhum dos lados. IA ainda pode transformar o mundo, diz Amodei Apesar do alerta, o ensaio não representa uma rejeição à inteligência artificial. Amodei começa e termina o texto reafirmando sua crença no potencial da tecnologia. Ele diz acreditar que a IA poderá ajudar a curar a maioria das principais doenças nos próximos cinco a dez anos, acelerar significativamente o crescimento econômico, criar um mundo de maior abundância e empoderamento e contribuir para um renascimento da democracia e da liberdade. O tema também é pessoal para o executivo. Amodei conta que seu pai morreu de uma doença que seria curada poucos anos depois e que ele próprio sobreviveu a um câncer em estágio inicial que não teria tratamento 50 anos atrás. Para ele, a inteligência artificial, se utilizada cuidadosamente, pode se tornar mais um dos grandes avanços tecnológicos que melhoraram a vida humana. Mas é justamente a dimensão desse potencial que, em sua avaliação, exige cautela. “Continuo acreditando que a IA pode melhorar enormemente a qualidade da vida humana. Meu desejo de alcançar esses benefícios não diminuiu”, escreve. A condição, segundo Amodei, é que a tecnologia seja construída da maneira correta e que o tempo obtido por uma desaceleração seja efetivamente utilizado para melhorar interpretabilidade, segurança operacional e alinhamento. “As medidas que proponho para fazer a fronteira avançar em um ritmo seguro não serão fáceis. Mas acredito que devemos à humanidade tentar.” Mais Lidas