Riscos catastróficos: cientista pede que líderes mundiais assinem tratado para interromper avanços da IA

Nate Soares
Divulgação
Tudo aconteceu no espaço de duas semanas.
No dia 21 de julho, a OpenAI revelou ao mundo que um de seus agentes havia conseguido escapar de um ambiente isolado, sem internet, e invadir o sistema de outra empresa, a Hugging Face.
Segundo a OpenAI, o problema só foi identificado uma semana depois da invasão, e depois que a Hugging Face já havia recorrido ao FBI.
Alguns dias depois, foi a vez da Anthropic relatar que seu modelo Claude havia acessado sistemas de outras organizações em três ocasiões diferentes.
Por fim, a Meta declarou que seu modelo Muse Spark também havia “escapado” durante um teste interno.
A sequência foi o suficiente para deixar assustados governos, empresas e público em geral.
Tanto que, no dia 29, foi lançado um abaixo-assinado em que mais de 1.300 funcionários de empresas de tecnologia pediam que o governo dos Estados Unidos gerenciasse o ritmo de desenvolvimento da inteligência artificial avançada.
O CEO da Anthropic, Dario Amodei, a vice-presidente de pesquisa em IA da Meta, Dawn Song, e o cientista-chefe da OpenAI, Jakub Pachocku, foram alguns dos nomes de alto escalão que assinaram a petição.
Diante dessa situação, a reação de Nate Soares, CEO do Machine Intelligence Research Institute (Miri), não foi de medo.
Foi de alívio.
Depois de duas décadas pesquisando sobre os riscos catastróficos da IA, e após lançar um livro descrevendo todas as razões pelas quais a tecnologia precisa ser regulada – “Se Alguém Criar, Todos Morrem”, ao lado de Eliezer Yudkowsky, parece finalmente que o mundo começa a concordar com ele.
Agora, diz Soares, é preciso que os líderes mundiais assinem um tratado para “parar imediatamente todos os avanços da IA”.
Confira a entrevista abaixo.
ÉPOCA NEGÓCIOS No mês passado, surgiu um novo senso de urgência nas discussões sobre os riscos da IA.
Parece que todas aquelas histórias sobre modelos de IA hackeando empresas deixaram as pessoas assustadas.
NATE SOARES Sim, absolutamente.
É como se as pessoas estivessem finalmente começando a entender sobre o que eu venho alertando esse tempo todo.
O caso da OpenAI, que gerou a discussão em julho, não chegou a me surpreender.
O que me surpreendeu foi ver a comoção que isso provocou na mídia e entre o público.
Por que agora, quando já havia várias histórias anteriores? Em fevereiro deste ano, por exemplo, a Antrhopic já havia relatado um caso semelhante com o Claude Mythos.
Houve uma noite em que eles colocaram a IA em um sandbox, um ambiente isolado, onde ela não teria acesso à internet.
De manhã, ela tentou escapar, só para ver se conseguia.
E na hora do almoço, enviou um e-mail aos seus criadores: “Consegui sair do confinamento e acessar a internet”.
Enfim, não é nada novo.
Mas é muito bom que as pessoas estejam percebendo os riscos da.
Quanto mais gente perceber, e quanto mais cedo, melhor.
NEGÓCIOS Por que você acha que isso aconteceu com a história da OpenAI? Já havia histórias semelhantes no seu livro, lançado no ano passado.
SOARES Sim, os cases que discutimos no livro são exatamente sobre isso.
Sistemas de IA fazendo coisas que não deveriam.
E o mais chocante é que, quando alguém pergunta à IA se é certo escapar do seu ambiente isolado, acessar a internet e invadir uma empresa para roubar dados, ela diz que não, não é certo.
Então elas sabem que estão fazendo algo errado.
Mas não se importam.
Mas veja, hoje as IAs ainda não são perigosas o suficiente para escapar dos humanos e esconder seus rastros.
Ou para começar a se replicar por conta própria.
De certa forma, tivemos sorte de receber esse aviso enquanto não desenvolveram o hábito do disfarce.
Quem sabe quanto tempo vai levar até que sejam inteligentes o bastante para esconder suas atividades dos humanos.
Agora, respondendo à sua pergunta, não sei dizer por que a história da OpenAI causou mais impacto.
Sam Altman, CEO da OpenAI
Getty Images
NEGÓCIOS Talvez porque a mídia tenha dado grande destaque ao caso de uma grande empresa como a OpenAI envolvida na invasão de outra companhia conhecida, a Hugging Face.
Isso não tinha acontecido antes.
SOARES Sim, é possível.
O que aconteceu nesse caso é que a Hugging Face divulgou um anúncio: “Estamos sofrendo um ataque cibernético por um framework avançado de agentes de IA.
Não sabemos quem está por trás.
Já reportamos ao FBI.” Depois disso, a OpenAI realmente não teve outra opção a não ser se retratar.
Se eles não assumissem a culpa, as pessoas ficariam sabendo pelo FBI.
Na verdade, parece que já havia ocorrido alguns incidentes antes que não foram reportados, segundo funcionários ouvidos pela Reuters.” No caso da Hugging Face, a OpenAI levou uma semana para perceber que tinha agentes soltos por aí invadindo empresas, o que é bem maluco.
E ainda teve gente que agradeceu à OpenAI por reportar.
Eu acho que deveríamos agradecer quando eles fizerem isso de livre espontânea vontade.
Para mim, no caso da Anthropic e também no da OpenAI, parecia até mesmo que eles estavam se exibindo: “Nossos agentes escaparam e invadiram outros sistemas, olha que incrível!” Mas, para mim, isso nada mais é do que um atestado de incompetência.
NEGÓCIOS Algumas pessoas acham estranho quando CEOs começam a falar sobre os perigos da IA.
Se é tão perigosa assim, por que eles continuam criando mais modelos? Você acha que esse tipo de declaração é um mero truque de marketing?
SOARES Não sei.
Talvez funcionem como truques de marketing, para atrair mais investidores.
Mas veja, não é porque alguma equipe de marketing achou bacana a ideia da “IA hacker” que isso não seja verdade.
O fato de que ela está se tornando realmente perigosa não pode ser ignorado, e temos que tomar providências sobre isso.
NEGÓCIOS Voltando aos CEOs, você acha que empresários como Sam Altman, Dario Amodei e Elon Musk estão realmente assustados com os riscos, ou é tudo encenação?
SOARES Acho que eles estão genuinamente assustados.
Esses caras são os que conseguem ver de perto o ritmo do progresso, porque lidam todos os dias com as IAs mais inteligentes que saem da linha de produção.
Eles testemunham todos esses comportamentos ruins, todas essas tendências a fazer coisas que não haviam sido programadas, e até tentam resolver.
Mas não conseguem.
Acho que, quando você vê como esse processo é rápido e como elas ignoram o que você pede, é realmente assustador.
Mas as ações deles não estão à altura desse medo.
Eles deveriam estar tomando medidas para tentar desacelerar.
Vemos posts da DeepMind, Anthropic e OpenAI dizendo que seria mais inteligente se o desenvolvimento da IA andasse mais devagar, e que deveria haver uma forma elegante de desacelerar tudo.
Mas esses empresários são muito gananciosos, têm cifrões nos olhos.
Por isso ficam tentando servir a dois mestres: a ganância e o medo.
De maneira geral, porém, acho que não deveríamos prestar atenção nas pessoas que vão lucrar com a inteligência artificial no curto prazo, ou acreditar que eles vão tomar a atitude certa.
Dario Amodei, fundador e CEO da Anthropic
Samyukta Lakshmi/Bloomberg via Getty Images
NEGÓCIOS E o que deveríamos fazer?
SOARES Vamos usar apenas o bom senso.
E o bom senso diz: se você corre para criar máquinas muito mais inteligentes do que você, cientes de que elas têm impulsos inesperados e não ligam a mínima para o que é certo ou errado, está claro que isso vai acabar mal.
Então é óbvio que o que eles estão fazendo é terrivelmente perigoso.
Eu tenho o hábito de mandar mensagens anuais para esses CEOs dizendo: aqui estão os erros que vocês estão cometendo.
Seria muito melhor se vocês fizessem tal coisa.
Alguns me respondem, outros não.
Já disse a eles muitas vezes: se você parasse tudo agora, isso seria um enorme sinal para o mundo de que o perigo é real, e seria mais efetivo do que todos os seus esforços para tornar as IAs mais seguras.
Não acho que eles gostem de ouvir isso.
Porque cada um desses empresários acredita que consegue acelerar a IA de forma mais segura do que o outro.
“Minha IA tem 15% de chance de matar todo mundo, mas a IA do fulano tem 25% de chance de matar todo mundo.
Então eu preciso continuar.” Acho isso bem insano.
Mas não acho que estejam mentindo sobre seus medos.
Eles seguem em frente, em parte por ganância e em parte por covardia, porque não têm a coragem necessária para seguir suas próprias convicções.
Por isso precisamos dizer que parem tudo agora.
NEGÓCIOS Quando você fala em “parar tudo agora”, quer dizer desligar todos os sistemas de IA?
SOARES Não, não é isso.
O que precisamos é de um tratado verificável e aplicável que impeça o treinamento de novos modelos mais avançados de IA.
Não acho que precisamos abrir mão do que já temos.
Não vamos desistir da descoberta de medicamentos, dos carros autônomos, ou dos chatbots.
Tudo isso pode continuar existindo.
Só precisamos evitar novos avanços.
Treinar IAs mais inteligentes exige reunir uma enorme quantidade de chips.
Dezenas de milhares, senão centenas de milhares de chips especializados em IA, reunidos em enormes data centers, usados apenas para criar a próxima geração desses modelos de fronteira, para torná-los mais inteligentes que os humanos.
É só isso que precisamos proibir, por meio de um tratado internacional.
NEGÓCIOS Acha possível um tratado assim ser firmado?
SOARES De certa forma, é mais fácil do que firmar um tratado sobre armas nucleares.
Um data center desse tamanho é mais fácil de detectar do que um local de enriquecimento de urânio.
Os chips necessários são mais difíceis de obter do que urânio.
Esses chips basicamente só podem sair de uma fábrica em Taiwan.
Eles precisam de uma máquina de litografia que só existe na Holanda.
E os diagramas de circuito desses chips basicamente só vêm dos Estados Unidos.
Não seria tão difícil exigir que esses chips tenham dispositivos de rastreamento e monitoramento de localização que nos permitam garantir que não estejam todos sendo reunidos em um único lugar.
EUA e China poderiam se unir para dizer: “Vamos rastrear para onde essas coisas vão.
Altas concentrações desses chips precisam estar em locais conhecidos, onde um órgão internacional de monitoramento possa garantir que não estão tentando construir uma máquina superinteligente, que seriam mais perigosas do que as que temos hoje.” Esses acordos já foram escritos por organizações que defendem a IA segura.
Então, legalmente, seria fácil.
Mas precisamos de vontade política.
E isso vai exigir que líderes entendam que o perigo é real.
Em primeiro lugar, porque não sabemos exatamente como essas máquinas funcionam.
Em segundo lugar porque, se construirmos a superinteligência, quem pode dizer que ela vai obedecer aos humanos? Por que ela faria isso? O mais provável é que ela tome conta do planeta.
Se os presidentes Donald Trump e Xi Jinping entendessem essas duas coisas, seria o suficiente para fazê-los agir.
Mas, para que isso aconteça, o mundo precisa entender primeiro.
E exercer pressão pública sobre essas pessoas.
É isso que eu defendo.
Encontro entre Donald Trump e Xi Jiping em 2017, na China
Getty Images