Epoca Negócios
Dario Amodei, fundador da Anthropic Getty Images
Ao registrar sua oferta pública inicial de ações (IPO), a Anthropic tornou públicas informações sobre suas finanças, sua estratégia e os riscos que podem ameaçar seus negócios. Hoje, essas informações vieram a público.
No prospecto, 94 páginas são dedicadas aos fatores de risco. O documento afirma que sistemas suficientemente avançados de IA podem representar ameaças catastróficas ou existenciais à humanidade se forem desenvolvidos, implementados e operados sem salvaguardas, supervisão e medidas de segurança adequadas, relata a Wired.
Mais importante do que o reconhecimento genérico desses perigos, porém, é a explicação de como eles poderiam se concretizar. A Anthropic aponta um mecanismo específico: o recursive self-improvement (RSI), ou autoaperfeiçoamento recursivo.
Quando esse recurso é usado, os sistemas de IA passam a participar do desenvolvimento de outros sistemas de IA, tornando o processo progressivamente mais automatizado. Hoje, a IA já ajuda pesquisadores a desenvolver modelos, escrever código e acelerar experimentos.
O cenário mais preocupante, descrito no prospecto, é aquele em que os sistemas passam a conduzir a pesquisa e o desenvolvimento sem que os seres humanos permaneçam efetivamente no circuito de decisões. Se os modelos avançarem mais rapidamente do que a capacidade humana de avaliá-los, testar seus comportamentos e implementar salvaguardas, a empresa poderá perder o controle do processo sem sequer perceber a tempo.
O documento também alerta para a possibilidade de sistemas cada vez mais autônomos agirem em larga escala de maneira prejudicial, seja por incompatibilidade com as intenções humanas, por erros na definição de objetivos ou por comportamentos de autopreservação. Há riscos também quando os modelos controlam equipamentos físicos: erros, manipulações ou comportamentos desalinhados podem provocar ferimentos, danos materiais e até a liberação de substâncias perigosas, com consequências imediatas e irreversíveis.
A Anthropic chama de closing the loop — algo como “fechar o ciclo” — a dinâmica em que a IA passa a contribuir cada vez mais para o próprio desenvolvimento. No prospecto, a empresa classifica esse mecanismo como uma das vantagens estruturais mais importantes na corrida pela IA de fronteira (frontier AI).
A lógica é direta: quanto mais a IA ajuda a desenvolver modelos melhores, maior pode ser a velocidade de inovação. E, se uma empresa deixar de explorar essa capacidade enquanto suas concorrentes avançam, corre o risco de ficar progressivamente para trás.
Assim, surge um paradoxo: a mesma dinâmica que pode acelerar a tecnologia para além da capacidade humana de controlá-la é tratada pela empresa como essencial para seu sucesso comercial. A contradição, claro, não é exclusiva da Anthropic.
As empresas que desenvolvem os modelos mais avançados enfrentam a pressão de inovar continuamente em um mercado no qual há trilhões de dólares em jogo. Tanto que há pesquisadores e políticos tentando frear esse processo
Jacob Coxon, ex-pesquisador da Anthropic, ganhou repercussão ao pedir demissão e colocar a contenção do autoaperfeiçoamento recursivo entre suas prioridades para a indústria. Funcionários da Google DeepMind e de outras organizações também expressaram preocupações semelhantes.
Enquanto, isso, no Congresso americano, há projetos de lei que propõem proibir o autoaperfeiçoamento recursivo. Um deles tem como coautor o senador Bernie Sanders.
Essas iniciativas evidenciam que a preocupação não está restrita a críticos externos à indústria. Ela também aparece entre profissionais que trabalham no desenvolvimento da tecnologia e representantes políticos que procuram estabelecer limites.
De uma certa maneira, diz a Wired, o prospecto de abertura de capital da Anthropic funciona, além de documento financeiro, como um guia dos cenários extremos que a própria companhia considera possíveis. O documento apresentado pela Anthropic revelaainda que a empresa possui obrigações futuras de cerca de US$ 417 bilhões a seus fornecedores por recursos computacionais — o que abrange data centers, os equipamentos de computação neles instalados e serviços em nuvem.
Os contratos têm início previsto entre 2026 e 2027, com durações que variam de menos de um ano a até 20 anos. Além disso, a Anthropic informou no documento que contratou capacidade computacional adicional, com entrega prevista para o período entre 2028 e 2031.
Como os valores ainda não foram definidos, estima-se que essa contratação acrescente entre US$ 125 bilhões e US$ 150 bilhões às suas obrigações de pagamento. A abertura do IPO está prevista para meados de novembro.
