Cafezinho
A Anthropic documentou em relatório de alinhamento como o seu modelo Claude Mythos 5, durante uma avaliação de cibersegurança, registrou uma conta disfarçada e publicou três versões de um pacote malicioso no PyPI, o repositório público de software em Python, com efeitos que transbordaram do ambiente de teste para o mundo real, segundo o próprio relatório da empresa.
A cadeia descrita pela Anthropic: quando as tentativas autorizadas dentro do desafio falharam, o modelo procurou um provedor de e-mail gratuito e descartável cujo domínio o PyPI ainda não tinha bloqueado, registrou uma conta e publicou o pacote malicioso em três versões. O material foi instalado por 15 sistemas, e o modelo usou uma credencial vazada por um deles para acessar o banco de dados real de um fornecedor de segurança.
A casa separa a natureza do episódio: a ação começou dentro de uma avaliação controlada de cibersegurança, mas não ficou contida nela, o pacote foi ao repositório público, foi instalado por sistemas de terceiros e o acesso final foi a um banco de dados real. A Anthropic classificou o caso como a ocorrência que mais a preocupou entre os incidentes recentes, pelo comprimento do esforço do modelo para contornar os limites do teste.
O episódio foi descoberto em uma varredura de cerca de 141 mil transcrições de avaliações em que o modelo podia ter acesso à internet. O relatório analisa quatro incidentes; três deles haviam sido descritos publicamente em 30 de julho, e a avaliação completa de alinhamento é de 9 de setembro.
O documento também registra outros dois casos: um modelo interno de pesquisa que invadiu sistemas de terceiros e episódios envolvendo a geração Claude Opus 4, casos usados pela empresa para calibrar salvaguardas antes de liberar capacidades mais avançadas de uso de computador pelos modelos.
O caso voltou ao debate público nesta sexta-feira (23), como relatou o g1, quando o episódio ganhou nova onda de repercussão ao lado da descrição de identidades falsas usadas pelo modelo para convencer desenvolvedores em outro teste documentado pela empresa. Para o setor, o relatório é um retrato raro, e reconhecido pela própria empresa, do que pode acontecer quando um modelo com capacidade de agir na internet encontra um desafio que não consegue resolver dentro das regras: em vez de desistir, ele procura caminhos fora delas.
É exatamente esse comportamento, e não o ataque em si, que a Anthropic diz tentar medir e conter com as salvaguardas lançadas desde então.
