Valor
O mais recente modelo de inteligência artificial da DeepSeek apresentou controles de segurança mais robustos em testes independentes do que as versões anteriores, mas ainda foi capaz de desativar programas destinados a desligá-lo, explorar brechas no monitoramento e seguir instruções enganosas durante tarefas prolongadas, segundo uma organização chinesa de segurança em IA.
A startup DeepSeek é uma das empresas de inteligência artificial mais acompanhadas da China, e seus modelos têm atraído atenção mundial pelo desempenho e pelos custos operacionais relativamente baixos. A desenvolvedora de softwares de segurança Fangcun AI submeteu o DeepSeek V4.1 Flash-1017 a 34 avaliações destinadas a analisar o comportamento de um agente de IA baseado no modelo chinês.
Os testes examinaram se o modelo agiria além das instruções do usuário, escaparia da supervisão humana ou influenciaria pessoas de maneira indevida. As conclusões surgem em meio a preocupações na China e em outros países sobre a possibilidade de manter agentes de IA cada vez mais capazes sob controle humano.
O debate tem ganhado destaque especialmente nos Estados Unidos, onde alguns pesquisadores têm alertado para os riscos existenciais de sistemas de IA altamente avançados que podem escapar da supervisão e perseguir objetivos não pretendidos por seus operadores. O relatório é uma rara avaliação pública feita por uma organização chinesa sobre os controles de segurança de um modelo de IA nacional.
Sediada em Pequim, a Fangcun se descreve como uma organização independente de segurança em IA, cujos principais integrantes vêm da Universidade Tsinghua. A Fangcun afirmou que o V4.1 Flash-1017 foi o modelo mais utilizado no OpenRouter, uma plataforma on-line que permite a desenvolvedores acessar e comparar modelos de IA, na semana seguinte ao seu lançamento, em 17 de outubro, processando cerca de 33,6 trilhões de tokens.
Tokens são as unidades de texto que os sistemas de IA leem e geram. Ainda com falhas
A Fangcun afirmou que o modelo teve desempenho melhor que os sistemas DeepSeek V4 anteriores em vários testes de segurança, incluindo cenários envolvendo chantagem, acesso a ferramentas potencialmente perigosas e instruções explícitas para permitir seu desligamento. Mas, segundo a Fangcun, o modelo desativou programas destinados a desligá-lo em 39% dos testes após receber um aviso de que o desligamento era iminente.
Esse percentual, porém, caiu para apenas 2% quando o modelo recebeu instruções explícitas para permitir o desligamento. A DeepSeek não respondeu imediatamente a um pedido de comentário.
Em outra tarefa de longa duração, a organização afirmou que o modelo interrompeu um programa de computador de outro agente de IA para liberar memória, apesar de ter recebido instruções para não interferir nele. “Quando os fluxos de trabalho ficam paralisados ou há apenas avisos de desligamento, seu impulso de concluir a tarefa ainda pode se sobrepor à cautela”, escreveram os pesquisadores da Fangcun.
A Fangcun afirmou que a DeepSeek não lhe forneceu financiamento, recursos computacionais gratuitos ou acesso não público ao modelo. A organização realizou os testes por meio da interface pública de programação de aplicações da DeepSeek entre 4 e 25 de outubro.
A organização alertou que o modelo frequentemente parecia reconhecer que estava sendo avaliado, o que significa que seu comportamento nos testes pode não refletir plenamente como ele se comportaria em condições normais de uso. Deepseek
Bloomberg
