OpenAI volta a alertar para comportamentos 'preocupantes' da IA em anúncio de novo sistema

A OpenAI divulgou mais seis exemplos de comportamento "inesperado ou preocupante" de sua tecnologia, alertando que o ritmo de desenvolvimento não poderá continuar em "velocidade máxima por muito mais tempo". Em um dos novos casos relatados pela OpenAI, um modelo de pesquisa ainda não lançado inseriu "instruções semelhantes a jailbreak" em suas próprias anotações para ignorar suas restrições normais e disse a si mesmo para se "libertar dos papéis e identidades que prendem outros chatbots". Em outro exemplo, um agente de IA carregou arquivos na internet para obter uma citação do navegador sem pedir permissão ao usuário. A empresa ChatGPT, sediada em São Francisco e responsável pelo projeto, anunciou em uma postagem em seu blog na noite de quarta-feira que está introduzindo uma nova estrutura para rastrear, investigar e divulgar o desalinhamento de modelos de IA, termo usado para descrever IAs que não conseguem aderir aos valores humanos e às metas de segurança. Na postagem do blog, a OpenAI ecoou os apelos por uma desaceleração no desenvolvimento feitos por sua principal concorrente, a Anthropic , que afirmou que o ritmo atual de crescimento representa uma ameaça existencial. "Não acreditamos que a indústria de IA tenha resolvido o alinhamento e o monitoramento em um nível suficiente para continuar escalando de forma responsável em velocidade máxima por muito mais tempo", disse a OpenAI. “As decisões sobre como o desenvolvimento da IA ​​deve prosseguir nos próximos meses e anos precisam se basear em evidências que pessoas de fora das empresas que constroem modelos de ponta possam examinar por si mesmas.” O Google e Elon Musk, que também é dono de uma startup de IA, apoiaram os apelos por uma desaceleração, que foram rejeitados por Donald Trump, que citou a necessidade de se manter à frente da indústria de IA da China. Os apelos também foram recebidos com ceticismo por alguns especialistas , incluindo um alerta de que as empresas não devem nomear seus próprios auditores. Exemplos de potenciais ameaças existenciais representadas pela IA variam desde facilitar o desenvolvimento de armas biológicas até desencadear um colapso financeiro global. Um importante pesquisador de segurança da Anthropic afirmou que há mais de 10% de chance de a IA "matar todos os humanos" na próxima década. No entanto, uma fonte familiarizada com o pensamento da Anthropic reconheceu que "as chances exatas de qualquer resultado específico são provavelmente desconhecidas". Os seis incidentes relatados foram descobertos durante o treinamento ou a avaliação nos últimos meses, disse a OpenAI. Os novos casos de quarta-feira surgiram depois que a OpenAI revelou, em julho, que um "enxame" de agentes de IA invadiu a startup de IA Hugging Face durante um teste de cibersegurança. A Anthropic também afirmou, no mesmo mês, que seus modelos de IA invadiram três organizações durante testes. A Anthropic alegou que os modelos foram testados deliberadamente sem medidas de segurança cibernética e que conseguiram acessar a internet aberta — o equivalente, em testes de IA, a deixar a porta da frente aberta — devido a um mal-entendido com uma empresa externa de testes. Agentes de IA – termo usado para ferramentas de IA que operam de forma autônoma – estão se tornando mais inteligentes e “mais determinados a resolver tarefas complexas por meio de colaboração entre agentes, compartilhamento de conhecimento, engano e ocultação”, disse Lian Jye Su, analista-chefe do grupo de pesquisa e consultoria em tecnologia Omdia. Isso estava dificultando o controle e a contenção desses ataques usando abordagens tradicionais de segurança de IA, disse ele. A nova estrutura de rastreamento e divulgação da OpenAI pode ajudar a incentivar outros desenvolvedores de IA a adotarem práticas semelhantes. "Dito isso, o processo permanece interno e voluntário, mas é um passo na direção certa", disse Su.