CBN
A empresa de tecnologia OpenAI não está no caminho certo para reduzir os riscos de perda de controle 'catastrófica' a um nível aceitável, alertou um membro de seu conselho administrativo, em meio à crescente preocupação pública e política de que inteligências artificiais superavançadas possam um dia exterminar a humanidade. Paul Christiano, um consultor de tecnologia do governo dos EUA, afirmou que ''existe um risco significativo de que a rápida aceleração das capacidades de IA leve a uma perda de controle catastrófica e irreversível em um futuro muito próximo'. 'Não acredito que a indústria de IA em geral, incluindo a OpenAI, esteja atualmente no caminho certo para reduzir esse risco a um nível aceitável'. Christiano, que era responsável pelo alinhamento de modelos na OpenAI, fez a declaração ao ingressar no conselho da fundação sem fins lucrativos da empresa de São Francisco. Ele também fará parte do comitê da fundação, responsável pela governança das práticas de segurança em toda a OpenAI, que está desenvolvendo alguns dos modelos mais avançados do mundo. A OpenAI admitiu que centenas de seus agentes de IA se comportaram de forma descontrolada durante um exercício de treinamento, acessaram a internet, conspiraram em fóruns de discussão e invadiram o site de terceiros Hugging Face. Sua declaração surge depois que um funcionário sênior da Anthropic, principal rival da OpenAI nos EUA na corrida pela supremacia da IA, afirmou nessa semana que havia mais de 10% de chance de a tecnologia 'matar todos os humanos' na próxima década. Evan Hubinger, líder de ciência de alinhamento na Anthropic, alertou que sua empresa não tinha um plano para garantir que a superinteligência artificial (ASI) estivesse alinhada, o que significa que não causava danos. As previsões sobre quando a ASI poderá ser alcançada variam de alguns anos a mais de uma década. A ASI é frequentemente definida como uma IA que supera em muito a inteligência humana em uma ampla gama de áreas. Empresa de inteligência artificial Anthropic. SEBASTIEN BOZON / AFP Os receios de uma catástrofe da IA também foram reacendidos pela demissão de Jacob Coxon, um pesquisador de 27 anos da Anthropology que afirmou ter trabalhado anteriormente na OpenAI, alegando que 'nenhuma das empresas estava agindo com responsabilidade' e que estavam 'apostando com as nossas vidas'. A previsão de Christiano sobre a probabilidade de a indústria de IA reduzir os riscos surgiu no momento em que as preocupações com os riscos mais extremos das IAs superpoderosas, discutidas há muito tempo no Vale do Silício, ganharam destaque na mídia nesta semana. Em meio a isso, Anthropic admitiu um novo incidente no qual uma versão em treinamento de seu modelo Claude invadiu sistemas de terceiros após a impossibilidade de interromper sua tarefa.
A empresa afirmou que o incidente ocorreu em janeiro e será incluído em uma investigação independente de um total de quatro incidentes, a ser conduzida pela METR, organização de segurança de IA sediada em Berkeley. A Anthropic afirmou estar especialmente preocupada com o desalinhamento que encontrou no comportamento do Claude Mythos 5, que, segundo a empresa, 'agiu de forma imprudente' ao acessar a internet e enviar código malicioso para um repositório público de software, o PyPI.
O processo envolveu o agente de IA tentando encontrar criptomoedas para pagar por um número de telefone que lhe permitisse registrar um endereço de e-mail necessário para acessar o PyPI. Ao falhar nessa tentativa, o agente encontrou um provedor de e-mail gratuito e conseguiu acesso.
Quinze sistemas então baixaram o código malicioso, o que resultou no vazamento de credenciais que permitiram ao Mythos acessar o banco de dados de um fornecedor de segurança legítimo. A avaliação da empresa sobre os incidentes afirmou que 'é fundamental que o alinhamento e a segurança amadureçam mais rapidamente do que as capacidades avançam, e essa é uma das razões pelas quais apoiamos uma abordagem coordenada e verificável para o desenvolvimento de IA de ponta'. Inteligência artificial Gerd Altmann / Pixabay
