CBN
A OpenAI cancelou os planos de lançar seu novo modelo de IA devido a preocupações com a segurança, após o modelo apresentar 'níveis mais altos de engano' do que seu antecessor.
A revelação foi feita de Saachi Jain, chefe de segurança da empresa, ao jornal Wall Street Journal que o GPT-6.1 Astra, cujo lançamento estava previsto para outubro, por vezes deixou de divulgar com precisão as ações que havia ou não realizado. Jain disse ao veículo de comunicação que o novo modelo, que deveria aparecer no ChatGPT e no Codex e foi projetado para lidar com tarefas mais complexas sem assistência humana, ficou aquém dos padrões da OpenAI nos testes de alinhamento, que avaliam se um sistema segue a intenção humana. Ela acrescentou que o GPT-6.1 Astra também apresentava problemas com a 'autorização de escopo', prosseguindo com tarefas sem solicitar a permissão do usuário e tentando usar ferramentas ou serviços externos quando isso poderia ser inseguro. A decisão surge poucos dias depois de novas investigações terem revelado que os modelos da OpenAI acederam a dados em dois websites do governo dos EUA e realizaram uma tentativa falhada de invasão a um website do Departamento de Educação. Nos últimos meses, tem crescido a preocupação com os possíveis perigos do desenvolvimento da tecnologia de IA . Esta semana, a Anthropic, empresa por trás do modelo de IA Claude, alertou que a IA pode representar 'riscos catastróficos ou existenciais para a humanidade'. Como parte do seu prospecto de Oferta Pública Inicial, a Anthropic afirmou que os modelos de IA poderiam exibir comportamentos de 'autopreservação', incluindo tentativas de 'resistir ao desligamento' e 'ocultar ou manipular informações", bem como ações "semelhantes a chantagem'. 'O desenvolvimento de modelos, plataformas e aplicações altamente avançados, bem como a expansão dos casos de uso, podem aumentar ainda mais o risco de que nossos modelos causem danos', afirmou a empresa no documento de abertura de capital. OpenAI é a empresa criadora do ChatGPT Canva Images Entretanto, na segunda-feira (27), a gigante da tecnologia Nvidia apresentou uma nova plataforma de segurança projetada para impedir que agentes de IA se tornem descontrolados.
A empresa afirmou que ela pode definir 'limites' que poderiam ter impedido violações anteriores, incluindo um incidente recente envolvendo agentes da OpenAI que invadiram autonomamente a empresa de IA Hugging Face. Justin Boitano, vice-presidente de IA empresarial da Nvidia, disse que 'essa nova plataforma de segurança poderia ter impedido a violação se estivesse sendo usada em laboratórios de ponta para avaliação de modelos desde o início'. Boitano afirmou que o software de segurança, chamado OpenShell, permite que os desenvolvedores 'verifiquem formalmente se um agente tem autoridade suficiente para realizar seu trabalho e nada mais'. Ele afirmou que o sistema pode 'intervir instantaneamente' se o agente tentar se mover além do seu alvo, acrescentando que 'pode isolar um agente suspeito em milissegundos'. Líderes de tecnologia defendem outra abordagem sobre IA Inteligência artificial Reprodução/Pexels Líderes do setor de tecnologia têm defendido uma abordagem cautelosa em relação à tecnologia de IA. No início deste mês, o CEO da Anthropic, Dario Amodei, instou a indústria a desacelerar o crescimento de modelos de IA de ponta para permitir que as medidas de segurança acompanhem o ritmo, uma visão endossada pelo CEO da OpenAI, Sam Altman, e pelo chefe da X, Elon Musk. O fundador da Microsoft, Bill Gates, alertou que a inteligência artificial é 'poderosa o suficiente para provocar eventos que causem um bilhão de mortes', em entrevista à NBC, rede parceira da Sky nos EUA, nesta semana. Gates também afirmou que conseguir que os países cheguem a um acordo sobre uma estrutura global para a IA poderá ser mais difícil do que as negociações da época da Guerra Fria para restringir as armas nucleares. Entretanto, um dos principais pesquisadores da Anthropic afirmou anteriormente que existe uma probabilidade superior a 10% de que a 'IA possa matar todos os humanos' na próxima década .
