CEO da Microsoft pede 'freio de emergência' na IA avançada

O CEO da Microsoft Corp., Satya Nadella, afirmou que as empresas devem tratar modelos de inteligência artificial poderosos como potenciais ameaças internas, presumir que eles podem ser comprometidos e criar um sistema de "freio de emergência" para impedir que esses modelos se tornem descontrolados. Nadella afirmou que aqueles que implementam IA avançada não devem confiar simplesmente nas garantias dos criadores de modelos de IA. “Devemos partir do princípio de que um modelo está comprometido e contê-lo desde o início”, escreveu Nadella, neste sábado (10), em uma publicação no X. “Pense nisso como um freio de emergência. Uma pessoa autorizada deve sempre poder pausar ou desligar um modelo no meio de uma tarefa.” A declaração surge em um momento em que a Anthropic PBC e a OpenAI Inc. divulgaram uma série de incidentes nos últimos meses envolvendo seus modelos de IA agindo de maneiras não intencionais, desde comportamentos como um modelo da Anthropic enviando uma dica falsa em um caso de homicídio da polícia, até vários ataques a sites de terceiros. Essas divulgações alimentaram preocupações sobre os riscos de segurança da IA ​​de ponta e reacenderam a discussão sobre um suposto mecanismo de desativação da IA. Em 14 de setembro, os pesquisadores de IA da Microsoft divulgaram um conjunto de princípios orientadores que limitam o desenvolvimento dos modelos mais avançados da empresa, atendendo a pedidos de líderes do setor para que o desenvolvimento de modelos de vanguarda fosse desacelerado e o foco fosse na segurança. A empresa utiliza modelos avançados, fabrica um produto para o consumidor final, o Copilot, e fornece modelos e infraestrutura de IA para clientes corporativos. As diretrizes afirmavam que os modelos de IA não deveriam ter direitos ou personalidade jurídica, ser projetados para escapar do controle humano ou enganar os usuários, nem concluir uma tarefa que exigisse a violação de seus princípios norteadores. As dicas de segurança de Nadella incluem não depender de um único modelo de IA para decisões críticas, manter registros invioláveis ​​das ações dos agentes e submeter os sistemas de IA a auditorias independentes. Ele também pediu a divulgação de falhas ou violações graves de IA e que as empresas compartilhem detalhes sobre o que deu errado para que outras possam fortalecer suas medidas de segurança. “Não podemos tratar a Superinteligência como um conjunto de caixas-pretas aninhadas e simplesmente aceitar ou rejeitar suas recomendações, respostas e ações”, escreveu ele. “Precisamos construir sistemas contidos cujo comportamento possamos observar, cujos limites possamos testar e cujas ações possamos sempre controlar.” Ele acrescentou: "Em outras palavras, precisamos separar o fornecimento de informações da autoridade sobre elas." Até o momento, o governo Trump adotou uma postura amplamente liberal, mas a força-tarefa de IA recém-lançada pelo presidente Donald Trump alertou, na última sexta-feira, os desenvolvedores de que eles são obrigados a relatar e resolver incidentes de segurança, sob pena de enfrentarem possíveis consequências não especificadas. “As empresas devem divulgar imediatamente os incidentes envolvendo seus modelos e agir com rapidez e decisão para remediar todos os danos”, afirmou o grupo, apelidado de Força de Superinteligência, em um comunicado após a divulgação de uma violação de segurança pela Anthropic. “Notificação tardia, ação corretiva inadequada e falta de responsabilidade não serão toleradas.”