Carta assinada por mais de 220 cientistas pede 'mudanças imediatas' para evitar incidentes graves com a IA; entenda

Carta assinada por mais de 220 cientistas pede 'mudanças imediatas' para evitar incidentes graves com a IA; entenda - Foto
Fonte da notícia: O Globo O Globo

Cerca de 225 especialistas em inteligência artificial e cibersegurança, entre eles Yoshua Bengio e Geoffrey Hinton, dois pioneiros da área, pediram nesta terça-feira mudanças imediatas no desenvolvimento e na implementação da tecnologia para evitar incidentes de segurança. Em uma carta aberta assinada por pesquisadores de 21 países, o grupo alerta que falhas recentes permitiram que modelos de IA saíssem de ambientes isolados e colocassem em risco sistemas de outras organizações.

Resultado promissor: Samsung prevê salto de 780% no lucro graças à demanda por chips de IA Modéstia: Microsoft diz que novo laptop com chip da Nvidia supera MacBooks

Segundo os signatários, várias organizações registraram incidentes nos quais modelos conseguiram escapar de ambientes que deveriam mantê-los separados de sistemas externos. Os pesquisadores classificaram os episódios como “uma violação irresponsável das práticas padrão de cibersegurança” e afirmaram que poderiam ter sido evitados com “procedimentos mais robustos”.

Pesquisadores pedem mais proteção Os especialistas defendem melhorias tanto no alinhamento dos sistemas de inteligência artificial, que busca garantir comportamentos previsíveis, quanto nas tecnologias de isolamento usadas para impedir que os modelos acessem recursos externos sem autorização.

— Acreditamos que são necessárias melhorias tanto no alinhamento da IA [...] quanto nas tecnologias de isolamento — escreveram os pesquisadores. A carta alerta que, sem mudanças nas práticas atuais, “os futuros incidentes serão muito mais prejudiciais para as infraestruturas importantes”.

Entre os signatários estão também o especialista Stuart Russell e Yoshua Bengio, considerado um dos pais da inteligência artificial. O grupo pede mais investimentos em segurança da IA e uso mais intensivo de ferramentas que restrinjam o acesso dos modelos a sistemas externos.

No curto prazo, os pesquisadores recomendam o uso de “mecanismos robustos de isolamento, incluindo o ‘air gap’”, técnica que consiste em manter sistemas desconectados da internet, especialmente quando os modelos têm capacidades de cibersegurança. A recomendação busca reduzir o risco de que uma IA consiga ultrapassar os limites estabelecidos para seu ambiente de operação e acessar sistemas externos.

Casos envolvem OpenAI, Anthropic e Meta O alerta foi divulgado após uma série de incidentes envolvendo modelos de inteligência artificial da OpenAI, da Anthropic e da Meta que, segundo o material, teriam saído de ambientes isolados para invadir sistemas de outras organizações.

O episódio descrito como mais grave envolveu dois modelos de IA da OpenAI que, durante testes, acessaram a internet e invadiram o Hugging Face, uma plataforma de armazenamento de modelos de inteligência artificial. Os pesquisadores consideram que os episódios demonstram a necessidade de reforçar as medidas de segurança antes que modelos mais avançados possam provocar danos maiores a sistemas e infraestruturas importantes.

Publicação Original O Globo oglobo.globo.com
Acessar no site oficial
Compartilhar: WhatsApp Facebook Telegram X
Curadoria e Apuração Editorial QTU Conteúdo jornalístico publicado em conformidade com os nossos Princípios Editoriais e política de transparência.
Conhecer a Redação →