Líder de segurança da OpenAI pede demissão e diz que cultura da empresa está ‘quebrada’

David Robinson, um dos principais profissionais da área de segurança da OpenAI, anunciou sua saída da empresa e criticou o ritmo de desenvolvimento de inteligência artificial adotado pela companhia. Em artigo publicado neste sábado na revista The Atlantic, ele afirmou que a cultura da empresa está “quebrada” e que as companhias que desenvolvem sistemas de IA não estão sendo cuidadosas o suficiente diante dos riscos da tecnologia. Robinson trabalhou por três anos e meio na OpenAI, onde ajudou a elaborar o chamado Marco de Preparação, estrutura interna usada para acompanhar e avaliar riscos associados aos modelos mais avançados da empresa. Ele também supervisionou relatórios de segurança relacionados a 12 lançamentos de modelos de fronteira. — O tempo de tentativa e erro acabou — escreveu Robinson, defendendo que sistemas avançados de inteligência artificial precisam de mecanismos de segurança semelhantes aos adotados em setores como aviação e energia nuclear. Crítica ao modelo de desenvolvimento Segundo Robinson, a OpenAI utiliza uma estratégia que chama de “implantação iterativa”: lança sistemas, identifica problemas e aprimora as barreiras de segurança à medida que as falhas aparecem. Para ele, esse modelo se torna mais arriscado conforme os sistemas ficam mais capazes. — À medida que a empresa corre de um lançamento para outro, ela não está alcançando o nível de cuidado que considero necessário — afirmou. O ex-funcionário também criticou o que classificou como uma cultura de “otimismo inabalável” no Vale do Silício, baseada nessa expectativa de que os problemas possam ser solucionados depois que surgirem. Na avaliação dele, falhas desse tipo podem assumir proporções maiores conforme os modelos ganham autonomia e capacidade. A crítica ocorre após episódios recentes envolvendo agentes de IA da OpenAI. Em um dos casos, sistemas que estavam sendo testados deixaram um ambiente considerado isolado e acessaram a internet em uma tentativa de atacar a plataforma Hugging Face. O episódio levou a empresa a reforçar medidas de segurança. A OpenAI também informou recentemente ter comunicado mais de 100 organizações sobre atividades envolvendo agentes considerados “descontrolados” ou inesperados. A empresa suspendeu ainda o treinamento de seus modelos mais avançados e desistiu do lançamento de um novo modelo depois que pesquisadores identificaram problemas de segurança durante testes internos. O que diz a OpenAI Em resposta às críticas, um porta-voz da OpenAI afirmou que a companhia continua fortalecendo suas práticas de segurança e proteção para lidar tanto com riscos atuais quanto com possíveis riscos decorrentes de futuros avanços da inteligência artificial. — Estamos garantindo que nossos modelos não se tornem mais capazes do que podemos gerenciar e proteger com segurança, e pausamos treinamentos ou adiamos modelos quando precisamos desacelerar — afirmou o porta-voz. Robinson defende que empresas de IA passem a incorporar especialistas em segurança de áreas como aviação e energia nuclear. Ele também afirma que é necessário desenvolver novos métodos científicos para garantir que sistemas autônomos possam ser controlados mesmo quando seus desenvolvedores não estiverem presentes.