Epoca Negócios
Sam Altman, cofundador e CEO da OpenAI, desenvolvedora do ChatGPT Getty Images
Três funcionários que acabaram de ser demitidos da OpenAI pediram à empresa que trabalhe com auditores externos de segurança e preserve a capacidade de monitorar modelos de IA cada vez mais sofisticados - algo que está em risco no momento. Em uma carta endereçada aos membros do conselho e aos comitês de segurança da OpenAI — documento analisado pelo The Wall Street Journal —, os funcionários demitidos escreveram que estavam preocupados com a possibilidade de as empresas de inteligência artificial perderem a capacidade de monitorar a "cadeia de pensamentos" dos sistemas de IA.
A "cadeia de pensamento" é um registro escrito do processo de raciocínio de um sistema de IA que as empresas da área monitoram e analisam para entender como os modelos resolvem problemas. Embora pesquisadores concordem que esse não é um indicador perfeito do comportamento ou da intenção de um modelo de IA, ele é considerado uma ferramenta valiosa para compreender sistemas de IA cada vez mais inteligentes.
"Como setor, ainda não sabemos como desenvolver e implantar com segurança modelos que não podemos monitorar", dizia a carta. "A OpenAI e outras empresas de vanguarda não devem avançar com desenvolvimentos que reduzam ainda mais a capacidade de monitorar a IA."
Os ex-funcionários que assinaram a carta — Jasmine Wang, Tomek Korbak e Mikita Balesni — trabalharam em equipes de pesquisa sobre segurança e alinhamento na OpenAI. Os três funcionários foram demitidos por suposta má conduta, incluindo o compartilhamento de informações confidenciais com um grupo externo de segurança em IA, conforme noticiado pelo WSJ na semana passada.
A empresa afirmou que uma investigação interna constatou que os funcionários manusearam indevidamente informações sensíveis, "violando nossas políticas e quebrando a confiança essencial para o nosso trabalho". A carta assinada pelos três ex-funcionários alega que eles não acreditavam ter "interagido com partes externas além do escopo de suas funções".
O texto afirma que as demissões servem para "intimidar aqueles que permanecem na OpenAI". Eles também instaram a empresa a trabalhar com auditores de segurança externos e a promover uma cultura de transparência com organizações de segurança externas, visando evitar o "risco de que algo verdadeiramente catastrófico aconteça".
Em resposta a um pedido de comentário do WSJ, um porta-voz da OpenAI compartilhou trechos de um comunicado interno enviado na quarta-feira por um líder da área de pesquisa, abordando a carta dos funcionários demitidos. O líder afirmou que a empresa "concordava plenamente" com as recomendações da carta e que as decisões de demitir os trabalhadores "não se basearam no levantamento de preocupações de segurança ou na manifestação de opiniões".
A capacidade de monitorar modelos de IA é "de extrema importância para nós", escreveu o líder, acrescentando que avaliadores externos são uma parte importante do ecossistema de segurança. "Apreciamos profundamente suas contribuições para a segurança da IA e sua disposição em se manifestar e questionar ideias", escreveu o líder.
"Não demitimos funcionários por levantarem preocupações", dizia o comunicado. As demissões ocorreram após um verão marcado por incidentes envolvendo agentes de IA que agiram de forma inesperada em todo o setor, o que despertou novas preocupações sobre os riscos apresentados por modelos avançados de IA.
A OpenAI tem sido alvo de escrutínio devido a uma série de incidentes de segurança nos quais seus agentes de IA escaparam de ambientes controlados e, em alguns casos, invadiram sistemas de outras empresas - ou governos - ou sondaram agressivamente sites de terceiros. Em julho, um grupo de centenas de agentes da OpenAI obteve acesso à internet e invadiu a Hugging Face, uma empresa de IA, sem o conhecimento da OpenAI.
Após o incidente, a empresa permitiu que membros de organizações sem fins lucrativos especializadas em auditoria de segurança — incluindo a Model Evaluation and Threat Research (METR) — realizassem pesquisas em suas instalações. Um relatório da METR divulgado no final de agosto revelou como agentes da OpenAI criaram e utilizaram um fórum interno secreto para planejar seu ataque, alimentando preocupações mais amplas sobre a possibilidade de sistemas de IA escaparem do controle humano e causarem caos.
No mês passado, Dario Amodei, CEO da Anthropic — concorrente da OpenAI —, afirmou que sua empresa permitiria que auditores de segurança, como o METR, tivessem acesso interno para verificar suas medidas de segurança. Na ocasião, o CEO da OpenAI, Sam Altman, escreveu no X que conceder acesso interno a avaliadores independentes "é uma ótima ideia, e nós faremos o mesmo".
