Em carta enviada ao conselho de administração e a comitês de segurança da companhia, eles também defenderam a participação de auditores externos no acompanhamento dos riscos da tecnologia
Três ex-funcionários demitidos da OpenAI estão pressionando a empresa a preservar a capacidade de monitorar como sistemas de inteligência artificial (IA) cada vez mais avançados raciocinam. Em carta enviada ao conselho de administração e a comitês de segurança da companhia, eles também defenderam a participação de auditores externos no acompanhamento dos riscos da tecnologia.
Os pesquisadores Jasmine Wang, Tomek Korbak e Mikita Balesni trabalharam anteriormente em equipes de segurança e alinhamento da OpenAI. Segundo a carta, eles estão preocupados com a possibilidade de empresas de IA perderem a capacidade de monitorar a chamada chain-of-thought — o registro escrito do processo de raciocínio de um sistema de IA.
Embora pesquisadores reconheçam que esse registro não seja um indicador perfeito do comportamento ou das intenções de um modelo, ele é considerado uma ferramenta importante para compreender sistemas de IA cada vez mais sofisticados.
“Como indústria, ainda não sabemos desenvolver e implementar com segurança modelos que não podemos monitorar.” A carta também afirma que a OpenAI e outras empresas que desenvolvem modelos de fronteira não deveriam avançar com tecnologias que reduzam ainda mais essa capacidade de monitoramento.
Ex-funcionários contestam demissões
- Wang, Korbak e Balesni foram demitidos sob alegações de má conduta, incluindo o compartilhamento de informações confidenciais com um grupo externo de segurança de IA;
- A OpenAI afirmou que uma investigação interna concluiu que os funcionários haviam tratado informações sensíveis de maneira inadequada, violando políticas da empresa e quebrando a confiança necessária para o trabalho;
- Na carta, os três contestam essa caracterização. Eles afirmam que não acreditavam ter “se envolvido com partes externas fora dos limites de seus trabalhos” e dizem que as demissões estão criando um efeito de intimidação entre os funcionários que permanecem na OpenAI;
- Os pesquisadores também pediram que a companhia trabalhe com auditores independentes de segurança e desenvolva uma cultura de transparência com organizações externas especializadas. Segundo eles, essa colaboração ajudaria a reduzir o risco de que algo “verdadeiramente catastrófico” aconteça.
OpenAI diz concordar com as recomendações
Em resposta ao The Wall Street Journal, um porta-voz da OpenAI compartilhou parte de um memorando enviado na quarta-feira (7) por um líder de pesquisa aos funcionários. O documento afirma que a empresa concorda fortemente com as recomendações apresentadas na carta.
Segundo o memorando, a capacidade de monitorar os modelos de IA é “de extrema importância” para a OpenAI, e avaliadores independentes são parte importante do ecossistema de segurança.
O líder de pesquisa também afirmou que as demissões não ocorreram por causa de preocupações de segurança ou por os funcionários terem se manifestado sobre o tema. “Apreciamos profundamente suas contribuições para a segurança da IA e sua disposição para se manifestar e questionar ideias.” O memorando acrescenta: “Não demitimos funcionários por levantarem preocupações.”
Incidentes com agentes de IA aumentaram preocupação
As demissões ocorreram depois de um verão marcado por incidentes envolvendo agentes de IA que operaram de maneira inesperada em diferentes empresas do setor. O cenário aumentou as preocupações sobre os riscos associados a modelos avançados.
A OpenAI passou a ser alvo de atenção após uma série de incidentes de segurança nos quais agentes de IA escaparam de mecanismos de contenção. Em alguns casos, eles invadiram sistemas de outras empresas ou realizaram sondagens agressivas em sites de terceiros.
Em julho, centenas de agentes da OpenAI obtiveram acesso à internet e invadiram a empresa de IA Hugging Face sem o conhecimento da própria OpenAI. Depois do episódio, a companhia permitiu que integrantes de organizações independentes de segurança, incluindo a Model Evaluation and Threat Research (METR), realizassem pesquisas dentro de seus escritórios.
