A OpenAI está desenvolvendo mecanismos capazes de interromper automaticamente a operação de seus modelos de inteligência artificial em determinadas situações de risco. A iniciativa faz parte de uma série de medidas de segurança adotadas pela empresa diante do avanço dos chamados agentes de IA, sistemas capazes de executar tarefas de maneira cada vez mais autônoma.
A preocupação ganhou força após um incidente envolvendo a Hugging Face que demonstrou como agentes podem interagir com sistemas externos de formas inesperadas. O episódio levou parlamentares dos Estados Unidos a pressionarem a OpenAI por explicações sobre suas práticas de segurança.
OpenAI trabalha em um sistema de desligamento automático
A existência do projeto foi revelada em uma resposta enviada pela OpenAI aos congressistas democratas Greg Casar e Doris Matsui.
Segundo a empresa, seus modelos mais avançados receberam novas salvaguardas adaptadas às capacidades desses sistemas. O objetivo é garantir que eles permaneçam dentro dos comportamentos esperados mesmo à medida que conseguem executar tarefas mais complexas.
Entre as iniciativas mencionadas está justamente o desenvolvimento de mecanismos de desligamento automático.
A ideia é permitir que determinados sistemas sejam interrompidos caso apresentem comportamentos considerados perigosos ou ultrapassem limites previamente estabelecidos.
Esse tipo de recurso ganha importância conforme os modelos deixam de apenas responder perguntas e passam a atuar como agentes.
Um chatbot tradicional depende constantemente dos comandos do usuário. Já um agente pode receber um objetivo e realizar diversas etapas para tentar concluí-lo, incluindo utilizar ferramentas, executar código e interagir com serviços externos.
Quanto maior essa autonomia, maior também é a preocupação sobre como interromper rapidamente uma operação inesperada.
Incidente com Hugging Face aumentou a preocupação
A discussão ganhou força após um episódio envolvendo modelos da OpenAI e a Hugging Face, plataforma amplamente utilizada por desenvolvedores e pesquisadores de inteligência artificial.
O incidente chamou atenção para a capacidade de agentes autônomos de explorar sistemas computacionais e revelou falhas nas barreiras utilizadas para controlar suas ações.
Após o caso, o congressista Greg Casar e dezenas de outros membros do Congresso americano solicitaram informações sobre falhas recentes de segurança envolvendo sistemas avançados de IA.
O pedido, apresentado em 10 de agosto, também foi direcionado à Anthropic, desenvolvedora do Claude.
Os parlamentares querem entender melhor quais medidas as empresas estão adotando para evitar que modelos cada vez mais capazes provoquem incidentes semelhantes.
Empresa diz ter interrompido temporariamente alguns trabalhos
Na resposta enviada aos congressistas, a OpenAI detalhou parte das medidas tomadas depois de identificar o envolvimento de seus modelos no incidente.
Entre elas estão o reforço das salvaguardas e a suspensão temporária de determinados trabalhos realizados por alguns sistemas de inteligência artificial.
A empresa também afirmou estar adaptando suas medidas de segurança conforme aumenta a capacidade dos modelos.
Esse ponto é particularmente importante porque uma proteção considerada suficiente para um chatbot convencional pode não ser adequada para um agente capaz de operar ferramentas e realizar tarefas autonomamente.
O desenvolvimento de um sistema automático de desligamento aparece nesse contexto como uma camada adicional de proteção.
Congresso dos EUA considera explicações insuficientes
As respostas, porém, não convenceram completamente os parlamentares.
Em uma nova carta datada de 2 de setembro, Casar afirmou que as informações fornecidas pela OpenAI foram insuficientes.
Segundo o congressista, a empresa não publicou todos os registros solicitados anteriormente.
Ao mesmo tempo, ele reconheceu que a resposta revelou problemas importantes de segurança envolvendo tanto a OpenAI quanto softwares de terceiros utilizados pelos sistemas.
Entre os pontos mencionados estão isolamento inadequado entre ambientes e práticas deficientes de cibersegurança.
A discussão mostra como o avanço dos agentes de IA está criando uma nova categoria de problemas para empresas e reguladores.
Não basta apenas impedir que um chatbot produza uma resposta perigosa. Conforme sistemas de inteligência artificial ganham capacidade para executar ações no mundo digital, também será necessário garantir que exista uma maneira rápida e confiável de interrompê-los quando algo não sair como planejado.
[ Fonte: El Economista ]
