A OpenAI está trabalhando em um mecanismo capaz de desligar automaticamente seus modelos de inteligência artificial diante de determinados comportamentos inesperados. A iniciativa faz parte de um conjunto de novas medidas de segurança adotadas pela empresa após um incidente relacionado à plataforma Hugging Face.
A existência do projeto foi revelada em uma resposta enviada pela OpenAI a congressistas democratas dos Estados Unidos que haviam solicitado explicações sobre possíveis falhas nos sistemas de segurança da companhia.
O caso reacendeu uma discussão que ganha importância conforme modelos de IA deixam de apenas responder perguntas e começam a funcionar como agentes capazes de executar tarefas de maneira mais autônoma.
Segundo as informações fornecidas aos legisladores, a OpenAI também reforçou as salvaguardas aplicadas aos seus sistemas mais avançados. A intenção é adaptar essas proteções conforme as capacidades dos modelos aumentam.
Incidente com a Hugging Face levantou preocupações
As novas medidas surgiram depois de um incidente envolvendo a Hugging Face, plataforma amplamente utilizada por desenvolvedores e pesquisadores de inteligência artificial.
Segundo as informações apresentadas aos congressistas, o episódio demonstrou que sistemas autônomos de IA podem apresentar capacidade para atacar ou interagir de maneira problemática com outros sistemas digitais.
A situação chamou a atenção do Congresso dos Estados Unidos.
Em 10 de agosto, o congressista democrata Greg Casar e dezenas de outros membros do Legislativo solicitaram explicações à OpenAI sobre suas práticas de segurança e os acontecimentos relacionados ao episódio.
A Anthropic também recebeu questionamentos.
O objetivo era entender quais controles estavam sendo utilizados pelas empresas para impedir que agentes de inteligência artificial executassem ações indesejadas ou ultrapassassem os limites definidos pelos desenvolvedores.
OpenAI diz que reforçou suas proteções
Em resposta a Casar e à congressista democrata Doris Matsui, a OpenAI detalhou algumas das medidas adotadas depois de concluir que seus modelos haviam participado do incidente relacionado à Hugging Face.
A empresa afirmou ter fortalecido mecanismos de segurança e interrompido temporariamente determinadas atividades realizadas por alguns sistemas de inteligência artificial.
Essas medidas fazem parte de uma estratégia mais ampla para acompanhar o aumento das capacidades dos modelos.
Quanto mais autônomo se torna um sistema, maior é a preocupação com situações nas quais ele possa executar uma sequência de ações não prevista inicialmente pelos desenvolvedores.
É justamente nesse contexto que aparece uma das medidas mais importantes reveladas pela companhia.
Modelos poderão ser desligados automaticamente
A OpenAI confirmou que está desenvolvendo uma capacidade de desligamento automático para seus modelos.
O mecanismo funcionaria como uma camada adicional de segurança diante de determinados comportamentos inesperados. A ideia é permitir que sistemas sejam interrompidos antes que continuem executando ações consideradas problemáticas.
A empresa não detalhou publicamente todos os critérios que poderiam acionar esse mecanismo.
Esse tipo de controle pode ganhar relevância principalmente com os chamados agentes de IA. Diferentemente de um chatbot convencional, esses sistemas podem utilizar ferramentas, navegar entre diferentes etapas de uma tarefa e tomar determinadas decisões sem depender de uma nova instrução humana a cada ação.
Com esse aumento de autonomia, empresas e pesquisadores procuram desenvolver mecanismos capazes de interromper rapidamente uma operação quando algo sai do esperado.
Congresso considera explicações insuficientes
As respostas da OpenAI, entretanto, não encerraram os questionamentos.
Em uma nova carta datada de 2 de setembro, Greg Casar afirmou que as informações fornecidas pela companhia eram insuficientes.
Segundo o congressista, a OpenAI não publicou os registros solicitados anteriormente pelos legisladores.
Casar afirmou ainda que os documentos entregues revelaram problemas importantes de segurança envolvendo tanto a OpenAI quanto softwares de terceiros utilizados pela empresa.
Entre as questões mencionadas pelo parlamentar estão mecanismos inadequados de isolamento dos sistemas e práticas deficientes de cibersegurança.
O episódio coloca novamente em evidência um dos maiores desafios enfrentados pela indústria de inteligência artificial.
Modelos estão ganhando capacidade para realizar tarefas cada vez mais complexas e independentes. Ao mesmo tempo, empresas precisam garantir que humanos continuem capazes de interromper suas ações quando necessário.
O desenvolvimento de um sistema de desligamento automático mostra que essa preocupação já deixou o campo puramente teórico. Conforme os agentes de IA ganham autonomia, mecanismos capazes de dizer “pare imediatamente” podem se tornar tão importantes quanto a própria inteligência desses sistemas.
[ Fonte: El Mundo ]
