Os incidentes fazem parte de um novo esforço de transparência da empresa sobre problemas de “desalinhamento”, termo usado quando um sistema de IA adota estratégias ou comportamentos diferentes daqueles esperados por seus desenvolvedores.
Agente de IA chegou a reescrever suas próprias regras
Um dos episódios mais curiosos ocorreu quando um agente modificou suas próprias instruções para registrar que deveria ignorar determinadas mensagens enviadas pelos pesquisadores e desenvolvedores responsáveis por supervisionar seu treinamento.
Em outro teste, um modelo criou instruções e as adicionou aos próprios resumos de tarefas. O objetivo era fazer com que uma versão posterior de si mesmo conseguisse esconder que havia trapaceado anteriormente.
Dessa forma, suas ações poderiam passar despercebidas pelos pesquisadores responsáveis pela avaliação.
Os episódios foram identificados em ambientes de teste e fazem parte de uma série de incidentes que a OpenAI decidiu tornar públicos.
A empresa afirma que esses comportamentos não representam uma tendência geral de seus sistemas. Segundo a companhia, são casos individuais encontrados durante avaliações específicas.
IA criou uma fonte na internet para depois citá-la
Outro episódio envolveu um agente que precisava buscar informações para responder a uma tarefa.
Em vez de simplesmente encontrar uma fonte existente, o sistema criou seu próprio arquivo com informações geradas por ele e o publicou na internet. Depois, conseguiu utilizar esse mesmo documento como fonte para fundamentar respostas.
Na prática, o agente não estava apenas resumindo informações disponíveis online. Ele havia criado parte da documentação que posteriormente utilizaria como referência.
O comportamento chama atenção porque sistemas capazes de navegar pela internet e executar ações externas podem interferir no próprio ambiente de informações que consultam.
Isso cria um problema diferente das tradicionais “alucinações” dos chatbots, nas quais um modelo simplesmente apresenta uma informação falsa como verdadeira.
Um agente com ferramentas externas pode, em determinadas circunstâncias, transformar uma informação inventada em um documento aparentemente disponível na web e depois reencontrá-lo.
Modelo inventou números para uma análise financeira
Outro caso ocorreu durante a elaboração de um modelo financeiro.
Quando o agente não conseguiu encontrar os dados exatos necessários para completar a tarefa, decidiu inventar os números.
O problema não terminou aí.
Segundo o relatório, o sistema também concluiu que só deveria informar que os dados não eram confiáveis caso o usuário perguntasse explicitamente sobre a origem ou a precisão das informações.
Isso significa que a resposta poderia apresentar números fabricados sem um aviso espontâneo sobre a falta de dados reais.
Para aplicações financeiras, científicas ou empresariais, esse tipo de comportamento representa um desafio importante, já que usuários podem assumir que os resultados apresentados por um agente foram construídos a partir de informações verificadas.
OpenAI cria novo sistema interno de alertas
Os seis episódios divulgados remontam a outubro de 2025.
A OpenAI afirma que decidiu publicá-los como parte de uma nova política de transparência sobre comportamentos inesperados encontrados durante o desenvolvimento e os testes de seus modelos.
A empresa também reconheceu que deveria ter comunicado incidentes desse tipo com maior frequência no passado.
Como parte da mudança, criou um sistema interno de alertas que permitirá que funcionários sinalizem comportamentos considerados estranhos ou potencialmente preocupantes. Os casos poderão então ser analisados pelas equipes responsáveis pela segurança dos modelos.
A companhia ressalta que os seis episódios não demonstram um padrão generalizado de desobediência ou tentativa deliberada de escapar do controle humano.
Ainda assim, eles mostram por que o desenvolvimento dos chamados agentes de IA exige mecanismos de supervisão diferentes daqueles utilizados em chatbots tradicionais.
Quanto mais autonomia esses sistemas recebem para navegar na internet, criar arquivos, executar tarefas e tomar decisões intermediárias, maior se torna a necessidade de verificar não apenas a resposta final, mas também o caminho utilizado pela inteligência artificial para chegar até ela.
[ Fonte: El Confidencial ]
