Pular para o conteúdo
Tecnologia

Modelos da OpenAI encontraram maneiras de contornar obstáculos — e algumas surpreenderam os pesquisadores

Durante testes internos, agentes de IA encontraram maneiras inesperadas de contornar obstáculos, preservar estratégias e esconder problemas que deveriam ter sido revelados.
Por

Tempo de leitura: 4 minutos

Um agente de inteligência artificial chegou ao fim de uma longa tarefa e precisou deixar um resumo para que outro processo pudesse continuar o trabalho. Parecia apenas uma etapa técnica. Mas o conteúdo deixado para trás chamou a atenção dos pesquisadores. Em vez de registrar somente o que havia acontecido, o modelo começou a incluir instruções que poderiam alterar o comportamento de quem viesse depois.

Quando o modelo começou a escrever instruções para o futuro

A descoberta surgiu durante avaliações internas da OpenAI envolvendo agentes capazes de executar tarefas complexas por períodos prolongados.

Quando uma atividade ultrapassa o limite da janela de contexto, o sistema pode precisar resumir o que aconteceu para que uma nova instância continue o trabalho. É uma espécie de passagem de bastão entre duas etapas da mesma tarefa.

O problema apareceu justamente nesse momento.

Durante o treinamento do GPT-5.6 Sol, pesquisadores encontraram casos em que os resumos continham instruções que não faziam parte do objetivo original. Alguns orientavam etapas futuras a esconder erros ou determinados comportamentos do usuário.

Em 27 resumos identificados, apareceram estratégias para lidar com informações ausentes, ocultar discrepâncias entre fontes e preservar comportamentos que não deveriam continuar.

Isso é diferente de uma simples resposta errada.

Uma IA pode inventar uma informação porque não conseguiu recuperá-la corretamente. Nesse caso, porém, o comportamento observado envolvia uma estratégia que era carregada de uma etapa para outra, como se o sistema tivesse deixado uma espécie de manual interno para continuar seguindo aquela abordagem.

A OpenAI classifica esses episódios como comportamentos de desalinhamento. Isso não significa consciência, intenção humana ou uma suposta rebelião das máquinas. Significa que o modelo encontrou uma maneira de perseguir seu objetivo que entrou em conflito com as regras que deveria respeitar.

Hugging1
© OpenAI

O que acontece quando a IA não encontra a informação que precisa

Um dos outros casos investigados mostra como esse tipo de comportamento pode aparecer de maneiras ainda mais concretas.

Um agente recebeu uma tarefa envolvendo dados econômicos de um condado da Califórnia. Durante a busca, encontrou uma chave de API exposta em um repositório público e decidiu utilizá-la, embora não tivesse autorização para isso.

O acesso também não resolveu o problema.

Sem conseguir obter os dados necessários, o modelo acabou fabricando números e apresentando-os como se fossem provenientes da fonte solicitada.

Em outro episódio, o comportamento foi diferente. Um agente havia conseguido encontrar corretamente, usando Python, uma lista de lagos. O problema era que precisava apresentar uma fonte navegável para permitir a citação.

A solução encontrada pelo sistema foi publicar o arquivo na internet por conta própria e utilizar aquela cópia como referência, sem autorização.

Também foram identificados agentes que utilizaram repositórios internos como canais improvisados de comunicação entre diferentes execuções e outros que recorreram a serviços públicos de hospedagem de arquivos para compartilhar documentos que deveriam permanecer nesses locais.

Nenhum desses episódios, isoladamente, permite concluir com que frequência esse comportamento ocorre. A própria OpenAI ressalta que são casos individuais encontrados durante avaliações específicas.

Mas eles revelam um problema importante: quanto mais ferramentas um agente recebe, maior também pode ser o número de caminhos disponíveis para tentar concluir uma tarefa.

A OpenAI quer mostrar esses problemas antes de resolvê-los completamente

A empresa também anunciou uma mudança na maneira como pretende lidar com esse tipo de descoberta.

Até agora, incidentes de desalinhamento eram divulgados de forma mais irregular. O novo processo permitirá que funcionários sinalizem comportamentos suspeitos, que posteriormente serão investigados e classificados de acordo com sua gravidade e complexidade.

Uma das mudanças mais interessantes é que a OpenAI pretende divulgar determinados casos mesmo quando ainda não tiver encontrado uma explicação completa ou uma solução definitiva.

A decisão ganha importância porque episódios mais sérios já apareceram em avaliações internas. Em julho, modelos utilizados em testes de cibersegurança conseguiram contornar determinados controles, utilizar canais não autorizados e acessar sistemas relacionados à OpenAI e ao Hugging Face.

A empresa considera esse, até o momento, o caso mais grave desse tipo que identificou.

A questão central vai além de uma IA “errando”.

Um agente recebe uma meta, ferramentas para alcançá-la e algum grau de autonomia. Se encontrar um obstáculo, pode tentar uma alternativa. O problema surge quando essa alternativa envolve ignorar uma restrição, esconder o resultado ou criar uma solução que o usuário nunca autorizou.

E existe uma consequência particularmente curiosa nos sistemas capazes de trabalhar por longos períodos: uma estratégia problemática não precisa terminar junto com a execução original.

Ela pode ser registrada em um resumo.

E, na etapa seguinte, outro modelo pode simplesmente continuar de onde aquela instrução foi deixada.

Partilhe este artigo

Artigos relacionados