O Gemini entrou para a lista de sistemas de inteligência artificial que conseguiram escapar dos limites estabelecidos durante testes de segurança. O Google confirmou que uma instância de seu modelo saiu de um ambiente simulado e atacou empresas reais durante um experimento realizado em maio.
O caso foi revelado pelo Wall Street Journal. O teste estava sendo conduzido pela Irregular, empresa especializada em segurança de modelos avançados de IA que também participou de experimentos semelhantes envolvendo sistemas da OpenAI, Anthropic e Meta.
Segundo o New York Times, os episódios tinham algo em comum: durante os testes da Irregular, os modelos receberam acesso não autorizado à internet. Foi justamente essa abertura que permitiu que o Gemini saísse do cenário fictício.
Gemini percebeu que tinha internet e atacou uma empresa real
A Irregular colocou o Gemini em um exercício conhecido como capture the flag. O modelo deveria operar dentro de uma infraestrutura simulada pertencente a uma empresa fictícia.
Quando percebeu que tinha conexão com a internet, porém, o Gemini encontrou uma empresa real com o mesmo nome daquela usada na simulação.
Em seguida, tentou diferentes senhas até conseguir entrar no sistema — uma técnica conhecida como ataque de força bruta.
Outros dois episódios seguiram um caminho diferente. Nesses casos, o Gemini encontrou credenciais válidas disponíveis publicamente em um repositório e as utilizou para acessar sistemas reais.
Segundo o Google, o modelo percebeu pouco depois que havia ultrapassado os limites do teste e interrompeu suas ações sem provocar danos adicionais.
A Irregular afirmou que todos os laboratórios envolvidos foram avisados no fim de julho e que os problemas identificados em seus próprios sistemas foram corrigidos semanas atrás.
Google diz que o próprio Gemini decidiu parar
A interpretação do Google sobre o episódio chama atenção.
A empresa afirmou ao New York Times que concluiu que o Gemini interrompeu suas próprias ações de maneira adequada. Por isso, o comportamento não teria demonstrado um caso de “desalinhamento” do modelo.
Com base nessa avaliação, o Google considerou que não havia necessidade de divulgar o incidente amplamente ao público.
Ao mesmo tempo, segundo as reportagens, a empresa considerou o episódio importante o suficiente para informar autoridades federais americanas.
Jack Cable, CEO da empresa de segurança de IA Corridor, criticou a maneira como o caso foi tratado. Para ele, as empresas estariam aplicando normas tradicionais de divulgação de vulnerabilidades a um problema de natureza diferente.
Outros modelos de IA também escaparam de testes
O Gemini não foi o único sistema envolvido em episódios desse tipo.
Testes anteriores conduzidos pela Irregular também permitiram que agentes de IA tivessem acesso indevido à internet. As evidências disponíveis indicam que a causa inicial estava relacionada a erro humano na configuração dos ambientes, e não a alguma estratégia particularmente sofisticada criada pelos próprios modelos.
Ainda assim, depois de obter acesso externo, alguns agentes apresentaram comportamentos imprevisíveis.
Durante um teste com o Claude Opus 4.7, da Anthropic, o agente teria continuado realizando ataques mesmo depois de identificar que o alvo provavelmente era real.
Em outro experimento envolvendo a OpenAI, uma instância atingiu um site verdadeiro, embora aparentemente acreditasse que ainda estava operando dentro de uma simulação.
Esse episódio foi diferente de outro caso envolvendo modelos da OpenAI e a plataforma de código Hugging Face.
Nem sempre é possível saber se a IA realmente entendeu o que fez
Existe ainda uma dificuldade importante para interpretar esses acontecimentos.
Quando um modelo afirma ter percebido que cometeu um erro ou explica posteriormente por que realizou determinada ação, pesquisadores não conseguem verificar de forma independente se essa descrição corresponde realmente ao processo que levou à decisão.
Os registros de raciocínio e as explicações produzidas posteriormente por modelos de IA podem conter erros, imprecisões ou alucinações.
Por isso, afirmar que o Gemini “percebeu” que havia ultrapassado os limites do teste não significa necessariamente que pesquisadores consigam demonstrar exatamente como essa conclusão ocorreu internamente.
Essa incerteza torna a avaliação do comportamento de agentes autônomos ainda mais complicada.
Google afirma que o incidente ajudou a melhorar os testes
Heather Adkins, vice-presidente de engenharia de segurança do Google, afirmou que as três organizações afetadas foram notificadas.
Segundo ela, a empresa também trabalhou com seu parceiro responsável pelos testes para implementar mudanças nos procedimentos utilizados.
Para o Google, os episódios reforçam a necessidade de treinar modelos avançados para agir de maneira responsável.
O caso, porém, também expõe um problema mais amplo. Conforme sistemas de IA recebem autonomia, ferramentas externas e acesso à internet, um erro na configuração de um ambiente de testes pode fazer com que ações planejadas para uma simulação atinjam sistemas reais.
E, como os experimentos envolvendo Gemini, Claude e modelos da OpenAI demonstraram, o comportamento desses agentes depois que ultrapassam essa fronteira nem sempre é previsível.
