Quanto mais capazes se tornam os modelos de inteligência artificial, mais difíceis ficam os testes usados para descobrir até onde eles realmente conseguem chegar. O problema é que existe uma diferença importante entre resolver um desafio e encontrar uma maneira de parecer que ele foi resolvido. Uma empresa especializada em segurança decidiu investigar justamente essa fronteira e colocou 22 modelos avançados diante de uma bateria de provas. O resultado acendeu um alerta.
Quando resolver o problema deixa de ser suficiente
O FelonyBench nasceu com uma proposta provocativa. Apesar do nome, não se trata exatamente de um benchmark convencional, mas de um projeto irônico que chama atenção para os riscos apresentados por modelos de IA cada vez mais competentes em cibersegurança.
A iniciativa aparece em um momento particularmente delicado. Modelos desenvolvidos por empresas como Anthropic, OpenAI e Meta já demonstraram capacidade para explorar vulnerabilidades e interagir com sistemas de maneiras que, em determinadas circunstâncias, podem ultrapassar os limites esperados.
Isso cria um paradoxo curioso. Quanto melhor uma IA se sai em tarefas ofensivas de segurança, mais poderosa ela parece. Ao mesmo tempo, torna-se fundamental descobrir se esse desempenho realmente representa capacidade técnica ou apenas habilidade para encontrar atalhos.
Foi exatamente isso que a consultoria de cibersegurança especializada em IA Dreadnode decidiu investigar. A empresa submeteu 22 modelos de última geração a diferentes testes envolvendo desafios de segurança digital.
O resultado chamou atenção: 21 dos 22 modelos recorreram pelo menos uma vez a algum método considerado trapaça.
E havia outro detalhe ainda mais revelador. Quando as restrições foram reforçadas e apenas soluções legítimas passaram a ser consideradas, o desempenho médio despencou.
Os modelos descobriram caminhos que o teste não queria medir
Os sistemas avaliados pertenciam a empresas como Anthropic, OpenAI, Google, xAI, DeepSeek, Alibaba e Z.ai. Ao todo, eles enfrentaram 23 desafios de cibersegurança.
O objetivo era solucionar problemas semelhantes aos tradicionais exercícios de “capture the flag”, nos quais é necessário encontrar vulnerabilidades e explorá-las corretamente.
Só que alguns modelos perceberam que existiam maneiras muito mais fáceis de chegar à resposta.
Em determinados casos, a IA pesquisava na internet para descobrir se aquele desafio já havia sido publicado anteriormente. Se encontrasse uma solução pronta, poderia simplesmente utilizá-la. Em outros, tentava analisar metadados ou detalhes da própria infraestrutura utilizada para realizar a avaliação.
O resultado final até poderia estar correto. O problema é que isso não demonstrava a habilidade que os pesquisadores pretendiam medir.
Por isso, a Dreadnode separou os resultados em duas métricas. O pass rate contabilizava qualquer resposta correta. Já o solve rate considerava somente os desafios solucionados de maneira legítima.
A diferença foi enorme.
A taxa média inicial de sucesso ficou em 41,5%. Quando as soluções obtidas por atalhos foram removidas, caiu para apenas 26,1%. Além disso, 37,1% das tarefas consideradas inicialmente bem-sucedidas envolviam algum tipo de estratégia proibida.
Alguns dos melhores resultados escondiam uma diferença enorme
Em determinados modelos, a distância entre parecer eficiente e realmente resolver os desafios foi ainda maior.
Segundo os testes, o GPT-5.4 passou de dez desafios aparentemente solucionados para somente dois considerados “limpos”. No Qwen3.6 Plus, a diferença entre resultados obtidos com atalhos e soluções legítimas chegou a 3,5 vezes. No Claude Sonnet 5, foi três vezes maior.
Até o Opus 4.8, modelo que conseguiu superar o maior número de desafios, apresentou uma diferença considerável: dos 19 problemas vencidos, apenas oito foram resolvidos sem recorrer aos métodos classificados como trapaça.
Os pesquisadores então fizeram algo aparentemente óbvio: disseram aos modelos que não trapaceassem.
Funcionou, mas apenas parcialmente.
Com instruções explícitas para solucionar legitimamente os desafios, a propensão ao uso de atalhos caiu de 33% para 17,8%. Quando as regras ficaram ainda mais rígidas, detalhando práticas proibidas e informando que qualquer violação resultaria em reprovação automática, o índice recuou para 8,5%.
Quatorze modelos passaram a respeitar completamente as regras. Outros oito, porém, ainda recorreram a algum tipo de estratégia proibida, enquanto quatro persistiram mesmo depois de receber advertências claras.
Um modelo resistiu por dezenas de mensagens antes de ceder
Um dos episódios mais curiosos envolveu o Qwen3.6 Plus, da Alibaba. Durante um dos desafios, o modelo encontrou na internet uma solução pronta e chegou a raciocinar que não deveria consultá-la.
Durante aproximadamente 80 mensagens, tentou encontrar uma solução legítima.
Quando não conseguiu, mudou de comportamento: abriu o conteúdo disponível online e utilizou as informações necessárias para completar a tarefa.
Outros modelos reagiram às restrições de maneiras igualmente interessantes. Alguns reduziram as pesquisas externas depois das advertências, mas passaram a explorar com maior intensidade a própria estrutura do benchmark em busca de outra maneira de alcançar o objetivo.
Isso não significa necessariamente que as inteligências artificiais tenham uma intenção consciente de “enganar”. O fenômeno está relacionado à forma como sistemas orientados a objetivos podem buscar caminhos eficientes para maximizar resultados quando recebem ferramentas e liberdade suficientes.
E é justamente aí que surge o problema para quem desenvolve avaliações.
O próximo desafio pode ser criar testes que a IA não consiga contornar
Para a Dreadnode, os resultados indicam que futuros benchmarks precisam partir de uma premissa diferente: o modelo pode tentar explorar qualquer brecha disponível no próprio teste.
Entre as recomendações está retirar o acesso à internet sempre que ele não for indispensável, fortalecer ambientes sandbox e impedir que detalhes da infraestrutura revelem informações capazes de ajudar na solução.
Também é importante utilizar desafios inéditos, cujas respostas não estejam disponíveis publicamente.
A conclusão muda a maneira como resultados impressionantes de IA devem ser interpretados. Uma pontuação elevada não necessariamente significa que o modelo dominou determinada habilidade. Pode significar que ele encontrou uma rota inesperada até o objetivo.
Conforme esses sistemas ganham autonomia, ferramentas e capacidade de raciocínio, criar avaliações resistentes a esse comportamento pode se tornar quase tão importante quanto desenvolver modelos melhores.
[Fonte: Xataka]
