Por mais impressionantes que sejam as respostas de uma inteligência artificial, será que ela realmente entende o que está dizendo? Um novo estudo aponta que, apesar de parecerem brilhantes, os modelos de linguagem podem apenas simular compreensão. Essa descoberta coloca em xeque a confiança que depositamos nas IAs e revela um desafio mais profundo do que simples erros ou alucinações. Veja o que os pesquisadores descobriram.
O que é a compreensão potemkin
Pesquisadores do MIT, Harvard e da Universidade de Chicago identificaram um fenômeno chamado “compreensão potemkin”. O termo faz referência às “aldeias potemkin”, fachadas montadas para impressionar visualmente sem conteúdo real. Na IA, ocorre quando um modelo define um conceito com precisão, mas falha ao usá-lo corretamente.
Segundo o estudo, os modelos acertam 94,2% das definições conceituais, mas quando precisam aplicar esses mesmos conceitos, o desempenho despenca: falham até 55% das vezes em classificações e 40% na hora de criar exemplos.
A falsa aparência de raciocínio
Essa incoerência revela uma armadilha sutil: os modelos de IA são capazes de produzir textos claros e convincentes sem possuir, de fato, uma estrutura interna de compreensão como a humana. Eles “parecem inteligentes”, mas cometem erros que um estudante mediano jamais cometeria.
O estudo também alerta que os testes tradicionais —pensados para humanos— não medem de forma eficaz o entendimento real das máquinas. Passar num teste não é sinônimo de compreensão, o que pode gerar uma perigosa confiança exagerada nas capacidades das IAs.
Mais grave que alucinações
Enquanto as “alucinações” de IA são erros factuais reconhecíveis, a compreensão potemkin é mais sutil e preocupante. Não se trata de mentiras, mas de uma coerência aparente que não se sustenta. Esses erros conceituais são estruturais e ocorrem em diversos modelos, incluindo GPT-4o, Gemini, Claude, Llama e sistemas da DeepSeek e Alibaba.
A diferença é que as alucinações podem ser desmentidas com dados. Já a compreensão potemkin exige análise profunda das contradições internas do modelo — algo muito mais difícil de detectar.
Um desafio para toda a inteligência artificial
As IAs foram testadas em 32 áreas diferentes, incluindo literatura, lógica, teoria dos jogos e vieses cognitivos. Em todas, mostraram excelente desempenho descritivo, mas resultados fracos ao aplicar o conhecimento.
O recado final dos cientistas é claro: não basta alimentar os modelos com mais dados ou mais poder computacional. Se queremos IAs que realmente compreendam —e não apenas simulem compreensão—, precisamos repensar sua arquitetura desde a base. A inteligência verdadeira ainda está longe de ser alcançada.
