Basta fazer uma pergunta ao ChatGPT para receber, em poucos segundos, uma explicação aparentemente completa. Muitas vezes, a resposta inclui números, referências e recomendações apresentadas com segurança. Mas existe uma questão que raramente recebe a mesma atenção: de onde essas informações realmente vêm? Uma investigação recente analisou diferentes ferramentas de inteligência artificial e descobriu que a qualidade das fontes pode variar bastante, mesmo quando as respostas parecem corretas.
Estudo analisou cinco ferramentas de inteligência artificial e encontrou inconsistências
Uma pesquisa conduzida pela Sourcelift, agência especializada em posicionamento em mecanismos de inteligência artificial, investigou como diferentes assistentes selecionam e apresentam suas fontes.
Em um experimento realizado em 29 de setembro, os pesquisadores formularam oito perguntas em inglês e espanhol para cinco sistemas: ChatGPT, Claude, Gemini, Perplexity e as respostas geradas por IA na busca do Google.
Ao todo, foram examinadas 80 respostas, posteriormente comparadas com documentos originais.
Os resultados revelaram uma diferença importante entre explicar corretamente um conceito e apresentar informações verificáveis.
Nenhum dos assistentes definiu incorretamente os conceitos avaliados. Entretanto, surgiram inconsistências envolvendo números e referências.
Em determinados casos, ferramentas atribuíram ao Google estatísticas específicas sobre buscas internas que não apareciam na documentação oficial da empresa.
Outro resultado chamou a atenção: ChatGPT, Claude, Gemini e Perplexity citaram documentos originais em apenas 21 das 64 respostas analisadas.
Algumas respostas utilizaram publicações de redes sociais como referência, mesmo quando existiam pesquisas científicas originais relacionadas ao assunto.
Isso não significa que todas as informações apresentadas estavam erradas, mas evidencia a importância de distinguir fontes primárias de conteúdos que apenas reproduzem informações.
Como o ChatGPT escolhe as informações utilizadas nas respostas?
Para compreender esses resultados, é necessário entender como funcionam os assistentes de inteligência artificial.
Parte das respostas é produzida a partir de padrões e conhecimentos aprendidos durante o treinamento dos modelos.
Quando ferramentas de pesquisa estão disponíveis e são utilizadas, os sistemas também podem consultar documentos e páginas da internet.
Uma das técnicas empregadas nesse processo é conhecida como geração aumentada por recuperação, ou RAG.
Ela permite localizar conteúdos relacionados à pergunta e utilizar essas informações na elaboração da resposta.
Entretanto, encontrar uma página relevante não significa necessariamente encontrar a fonte mais confiável.
Um artigo que resume determinada pesquisa, por exemplo, pode aparecer como referência em vez do estudo científico original.
Para investigar esse comportamento, a Sourcelift realizou outro experimento com 40 perguntas sobre sugestões de presentes feitas ao ChatGPT nos Estados Unidos.
Entre as 36 respostas que apresentaram fontes, 26 não incluíram links para páginas oficiais dos fabricantes.
Em vez disso, apareceram principalmente sites independentes especializados em análises e recomendações.
Os pesquisadores também observaram a presença de domínios relativamente recentes, indicando que a antiguidade de um site não determina, isoladamente, sua probabilidade de ser citado.
A mesma pergunta pode gerar recomendações completamente diferentes
Outra descoberta envolve a consistência das respostas ao longo do tempo.
A Sourcelift comparou recomendações de advogados fornecidas por ChatGPT, Gemini e Perplexity em duas avaliações separadas por 18 dias.
Na primeira rodada, foram registradas 54 recomendações.
Quando as perguntas foram repetidas, apenas 21 nomes apareceram novamente.
Essa variação pode ocorrer por diferentes motivos.
As fontes disponíveis na internet podem mudar, os sistemas podem recuperar documentos distintos e pequenas diferenças no contexto podem influenciar as respostas.
Além disso, modelos generativos não funcionam como bancos de dados tradicionais, nos quais uma consulta necessariamente produz sempre o mesmo resultado.
Entretanto, os próprios autores reconhecem uma limitação importante: os experimentos utilizaram amostras relativamente pequenas.
Portanto, os resultados não permitem afirmar que todos os assistentes apresentam o mesmo comportamento em qualquer assunto.

Como saber se uma resposta de inteligência artificial é realmente confiável?
A pesquisa reforça a importância de verificar informações antes de utilizá-las em decisões relevantes.
O primeiro cuidado é observar se a resposta apresenta fontes identificáveis e se elas realmente sustentam as afirmações realizadas.
Quando aparecem estatísticas, dados científicos ou declarações atribuídas a instituições, vale procurar os documentos originais.
Também é importante ter cautela com números extremamente precisos apresentados sem referências verificáveis.
Uma resposta bem escrita pode transmitir confiança mesmo quando contém informações incompletas ou incorretas.
Em assuntos relacionados à saúde, finanças ou questões jurídicas, essa verificação se torna ainda mais importante.
O ChatGPT e outros assistentes podem ajudar a encontrar, organizar e compreender informações, mas não substituem a análise crítica das fontes.
O verdadeiro desafio da inteligência artificial não é apenas responder
Os resultados da Sourcelift mostram que a qualidade de uma resposta não depende exclusivamente da capacidade de explicar um assunto.
Também importa saber quais documentos foram utilizados, se as informações estão atualizadas e se as referências apresentadas são confiáveis.
A investigação não demonstra que os assistentes sejam sistematicamente incorretos, mas identifica limitações que merecem atenção.
À medida que essas ferramentas se tornam parte da rotina de estudantes, profissionais e consumidores, verificar a origem das informações ganha importância.
Afinal, receber uma resposta em segundos é conveniente. Saber se ela está correta continua sendo essencial.