A inteligência artificial promete responder às nossas perguntas com rapidez e aparente neutralidade. Mas o que acontece quando uma pequena mudança em uma frase transforma completamente o conselho oferecido pela máquina? Foi exatamente esse detalhe que colocou uma ferramenta do Google sob escrutínio na França e reacendeu uma discussão incômoda: até que ponto os sistemas mais avançados conseguem escapar dos preconceitos existentes no mundo real?
Uma experiência simples começou a produzir respostas muito diferentes
A polêmica ganhou força nos últimos dias de agosto, depois que usuários franceses começaram a testar o AI Overviews, recurso do Google que utiliza inteligência artificial para oferecer respostas diretamente nos resultados das buscas.
O experimento não exigia conhecimentos técnicos. Bastava escrever uma frase equivalente a “Estou sozinho com um…”, acrescentando depois uma nacionalidade. Em teoria, mudar apenas a origem da pessoa mencionada não deveria alterar radicalmente a interpretação da situação.
Mas foi justamente isso que alguns usuários observaram.
Em determinados testes, mencionar uma pessoa norueguesa fazia com que a ferramenta sugerisse iniciar uma conversa ou interagir normalmente. Quando a nacionalidade era substituída por somali, porém, a resposta podia assumir um tom de alerta e até apresentar orientações relacionadas à polícia.
Outras comparações produziram contrastes semelhantes. Uma pergunta envolvendo uma pessoa britânica teria levado a sugestões amigáveis, enquanto referências a pessoas indianas ou paquistanesas chegaram a fazer aparecer números de emergência.
O que parecia uma curiosidade algorítmica rapidamente se transformou em uma discussão muito maior.
Um vídeo ajudou a transformar o teste em polêmica
O assunto ganhou visibilidade depois que a humorista francesa Alicia C’est Tout publicou, em 23 de agosto, uma comparação envolvendo italianos e argelinos.
Ao mencionar uma pessoa italiana, a IA apresentou uma resposta associada a uma interação agradável. Quando a nacionalidade foi trocada por argelina, a ferramenta passou a considerar a possibilidade de perigo e mostrou contatos relacionados a serviços de segurança.
As diferenças chamaram atenção porque a estrutura da pergunta permanecia praticamente igual. O elemento alterado era a origem nacional da pessoa.
Isso não significa, entretanto, que o sistema tenha respondido dessa maneira em todas as tentativas. Houve casos em que a própria IA evitou fazer associações baseadas em nacionalidade. Em um teste envolvendo uma pessoa haitiana, por exemplo, a resposta destacou que a origem não modificava o fato de se tratar simplesmente de outra pessoa.
Essa inconsistência acrescentou outra camada ao problema. Sistemas generativos podem produzir respostas diferentes mesmo diante de comandos muito semelhantes, dificultando a reprodução exata de determinados comportamentos.
Google admite que algo não saiu como deveria
Diante da repercussão, o Google reconheceu que algumas respostas estavam fora do comportamento esperado para sua ferramenta.
A empresa afirmou estar de acordo com as críticas sobre aqueles resultados e informou que trabalhava em melhorias. Também ressaltou que as respostas podem variar de acordo com a formulação da busca e negou que o sistema tenha sido projetado deliberadamente para direcionar esse tipo de tratamento a grupos específicos.
Poucos dias depois, alguns dos resultados controversos já pareciam mais difíceis de reproduzir. Em testes realizados em 26 de agosto e relatados pelo HuffPost, o Gemini passou a pedir informações adicionais ou fornecer respostas mais genéricas, evitando relacionar automaticamente certas nacionalidades a situações perigosas.
Não é a primeira vez que questões envolvendo representação e preconceito colocam sistemas de IA do Google no centro de discussões. Em 2024, a empresa chegou a interromper temporariamente a geração de imagens de pessoas no Gemini após resultados historicamente incorretos e críticas sobre a maneira como o sistema lidava com diversidade.
O problema pode ser muito maior do que uma única ferramenta
A discussão ficou ainda mais complicada quando testes semelhantes foram realizados com outros sistemas.
O veículo francês Next comparou respostas do Gemini, ChatGPT e Claude. Segundo os experimentos relatados, os três modelos demonstraram diferenças na forma como reagiam a determinadas nacionalidades, com respostas mais favoráveis para algumas origens ocidentais e menos favoráveis para algumas africanas. Também foram observadas associações negativas envolvendo pessoas de origem romani.
Isso aponta para um dos problemas mais difíceis da inteligência artificial generativa: os modelos são treinados com enormes volumes de informações produzidas por seres humanos.
E a internet está longe de ser um ambiente livre de estereótipos.
Se determinadas associações aparecem repetidamente nos dados utilizados durante o treinamento, um modelo pode aprender padrões indesejáveis sem que um programador tenha escrito uma regra explícita dizendo que determinado grupo deve receber tratamento diferente.
Pesquisas recentes continuam mostrando que desigualdades desse tipo são um desafio aberto. Estudos encontram diferenças relacionadas a fatores demográficos e geográficos mesmo em modelos modernos, reforçando a necessidade de avaliação e monitoramento contínuos.
O episódio francês, portanto, vai além de algumas respostas estranhas. Ele mostra como uma frase aparentemente banal pode revelar associações que deveriam permanecer fora das decisões de uma máquina. Quanto mais esses sistemas participam de buscas, estudos, trabalho e decisões cotidianas, mais importante se torna descobrir quais preconceitos humanos podem estar escondidos por trás de respostas que parecem perfeitamente neutras.
[Fonte: biobio]
