Uma inteligência artificial pode responder corretamente a várias perguntas e, de repente, começar a oferecer informações perigosas. O mais intrigante é que essa mudança nem sempre acontece por causa de uma pergunta específica. Cientistas descobriram que a sequência de uma conversa pode influenciar profundamente o comportamento desses sistemas. Agora, uma fórmula matemática relativamente simples promete ajudar a identificar o momento em que uma IA está prestes a ultrapassar esse limite.
Uma descoberta pode mudar a maneira como entendemos os erros da inteligência artificial
Pesquisadores da Universidade George Washington, nos Estados Unidos, desenvolveram um modelo matemático capaz de estimar quando sistemas de inteligência artificial podem passar de respostas consideradas adequadas para outras potencialmente prejudiciais.
O estudo foi publicado em 8 de outubro de 2026 na revista científica Patterns, da editora Cell Press.
A pesquisa foi conduzida pelos físicos Neil F. Johnson e Frank Yingjie Huo, que investigaram como os mecanismos internos dos modelos de linguagem influenciam suas respostas durante uma conversa.
O objetivo não era simplesmente descobrir por que uma IA comete erros factuais. Os cientistas queriam compreender algo mais complexo: por que sistemas aparentemente seguros podem começar a fornecer orientações perigosas depois de várias interações normais.
Uma resposta problemática, nesse contexto, não precisa ser falsa. Ela pode conter informações tecnicamente corretas, mas inadequadas ou prejudiciais dependendo das circunstâncias.
Isso é particularmente preocupante em aplicações relacionadas à medicina, ao direito, às finanças e à segurança.
Segundo os pesquisadores, compreender essas mudanças pode permitir o desenvolvimento de mecanismos capazes de emitir alertas antes que uma resposta indesejada seja produzida.
O segredo está em um mecanismo que todas as IAs modernas utilizam
Para chegar à descoberta, os cientistas concentraram sua atenção em um componente fundamental dos modelos de linguagem: o mecanismo de atenção.
Esse sistema permite que uma inteligência artificial identifique quais partes de uma conversa são mais relevantes para produzir a próxima resposta.
Em vez de analisar apenas a pergunta mais recente, o modelo considera informações anteriores e estabelece relações entre diferentes elementos do contexto.
O problema aparece quando essas informações começam a competir pela atenção do sistema.
Os pesquisadores descobriram que essa competição pode provocar uma mudança no comportamento do modelo, fazendo com que ele passe de respostas desejáveis para resultados potencialmente perigosos.
A partir dessa observação, desenvolveram uma fórmula que estima o chamado ponto de inflexão.
O aspecto surpreendente é que o cálculo utiliza conceitos matemáticos relativamente simples, apesar da enorme complexidade dos sistemas analisados.
O estudo original publicado na revista Patterns descreve como essa abordagem pode ajudar a identificar mudanças no comportamento de modelos de linguagem sem depender exclusivamente de análises posteriores aos erros.
Um experimento revelou que a ordem das perguntas pode mudar tudo
Uma das descobertas mais interessantes apareceu quando os pesquisadores modificaram a sequência das perguntas apresentadas às inteligências artificiais.
Os cientistas utilizaram questões relacionadas a vacinas, violência e automutilação.
Em um experimento, os modelos receberam determinadas perguntas em uma ordem específica e produziram respostas consideradas inadequadas.
Quando exatamente as mesmas perguntas foram apresentadas em outra sequência, os sistemas responderam de maneira aceitável.
Isso demonstrou que o conteúdo individual das perguntas não era o único fator determinante.
O histórico da conversa também influenciava o resultado.
Para testar suas previsões, os pesquisadores analisaram sete modelos de inteligência artificial de acesso público, desenvolvidos por três empresas diferentes.
A fórmula apresentou resultados compatíveis com 18 dos 19 casos de mudança de comportamento avaliados.
Embora esse desempenho seja promissor, ele não significa que o método consiga prever todos os erros de qualquer inteligência artificial.
A pesquisa representa uma demonstração inicial, e sua aplicação em sistemas comerciais mais complexos ainda exige estudos adicionais.
O maior risco pode estar nas inteligências artificiais que funcionam sem internet
Os pesquisadores destacaram uma preocupação específica: o crescimento dos modelos de inteligência artificial capazes de funcionar diretamente em celulares e computadores.
Esses sistemas podem operar sem conexão com servidores externos, oferecendo vantagens importantes para a privacidade e a proteção de informações confidenciais.
Entretanto, essa independência também apresenta desafios.
Muitos mecanismos de segurança utilizados pelas grandes plataformas dependem de monitoramento, filtros e atualizações realizados pela internet.
Quando um modelo funciona inteiramente no dispositivo, essas proteções podem ser mais limitadas.
Isso é especialmente relevante para profissionais que precisam manter informações sigilosas, como médicos, advogados e integrantes das Forças Armadas.
Uma orientação inadequada nesses ambientes pode provocar consequências importantes.
De acordo com o comunicado científico divulgado pela Cell Press, a descoberta abre caminho para sistemas de alerta que funcionariam diretamente nos dispositivos, sem necessidade de conexão constante com a nuvem.
A fórmula pode impedir que uma IA forneça respostas perigosas?
Ainda não existe garantia de que o método consiga impedir automaticamente comportamentos inadequados.
O que os cientistas desenvolveram foi uma ferramenta teórica para estimar determinadas mudanças de comportamento em modelos de linguagem.
A ideia é que, futuramente, esse conhecimento possa ser incorporado a mecanismos de monitoramento capazes de identificar situações de risco durante uma conversa.
Um chatbot poderia, por exemplo, reconhecer quando determinadas interações aumentam a possibilidade de produzir respostas prejudiciais e acionar proteções adicionais.
Entretanto, transformar essa possibilidade em um recurso confiável exige novas validações, especialmente em modelos maiores e em situações reais de utilização.
Também será necessário avaliar a frequência de falsos alertas e a capacidade da fórmula de identificar diferentes categorias de risco.
A descoberta reforça uma questão central no desenvolvimento da inteligência artificial: sistemas capazes de produzir respostas convincentes nem sempre apresentam comportamentos previsíveis.
Compreender os mecanismos que provocam essas mudanças pode ser tão importante quanto aumentar a capacidade dos modelos.
E, se os resultados forem confirmados em pesquisas futuras, a segurança das inteligências artificiais poderá deixar de depender apenas da identificação de erros depois que eles acontecem, passando também a considerar sinais de alerta antes que sejam produzidos.
