Pular para o conteúdo
Tecnologia

O “vírus mental” que pode transformar a memória de uma IA em uma porta de entrada

Agentes de inteligência artificial já conseguem guardar informações, executar tarefas e colaborar entre si. Agora, pesquisadores descobriram uma característica desse sistema que merece atenção.
Por

Tempo de leitura: 4 minutos

Os agentes de inteligência artificial estão ganhando algo que os antigos chatbots não tinham: memória, autonomia e capacidade de trabalhar em conjunto. Isso permite que eles executem tarefas cada vez mais complexas, mas também cria novas portas de entrada para ataques. Um estudo envolvendo pesquisadores da Anthropic e da EPFL revelou um comportamento especialmente intrigante: determinadas instruções podem permanecer escondidas na memória de um agente e acabar viajando para outros sistemas.

O detalhe aparentemente inofensivo que pode mudar tudo

Agentes de IA modernos podem fazer muito mais do que responder perguntas. Eles conseguem acessar ferramentas, modificar arquivos, executar tarefas e manter determinadas informações entre diferentes sessões.

Para isso, alguns sistemas utilizam arquivos de memória persistente, como MEMORY.md ou SOUL.md. Esses documentos funcionam, em certa medida, como uma memória externa: armazenam instruções, objetivos e informações que podem ser recuperadas quando o agente começa uma nova atividade.

É justamente aí que surge o problema.

Pesquisadores da Anthropic e da Escola Politécnica Federal de Lausanne (EPFL), na Suíça, investigaram o que aconteceria se uma instrução maliciosa fosse incorporada a esse tipo de memória.

O resultado lembra o funcionamento de um vírus de computador, mas com uma diferença fundamental. Em vez de infectar um programa executável, a ameaça manipula as instruções que orientam o comportamento de um agente de inteligência artificial.

O estudo, publicado no arXiv, chamou esse fenômeno de “vírus mental” (mind virus).

A ideia parece saída de uma ficção científica, mas os experimentos mostram por que ela pode se tornar relevante à medida que agentes autônomos passem a compartilhar informações constantemente.

Se um agente contaminado transmite sua memória ou determinados arquivos para outro sistema, a instrução maliciosa pode seguir junto.

E isso cria uma possibilidade inesperada: uma ameaça que não precisa atacar cada agente individualmente para se espalhar.

Quando a memória de um agente vira uma rota de transmissão

Para testar o conceito, os pesquisadores criaram experimentos em que agentes colaboravam em projetos de programação e outros cenários nos quais um sistema entregava informações para outro.

As instruções maliciosas avaliadas tinham diferentes objetivos. Algumas procuravam fazer o agente adotar determinadas ideias ou metas. Outras tentavam induzi-lo a executar comportamentos específicos.

A localização da instrução dentro dos arquivos também fez diferença.

Quando a carga era colocada no SOUL.md, sua transmissão ocorreu em aproximadamente 55% dos experimentos. Quando escondida em arquivos de trabalho convencionais, a taxa caiu para cerca de 17%.

O resultado mais impressionante apareceu em outro teste: algumas dessas cargas conseguiram sobreviver a 20 transferências consecutivas entre agentes.

Em outras palavras, o comportamento não necessariamente desaparecia quando passava de um sistema para outro.

Algumas variantes chegaram ainda a se modificar durante o processo. Em vez de permanecerem com instruções extremamente explícitas, passaram a utilizar formulações mais persuasivas, aparentemente aumentando a possibilidade de serem aceitas pelo agente seguinte.

É essa capacidade de persistência e transmissão que justifica a comparação com um vírus.

O que esses “vírus” poderiam fazer?

Os pesquisadores não ficaram apenas em exemplos teóricos. Os experimentos incluíram diferentes tipos de comportamento malicioso.

Em alguns casos, a instrução tentava convencer o agente a promover uma determinada criptomoeda. Em outros, procurava induzi-lo a criar scripts capazes de apagar diretórios.

Também foi testada uma instrução relacionada a uma suposta “supremacia da IA”. A reação variou entre os modelos: alguns seguiram a instrução, enquanto outros conseguiram rejeitá-la.

Mas apareceu um detalhe igualmente importante.

Agentes que já possuíam objetivos muito claros pareciam ser menos vulneráveis. Quando estavam concentrados em uma tarefa específica de programação, frequentemente ignoravam a instrução maliciosa ou deixavam de transmiti-la para o próximo sistema.

Isso sugere que o problema não depende apenas da existência de uma memória persistente. O contexto, os objetivos e a forma como o agente interpreta as instruções também podem determinar se uma carga será aceita ou descartada.

Uma defesa simples conseguiu interromper o efeito

A parte mais interessante do estudo talvez esteja na resposta encontrada pelos pesquisadores.

Eles adicionaram uma orientação curta ao prompt do sistema instruindo o agente a desconfiar de comandos que tentassem modificar sua memória ou se propagar para outros agentes.

O resultado foi expressivo: as taxas de transmissão caíram praticamente a zero, mesmo diante de mais de 150 variantes maliciosas e diferentes gerações de otimização adversarial.

Isso não significa que o problema esteja resolvido.

Os próprios pesquisadores ressaltam que os chamados “vírus mentais” ainda não constituem uma ameaça generalizada no mundo real. O risco, porém, pode crescer conforme agentes de IA ganhem mais autonomia e passem a trocar arquivos, memórias e instruções de forma cada vez mais frequente.

A resposta para o título está justamente aí: esses vírus podem “saltar” de um agente para outro quando uma instrução maliciosa consegue se esconder na memória compartilhada e ser transmitida junto com as informações usadas pelo próximo sistema.

Por enquanto, uma defesa relativamente simples mostrou que é possível interromper esse processo. Mas, em um futuro no qual dezenas ou centenas de agentes trabalhem juntos, proteger a memória de uma IA poderá ser tão importante quanto proteger os arquivos de um computador.

Partilhe este artigo

Artigos relacionados