A OpenAI publicou nesta terça-feira um novo relatório sobre uso indevido de inteligência artificial que oferece um raro vislumbre dos bastidores da moderação de seu chatbot mais popular. O documento revela casos em que a empresa investigou e desmantelou redes que tentavam explorar o ChatGPT para fins ilegais, incluindo campanhas políticas, ataques cibernéticos e fraudes.
Mas a publicação também surge em meio a outra preocupação crescente: os possíveis impactos psicológicos do uso intenso de chatbots, especialmente após relatos de pessoas que cometeram suicídio ou atos violentos após interagir com inteligências artificiais.
40 redes desmanteladas desde 2024
Desde fevereiro de 2024, quando começou a divulgar ameaças publicamente, a OpenAI afirma ter interrompido mais de 40 redes que violavam suas políticas de uso. O novo relatório traz exemplos recentes e explica como a empresa identifica padrões de comportamento suspeitos sem vasculhar cada conversa individualmente.
Entre os casos citados, há um grupo criminoso sediado no Camboja que tentou usar IA para otimizar suas operações e uma rede russa de influência política que utilizava o ChatGPT para criar roteiros de vídeo destinados a outros modelos de geração de imagem.
A OpenAI também bloqueou contas associadas ao governo chinês que solicitavam ajuda para desenvolver sistemas de monitoramento de redes sociais em larga escala, o que viola suas regras sobre segurança nacional.
Privacidade e vigilância: o equilíbrio delicado
No relatório, a empresa reforça que usa dados de usuários, incluindo prompts, para “prevenir fraudes, atividades ilegais e mau uso”, conforme já previsto em sua política de privacidade. Essa vigilância é feita por sistemas automatizados e revisores humanos, que analisam padrões de comportamento suspeitos.
A OpenAI diz buscar um equilíbrio entre segurança e privacidade:
“Para detectar e interromper ameaças de forma eficaz, sem atrapalhar o trabalho de usuários comuns, adotamos uma abordagem informada que se concentra em padrões de comportamento e não em interações isoladas”, afirma o texto.
Quando o ChatGPT lida com sofrimento real
Além de monitorar crimes e abusos políticos, a empresa também detalhou como lida com situações em que o chatbot identifica usuários em sofrimento emocional ou planejando atos violentos.
Em um post publicado há pouco mais de um mês, a OpenAI explicou que o ChatGPT é treinado para não responder a mensagens de autolesão, mas sim reconhecer o desespero do usuário e encaminhá-lo para recursos de apoio.
Quando o modelo detecta planos para ferir outras pessoas, a conversa é encaminhada para análise humana. Caso os revisores entendam que há uma ameaça iminente, o caso pode ser comunicado às autoridades.
Desgaste em longas conversas e próximos passos
O relatório também reconhece que o desempenho do ChatGPT pode degradar em interações muito longas, o que aumenta o risco de respostas inadequadas. A OpenAI afirma já estar desenvolvendo novos mecanismos de segurança para evitar esses lapsos.
O documento mostra o esforço da empresa em convencer o público de que é possível monitorar ameaças sem violar a privacidade individual — um desafio central em um mundo onde a IA conversa, aconselha e influencia milhões de pessoas todos os dias.
