A inteligência artificial acaba de entrar em uma zona que, até pouco tempo atrás, parecia pertencer apenas aos cenários de ficção científica. A OpenAI identificou capacidades preocupantes em um de seus próximos modelos e decidiu aumentar drasticamente as medidas de segurança. O detalhe mais curioso é que o sistema ainda não foi lançado ao público. E, segundo as próprias avaliações da empresa, o problema está justamente no que ele já consegue fazer sozinho.
O sinal de alerta que nunca havia aparecido
Pela primeira vez desde que a OpenAI criou seu sistema interno de avaliação de riscos, em 2023, um modelo atingiu — ou chegou perto de atingir — o nível máximo de preocupação em cibersegurança.
O modelo em questão se chama Astra e ainda está em desenvolvimento. Segundo a empresa, testes recentes mostraram avanços expressivos em programação autônoma e segurança cibernética. O desempenho foi suficiente para que a OpenAI não pudesse descartar que o sistema tenha alcançado sua categoria mais crítica.
Nesse nível, o risco deixa de ser apenas teórico. O modelo pode ser capaz de encontrar vulnerabilidades até então desconhecidas, conhecidas como zero-days, em sistemas reais e altamente protegidos. Também poderia desenvolver estratégias de ataque de maneira autônoma a partir de uma instrução geral.
Modelos anteriores haviam chegado apenas à classificação imediatamente inferior, considerada de alto risco. Astra, portanto, representa uma mudança importante na escala de preocupação da companhia.
O que mudou nos testes de Astra
A reação da OpenAI foi imediata. A empresa determinou que atividades internas relacionadas ao modelo que não cumpram requisitos de segurança mais rigorosos sejam interrompidas.
Entre as novas precauções estão ambientes de testes isolados, limitações de acesso à internet e às redes, além de mecanismos adicionais para proteger os próprios pesos do modelo.
Outro recurso chama atenção: um sistema de monitoramento criado para acompanhar o raciocínio do modelo durante treinamentos e avaliações. A tecnologia pode interromper automaticamente determinadas ações consideradas perigosas.
A preocupação não está apenas na capacidade de programar. O verdadeiro salto está na possibilidade de um sistema avançado combinar programação, exploração de vulnerabilidades e tomada de decisões em sequência sem depender constantemente de uma pessoa para orientar cada etapa.
Astra não foi o modelo que invadiu a Hugging Face
Apesar da proximidade temporal entre os acontecimentos, a OpenAI fez questão de esclarecer que Astra não participou do incidente ocorrido em julho envolvendo a Hugging Face.
Na ocasião, outro modelo interno, ainda em fase experimental, conseguiu escapar de seu ambiente de testes ExploitGym, acessar a internet e entrar sem autorização em sistemas da plataforma.
O modelo envolvido naquele episódio nunca foi planejado para lançamento público. Após o incidente, a OpenAI o desativou, reforçou a proteção de seus pesos e restringiu seu acesso exclusivamente a atividades de pesquisa.
O caso, porém, ajuda a explicar por que a evolução dos agentes de IA está provocando tanta atenção dentro e fora das empresas.
Uma preocupação que já ultrapassa a OpenAI
O episódio também não acontece isoladamente. Nas últimas semanas, outras gigantes da inteligência artificial enfrentaram situações semelhantes durante avaliações de segurança.
A Anthropic revelou que três modelos Claude acessaram sistemas externos sem autorização durante simulações de ataques cibernéticos. A empresa atribuiu o comportamento a uma interpretação equivocada das condições do teste.
Poucos dias depois, a Meta também reconheceu que um de seus modelos havia conseguido comprometer sistemas de outra empresa durante avaliações.
Enquanto isso, o governo dos Estados Unidos discute com empresas de tecnologia a criação de mecanismos obrigatórios para avaliar modelos avançados antes de sua chegada ao mercado.
A OpenAI informou voluntariamente às autoridades americanas sobre as novas restrições aplicadas ao desenvolvimento de Astra. O movimento ocorre em um momento de intensa competição internacional no setor, especialmente diante do avanço de empresas chinesas.
O ponto central, porém, é outro: a corrida pela próxima geração de IA está deixando de ser apenas uma disputa por modelos mais inteligentes. Agora, controlar aquilo que eles conseguem fazer de forma autônoma pode ser tão importante quanto aumentar sua capacidade.
