Durante anos, Jacob Coxon esteve justamente no lugar onde muitos pesquisadores de inteligência artificial gostariam de estar: dentro dos grandes laboratórios que estão tentando descobrir até onde essa tecnologia pode chegar. Ele trabalhou com treinamento de modelos na OpenAI e, posteriormente, na Anthropic, acompanhando de perto uma corrida tecnológica que avança em velocidade impressionante. Agora, porém, decidiu abandonar a indústria. O motivo envolve uma preocupação que vai muito além de uma IA simplesmente se tornar mais inteligente.
O problema começa quando a inteligência artificial passa a ajudar a criar a próxima geração
A principal preocupação de Coxon não está apenas em desenvolver máquinas capazes de superar humanos em determinadas tarefas. O que realmente o incomoda é a possibilidade de esses sistemas começarem a participar da própria construção de versões mais avançadas de inteligência artificial.
Na prática, um modelo poderia ser utilizado para escrever códigos, analisar experimentos, sugerir melhorias, encontrar falhas e contribuir para o treinamento de seu sucessor. Uma nova geração, por sua vez, teria capacidades ainda maiores para repetir o processo.
Esse ciclo poderia acelerar significativamente o desenvolvimento da tecnologia.
O receio é que, em algum momento, a velocidade desse avanço deixe de ser acompanhada pela capacidade humana de compreender o que está acontecendo e, principalmente, de controlar os sistemas envolvidos.
Coxon passou três anos trabalhando justamente na etapa conhecida como pretraining, processo no qual enormes quantidades de dados e poder computacional são utilizadas para criar os modelos fundamentais que posteriormente alimentam produtos como ChatGPT e Claude.
Por isso, sua decisão ganhou atenção. Não se trata de alguém observando a indústria de fora e fazendo uma previsão distante. É um pesquisador que esteve diretamente envolvido na construção dos sistemas que hoje impulsionam a corrida pela IA.
Segundo ele, os laboratórios estão apostando em sistemas cada vez mais poderosos sem possuir uma solução convincente para garantir que eles permaneçam sob controle.
Até dentro da própria Anthropic existe quem leve o cenário extremo a sério
A situação ficou ainda mais curiosa quando outro pesquisador da Anthropic reagiu publicamente às declarações de Coxon.
Evan Hubinger, que trabalha com pesquisas relacionadas ao alinhamento de sistemas de inteligência artificial, afirmou que Coxon estava correto ao apontar que existe um temor real dentro da área. Hubinger chegou a estimar em mais de 10% a possibilidade de uma IA provocar a extinção humana durante a próxima década.
Mais importante ainda, ele reconheceu que a Anthropic ainda não possui uma solução definitiva para o problema de alinhamento de uma eventual superinteligência.
O conceito de alinhamento é central nessa discussão. Em termos simples, trata-se de garantir que sistemas extremamente capazes continuem seguindo objetivos compatíveis com os interesses humanos, mesmo quando se tornam muito mais inteligentes e autônomos.
Coxon também diferencia seus antigos empregadores.
Na visão dele, a OpenAI teria pesquisadores que não necessariamente incorporaram completamente as consequências de desenvolver sistemas extremamente poderosos. Na Anthropic, por outro lado, a percepção dos riscos seria maior, mas surgiria outro problema: o medo de desacelerar enquanto concorrentes continuam avançando.
Isso cria um dilema difícil de resolver.
Se uma empresa diminuir o ritmo por razões de segurança, outra pode aproveitar a oportunidade para avançar. E ninguém quer ser o laboratório que ficou para trás justamente quando uma tecnologia potencialmente transformadora está sendo desenvolvida.
A solução defendida pelo pesquisador é justamente o que a indústria menos quer fazer
Para Coxon, enfrentar esse problema exigiria coordenação entre os principais laboratórios de inteligência artificial. Em um cenário extremo, ele defende até mesmo uma pausa temporária no aumento das capacidades dos modelos enquanto mecanismos de segurança mais eficientes são desenvolvidos.
Isso não significa que exista evidência de que os modelos atuais estejam prestes a provocar uma catástrofe ou que a humanidade esteja inevitavelmente condenada antes de 2030.
A previsão mais alarmante é uma estimativa de risco, não uma conclusão científica sobre o futuro.
O ponto mais relevante é outro: a advertência vem de alguém que trabalhou no interior dessa corrida tecnológica e decidiu sair dela justamente por não acreditar que os mecanismos atuais sejam suficientes para controlar seu possível avanço.
A própria Anthropic construiu boa parte de sua identidade em torno da segurança da inteligência artificial. Seus pesquisadores estudam justamente maneiras de reduzir comportamentos perigosos e melhorar o alinhamento dos modelos.
Ainda assim, Coxon chegou a uma conclusão radicalmente diferente.
Em vez de tentar tornar a construção de sistemas cada vez mais poderosos mais segura, ele decidiu abandonar o processo.
