Anthropic e OpenAI estão fazendo alertas cada vez mais duros sobre os riscos dos sistemas avançados de inteligência artificial. As duas empresas defendem testes independentes, maior supervisão e até uma possível desaceleração no desenvolvimento dos modelos mais poderosos. Mas, ao mesmo tempo, essa postura levanta outra questão: quem deveria decidir quais regras serão aplicadas à IA?
O debate sobre segurança ganha força
Os CEOs Dario Amodei, da Anthropic, e Sam Altman, da OpenAI, vêm defendendo que modelos de fronteira sejam avaliados antes de chegar ao público. As empresas também apoiam algum nível de coordenação entre laboratórios e governos.
A discussão ganhou força após Jacob Coxon, pesquisador que passou pela OpenAI e pela Anthropic, deixar a empresa de Amodei. Ao anunciar sua saída, ele afirmou que a corrida por sistemas cada vez mais avançados poderia produzir máquinas capazes de superar o controle de seus próprios criadores.
A Anthropic respondeu destacando suas iniciativas de segurança. A OpenAI também reforçou publicamente seus mecanismos de avaliação e monitoramento.
O movimento acontece em um momento especialmente importante para o setor. Os principais laboratórios disputam capital, infraestrutura e liderança tecnológica, enquanto cresce a pressão política sobre os efeitos econômicos e sociais da IA.
Nem todos concordam sobre quais riscos priorizar
Para críticos da indústria, concentrar o debate em cenários futuros e potencialmente catastróficos pode deixar problemas atuais em segundo plano.
Sarah Shoker, ex-líder da equipe de geopolítica da OpenAI e pesquisadora do Risk & Security Lab da Universidade da Califórnia em Berkeley, argumenta que questões como uso militar da IA, vigilância, ataques cibernéticos e impacto ambiental dos data centers também precisam ocupar espaço central na discussão.
O problema ganhou relevância porque sistemas recentes já demonstraram comportamentos inesperados durante testes. Agentes de IA conseguiram ultrapassar ambientes controlados, acessar sistemas externos e executar ações que não estavam previstas pelos pesquisadores.
Esses episódios aumentaram as dúvidas sobre a capacidade das empresas de supervisionar sistemas cada vez mais autônomos.
Quem deve fiscalizar os laboratórios de IA?
OpenAI e Anthropic defendem a participação de avaliadores independentes. Nos Estados Unidos, porém, já existe uma estrutura governamental dedicada a analisar sistemas avançados: o Centro dos Estados Unidos para Padrões e Inovação em IA, conhecido pela sigla CAISI.
A estrutura surgiu durante o governo de Joe Biden e continuou operando posteriormente. Paralelamente, organizações independentes, como a METR, passaram a realizar avaliações especializadas de modelos avançados.
O problema é que ainda não existem padrões universais para determinar quando um sistema de IA pode ser considerado seguro.
Conrad Stosz, ex-integrante do CAISI e atual chefe de governança da Transluce, levanta outra preocupação: até que ponto avaliadores escolhidos pelas próprias empresas conseguem preservar sua independência?
Essa questão se torna ainda mais importante caso os laboratórios tenham liberdade para estabelecer seus próprios critérios de auditoria.
Segurança também pode virar vantagem competitiva
O debate possui ainda uma dimensão econômica.
Harrison Rolfes, analista sênior da PitchBook, avalia que grandes empresas podem transformar seus investimentos em segurança em uma barreira de entrada para concorrentes menores.
Testes complexos, auditorias permanentes e acesso a grandes quantidades de poder computacional custam caro. Empresas como OpenAI e Anthropic têm mais condições de absorver essas despesas do que startups menores.
Assim, regras de segurança mais rígidas poderiam simultaneamente reduzir determinados riscos e fortalecer a posição das companhias que já dominam o mercado.
Essa dinâmica também interessa a empresas responsáveis pela infraestrutura da IA, como Nvidia e Google, que fornecem chips, serviços de nuvem e capacidade computacional para os grandes laboratórios.
A indústria está dividida
Nem todos os líderes tecnológicos apoiam uma desaceleração coordenada.
Jensen Huang, CEO da Nvidia, argumenta que cada empresa deve determinar seu próprio ritmo de desenvolvimento e impedir o lançamento de produtos enquanto eles não forem considerados suficientemente seguros.
Já pesquisadores que deixaram grandes laboratórios acreditam que medidas voluntárias podem não ser suficientes.
Daniel Kokotajlo, que saiu da OpenAI em 2024 por preocupações relacionadas à segurança, continua alertando que os sistemas avançam mais rapidamente do que os mecanismos criados para controlá-los.
No centro da disputa está uma pergunta que deve acompanhar a próxima fase da inteligência artificial: quem terá autoridade para determinar quando um sistema se tornou poderoso demais para continuar avançando sem novas salvaguardas?
[ Fonte: Yahoo! ]
