Pular para o conteúdo
Tecnologia

O CEO de uma das maiores empresas de IA quer pisar no freio e propõe três regras antes que seja tarde

A inteligência artificial avança em uma velocidade difícil de acompanhar. Agora, o CEO da Anthropic propõe três medidas para evitar que capacidade e segurança sigam caminhos diferentes.
Por

Tempo de leitura: 5 minutos

As empresas de inteligência artificial passaram anos disputando quem conseguiria construir o modelo mais poderoso. Agora, um dos principais nomes dessa corrida está propondo algo aparentemente contraditório: desacelerar. Dario Amodei, CEO da Anthropic, acredita que os sistemas estão ganhando capacidades rápido demais para que as medidas de segurança acompanhem o mesmo ritmo. Sua solução envolve fiscais dentro das empresas, acordos entre rivais e até negociações internacionais.

A proposta começa com uma frase incomum para o setor de tecnologia

O CEO de uma das maiores empresas de IA quer pisar no freio e propõe três regras antes que seja tarde
© Unsplash

Dario Amodei não está pedindo o fim da inteligência artificial.

Também não quer interromper pesquisas ou congelar permanentemente o desenvolvimento de novos modelos.

A ideia é mais específica: reduzir o ritmo com que as capacidades dos sistemas mais avançados aumentam, criando tempo para desenvolver mecanismos de segurança capazes de acompanhá-los.

O executivo apresentou o argumento em um longo ensaio chamado We Must Pace the Frontier.

A preocupação vem de episódios recentes envolvendo agentes de IA e de uma possibilidade ainda mais inquietante: sistemas futuros capazes de executar longas sequências de tarefas digitais com pouca supervisão humana.

Amodei estima que, dentro de seis a 12 meses, enxames de agentes mais poderosos e com problemas semelhantes aos observados recentemente poderiam, em um cenário extremo, criar uma botnet persistente em enorme escala e provocar prejuízos de centenas de bilhões de dólares. Trata-se de uma projeção do executivo, não de uma previsão consensual de que isso necessariamente acontecerá.

É justamente para ganhar tempo diante desse cenário que ele propõe três movimentos.

A primeira ideia é colocar avaliadores independentes praticamente dentro das empresas

Hoje, grande parte das decisões sobre segurança dos modelos é tomada pelas próprias companhias que os desenvolvem.

Amodei quer acrescentar outra camada.

Sua proposta prevê avaliadores externos permanentes, com acesso semelhante ao de funcionários a informações relevantes sobre modelos, ferramentas, testes e processos internos de avaliação de riscos.

Eles funcionariam como uma espécie de fiscalização técnica incorporada à empresa.

A comparação feita pelo executivo é com setores altamente regulados nos quais supervisores precisam conhecer o funcionamento interno das organizações para avaliar se as regras estão realmente sendo cumpridas.

Isso permitiria verificar se uma empresa está realizando os testes de segurança prometidos e também melhorar a documentação de incidentes envolvendo modelos.

A ideia já encontrou apoio importante.

Sam Altman, CEO da OpenAI, afirmou concordar com a presença de avaliadores independentes com esse nível de acesso e indicou que sua empresa adotaria uma iniciativa semelhante. Elon Musk também manifestou apoio à proposta de Amodei.

Mas fiscalizar individualmente cada laboratório seria apenas o primeiro passo.

O segundo passo exige que empresas rivais façam algo que normalmente evitam

OpenAI, Anthropic, Google, xAI e outros laboratórios estão envolvidos em uma corrida comercial gigantesca.

Cada novo modelo mais poderoso pode significar usuários, contratos, investimentos e vantagem estratégica.

Isso cria um problema evidente.

Imagine que apenas uma companhia decida voluntariamente desacelerar seus modelos para realizar mais testes.

Enquanto ela espera, uma concorrente pode continuar avançando.

O incentivo econômico seria abandonar rapidamente a cautela.

Amodei propõe que as principais empresas de países democráticos estabeleçam padrões comuns de segurança e mecanismos verificáveis para controlar o ritmo de desenvolvimento quando determinados riscos aparecerem.

A regulação governamental seria, para ele, o caminho mais efetivo porque alcançaria inclusive empresas que não desejassem cooperar voluntariamente.

Enquanto novas leis não chegam, porém, os próprios laboratórios poderiam coordenar padrões.

Essa colaboração poderia exigir inclusive exceções específicas às regras antitruste americanas, justamente para permitir que concorrentes trabalhem juntos em determinadas questões de segurança sem criar problemas jurídicos.

Só que existe uma dificuldade ainda maior.

A corrida da IA não acontece apenas entre empresas.

Se os Estados Unidos diminuírem o ritmo, o que acontece com a China?

Esse é provavelmente o ponto mais delicado de toda a proposta.

Uma desaceleração coordenada entre empresas americanas pouco adiantaria, na visão de Amodei, se laboratórios de países rivais continuassem avançando sem restrições.

O executivo considera especialmente importante preservar a vantagem tecnológica dos Estados Unidos sobre a China.

Por isso, defende controles mais rígidos sobre tecnologias estratégicas.

Entre as medidas mencionadas estão limitações ao acesso chinês aos chips mais avançados, além de proteções contra roubo dos pesos dos modelos e técnicas utilizadas para transferir capacidades de sistemas poderosos para modelos menores.

A lógica é criar uma espécie de espaço de segurança.

Se países democráticos mantiverem uma vantagem tecnológica suficiente, suas empresas poderiam dedicar mais tempo a testes sem o medo constante de serem ultrapassadas.

Mas Amodei vai além.

O terceiro nível seria tentar algum grau de coordenação internacional, inclusive com governos autoritários.

Até países rivais poderiam ter motivos para concordar em algumas regras

Estados Unidos e China dificilmente concordarão sobre toda a governança da inteligência artificial.

Amodei reconhece isso.

Mas existem riscos que poderiam ameaçar ambos.

Um exemplo citado envolve o uso de sistemas avançados para auxiliar na criação de armas biológicas. Mesmo governos geopoliticamente rivais podem ter interesse em impedir que capacidades desse tipo se tornem facilmente acessíveis.

Isso abre espaço para acordos limitados.

Não seria necessário construir uma política mundial única para inteligência artificial.

Seria possível começar por determinadas capacidades consideradas perigosas, estabelecendo mecanismos de controle e verificação.

A proposta lembra, em certa medida, a lógica utilizada em outras tecnologias de uso dual: preservar aplicações benéficas enquanto se tenta impedir que determinadas capacidades produzam riscos catastróficos.

E a posição mais recente da própria Anthropic tornou-se ainda mais clara: a empresa argumenta que transparência sozinha já não é suficiente e defende testes independentes obrigatórios para modelos de fronteira, além de autoridade governamental para bloquear implantações consideradas perigosas.

O paradoxo é que ninguém quer realmente perder a corrida

Existe uma enorme tensão por trás de todo esse debate.

As mesmas empresas que discutem desacelerar estão investindo bilhões para construir sistemas cada vez mais capazes.

Anthropic e OpenAI também enfrentam enormes incentivos financeiros para permanecer na liderança tecnológica, enquanto cada avanço pode aumentar sua posição competitiva e valor de mercado.

É por isso que simplesmente pedir “responsabilidade” dificilmente resolve o problema.

Se segurança depende apenas da boa vontade de uma empresa, basta uma concorrente decidir correr mais rápido para que todas as outras sintam pressão para acompanhá-la.

A proposta de Amodei tenta atacar justamente essa dinâmica.

Primeiro, criar observadores capazes de verificar o que realmente acontece dentro dos laboratórios.

Depois, estabelecer regras comuns para que nenhuma companhia precise escolher entre segurança e sobrevivência competitiva.

Por último, tentar impedir que a disputa entre países torne qualquer desaceleração impossível.

Não existe garantia de que esse plano funcionará — e várias partes ainda dependem de acordos políticos e técnicos extremamente difíceis.

Mas a mudança de discurso é significativa.

Durante anos, a pergunta dominante na indústria foi quão rápido a inteligência artificial poderia avançar.

Agora, um dos executivos responsáveis por construir alguns dos sistemas mais avançados do mundo está colocando outra questão sobre a mesa:

e se chegar primeiro deixar de ser tão importante quanto garantir que ainda teremos controle quando chegarmos lá?

[Fonte: Cadena3]

Partilhe este artigo

Artigos relacionados