Pular para o conteúdo
Tecnologia

Anthropic aciona alerta para IA que melhora a si mesma com base no que espera dos próximos modelos

A empresa passou a considerar atingido um limite interno de segurança. A decisão se apoia em projeções sobre o ritmo da pesquisa.
Por

Tempo de leitura: 3 minutos

A Anthropic informou em um documento entregue à SEC, o órgão que regula o mercado de valores mobiliários dos Estados Unidos, que atingiu um dos limites previstos em sua Política de Escalonamento Responsável. O critério está ligado à capacidade da inteligência artificial de acelerar a própria pesquisa em IA. A empresa diz que seus sistemas já ajudam no trabalho de pesquisa e desenvolvimento. Para acionar as precauções, porém, pesou o que ela espera dos próximos modelos.

O que mudou entre os dois documentos

Na versão de 2 de novembro do formulário S-1, apresentado como parte do processo de abertura de capital, a Anthropic dizia que poderia atingir em breve os critérios para um avanço “drasticamente acelerado” graças à IA. Em outro trecho, explicava que sua política previa monitorar e reduzir os riscos à medida que a empresa se aproximasse do chamado autoaperfeiçoamento recursivo.

Na versão de 10 de novembro, a expressão sobre o avanço drasticamente acelerado desapareceu. Entrou uma afirmação mais concreta sobre as regras internas. A Anthropic passou a considerar atingido o limite de capacidade de pesquisa e desenvolvimento em IA. A própria política permite essa decisão quando a empresa “observa ou espera” um grau específico de aceleração.

Essa diferença de duas palavras explica a mudança. O documento diz que a IA já acelera a pesquisa interna e que as estimativas da empresa apontam para um aumento adicional no ritmo de avanço. A Anthropic afirma ter tomado a decisão com base no desempenho que espera dos modelos futuros e no ritmo geral de progresso. A política usa como referência para essa categoria uma duplicação da taxa de avanço em relação ao ritmo de base.

O que isso tem a ver com uma IA que melhora a si mesma?

O autoaperfeiçoamento recursivo descreve um cenário em que sistemas de IA ajudam a criar versões mais capazes, que por sua vez contribuem para desenvolver a geração seguinte. A ideia é que esse ciclo possa acelerar o avanço a cada rodada. A atualização do formulário trata de um estágio anterior a esse cenário. A empresa passou a aplicar um critério preventivo que leva em conta a possibilidade de seus modelos futuros acelerarem substancialmente o trabalho de desenvolvê-los.

A consequência imediata aparece na política de segurança da Anthropic. Atingido o limite, a empresa deve explorar formas de alcançar níveis de segurança mais altos e ampliar sua capacidade de acompanhar o que os modelos fazem. O documento chama essa meta de “olhos em tudo”. Também prevê fortalecer os testes internos de segurança a ponto de tornar dispensáveis os programas que pagam recompensas a pessoas de fora da empresa pela descoberta de falhas.

O anúncio veio às vésperas da abertura de capital

A Anthropic publicou em seu site os documentos relacionados à oferta pública inicial de ações. Na carta dos fundadores, a empresa afirma que desenvolver IA com segurança pode exigir que ela, e idealmente o restante do setor, module o ritmo acelerado de avanço desses sistemas. A preocupação ganha peso quando as próprias ferramentas de IA passam a contribuir para o desenvolvimento das gerações seguintes.

Segundo a Anthropic, a expectativa é que suas ações comecem a ser negociadas na quinta-feira.

 

Partilhe este artigo

Artigos relacionados