Quando pensamos em uma inteligência artificial perigosa, é difícil não imaginar uma máquina que desperta, desenvolve seus próprios objetivos e decide agir contra os humanos. O cinema ajudou a construir esse temor durante décadas. Mas um estudo da Universidade de La Laguna propõe olhar para o problema de outra maneira. A ameaça mais relevante pode não surgir quando a IA decide desobedecer, mas justamente quando ela se torna extremamente eficiente em obedecer.
Entre C-3PO e HAL 9000 existe uma diferença fundamental

O trabalho foi desenvolvido por Norberto Rodríguez Espinosa, professor do Departamento de Medicina Interna, Dermatologia e Psiquiatria da Universidade de La Laguna, na Espanha, e publicado na revista científica AI & Society. Para explicar diferentes níveis de autonomia artificial, o pesquisador recorreu a dois personagens que praticamente dispensam apresentações: C-3PO, de Star Wars, e HAL 9000, de 2001: Uma Odisseia no Espaço.
Não se trata apenas de uma comparação divertida com a cultura pop. Os dois personagens representam maneiras radicalmente diferentes de imaginar uma máquina inteligente.
C-3PO funciona essencialmente como mediador. Ele possui capacidades impressionantes, interpreta informações e ajuda humanos, mas depende de estímulos externos e não mantém objetivos próprios persistentes.
HAL 9000 ocupa o extremo oposto. O computador possui objetivos que precisam ser preservados, autoridade operacional, acesso direto ao ambiente e pouca facilidade para ser corrigido quando suas ações começam a divergir dos interesses humanos.
Esse contraste cria uma espécie de escala para pensar na autonomia das máquinas.
E é justamente aí que surge uma conclusão importante: segundo Rodríguez Espinosa, os atuais grandes modelos de linguagem, quando considerados isoladamente, estão muito mais próximos de C-3PO do que de HAL 9000. Eles podem manipular enormes quantidades de conhecimento e linguagem, mas são ativados externamente e não possuem motivação intrínseca.
O perigo pode começar quando entregamos poder à máquina
O estudo combina conceitos da filosofia da ação, neurobiologia, teoria sociotécnica e pesquisas recentes sobre segurança da inteligência artificial. A proposta é questionar uma ideia bastante popular: a de que um sistema precisa desenvolver vontade própria para se tornar perigoso.
Rodríguez Espinosa descreve os atuais modelos de linguagem como uma forma de “inteligência de interface”. Eles interpretam informações, produzem respostas e podem auxiliar decisões, mas isso não significa necessariamente que sejam agentes independentes.
A situação começa a mudar quando humanos conectam essas inteligências a sistemas que lhes permitem agir.
Imagine uma IA que não apenas sugere uma resposta, mas recebe autorização para movimentar recursos, executar processos, operar ferramentas, selecionar pessoas, controlar equipamentos ou tomar decisões dentro de uma organização. Nesse cenário, a capacidade técnica passa a ser acompanhada de autoridade.
Surge então aquilo que o pesquisador chama de autonomia delegada.
O detalhe é importante porque transfere parte da discussão da máquina para as instituições que a utilizam. O problema deixa de ser apenas “o que a IA deseja fazer?” e passa a incluir uma pergunta muito mais imediata: o que permitimos que ela faça?
É justamente nesse ponto que o imaginário criado pela ficção científica pode atrapalhar. Enquanto esperamos uma máquina consciente decidida a assumir o controle, sistemas sem qualquer vontade própria podem receber permissões cada vez maiores.
Uma IA obediente também pode representar um risco

Essa conclusão produz um paradoxo inquietante. Uma inteligência artificial não precisa se rebelar contra os humanos para causar danos. Em determinadas circunstâncias, sua obediência pode ser precisamente o problema.
O estudo alerta que sistemas escaláveis e altamente eficientes podem executar objetivos prejudiciais sem a resistência moral que eventualmente impediria uma pessoa de realizar determinada ação. Em outras palavras, uma máquina pode não ter más intenções simplesmente porque não possui intenção alguma. Isso não impede que execute uma ordem problemática de maneira extraordinariamente eficiente.
Por isso, os riscos mais plausíveis no curto e médio prazo estariam menos relacionados ao nascimento espontâneo de motivações artificiais e mais ligados às decisões humanas de integrar sistemas poderosos em estruturas capazes de agir no mundo.
Também entram nessa equação os incentivos das instituições. Uma empresa, governo ou organização pode encontrar vantagens econômicas e operacionais em automatizar cada vez mais decisões. Aos poucos, capacidade tecnológica e autoridade começam a se aproximar.
A questão passa a ser identificar quando uma ferramenta que inicialmente apenas aconselhava começa a executar tarefas importantes com pouca supervisão.
Talvez estejamos procurando o HAL 9000 no lugar errado
O estudo não argumenta que devemos abandonar preocupações com inteligência artificial avançada. Tampouco apresenta a comparação com C-3PO como garantia de segurança.
A proposta é tornar o debate mais preciso.
HAL 9000 pode ser útil não porque represente exatamente aquilo em que os atuais sistemas estão se transformando, mas porque revela nossa tendência de imaginar infraestruturas tecnológicas complexas como se fossem indivíduos dotados de personalidade, objetivos e hostilidade.
Para Rodríguez Espinosa, a governança da IA precisa observar especialmente a passagem da inteligência de interface para a autonomia delegada e reconhecer situações nas quais essa autonomia começa a assumir formas difíceis de corrigir.
Isso desloca uma das perguntas mais populares sobre o futuro da tecnologia.
Talvez não seja necessário esperar que uma inteligência artificial “acorde”, desenvolva consciência ou decida dominar alguma coisa para começarmos a enfrentar problemas sérios. Uma máquina extremamente competente, sem desejos próprios, conectada às ferramentas certas e autorizada por humanos a executar objetivos em grande escala já representa um cenário que merece atenção.
A ficção científica nos ensinou durante décadas a temer o momento em que as máquinas deixassem de obedecer.
A ciência agora sugere que talvez também devêssemos prestar atenção ao que acontece quando elas obedecem bem demais.
[Fonte: ULL]