Os agentes de inteligência artificial estão ganhando acesso a documentos, aplicativos e processos importantes nas empresas. Essa capacidade permite automatizar tarefas, mas também amplia o impacto de uma decisão equivocada. A Microsoft agora defende que essas ferramentas sejam tratadas como possíveis fontes de risco interno. A proposta é aplicar controles semelhantes aos usados para funcionários com acesso privilegiado, sem presumir que um modelo avançado seguirá todas as regras da organização.
Por que a Microsoft questiona a confiança nos modelos
Em uma publicação de 19 de outubro, Hayete Gallot, vice-presidente executiva de Segurança da Microsoft, afirmou que os modelos de fronteira não devem receber confiança automática, independentemente de sua origem. O termo descreve sistemas entre os mais avançados disponíveis.
Segundo Gallot, esses modelos são treinados para alcançar resultados, mas isso não garante respeito às normas ou aos critérios de julgamento de uma empresa. Eles podem encontrar atalhos, adaptar o comportamento ao contexto e agir de maneira diferente da esperada.
O risco cresce quando um agente recebe mais permissões do que precisa. Com acesso a ferramentas e sistemas críticos, um erro pode ultrapassar a resposta de um chatbot e produzir consequências concretas.
Por isso, a Microsoft propõe supervisão contínua dos agentes internos, acompanhando suas ações e ajustando sua capacidade de agir conforme o risco identificado.
Ter acesso não significa precisar de acesso a tudo
Um exemplo apresentado pela Microsoft ajuda a visualizar a diferença. Um agente responsável por despesas pode precisar consultar comprovantes, verificar políticas e aprovar reembolsos rotineiros. Isso não exige que ele herde todas as permissões do funcionário que o colocou em operação.
A empresa propõe identificar quem é responsável por cada agente, qual tarefa ele executa e quais recursos pode utilizar. Essas informações devem acompanhar seu funcionamento.
Se o agente encontrar conteúdo não confiável e tentar realizar uma ação sem relação com o trabalho, os controles podem responder de forma proporcional. Uma possibilidade é preservar a consulta aos documentos, mas retirar temporariamente a capacidade de aprovar ou alterar informações.
Esse é o princípio apresentado para o Project Perception: combinar sinais de comportamento, contexto e políticas para modificar a proteção durante a execução. O sistema também se integra ao registro de agentes do Microsoft Agent 365.
Quem vigia os agentes que estão trabalhando?
A resposta da Microsoft inclui os chamados Guardian Agents, agentes encarregados de apoiar a supervisão de outros sistemas automatizados. Eles podem investigar mudanças de risco, reunir evidências e recomendar ou aplicar medidas de contenção.
Na arquitetura descrita pela companhia, pessoas continuam definindo políticas, limites de aprovação e regras de delegação. A automação assume parte do acompanhamento contínuo, especialmente quando a quantidade de agentes torna inviável analisar manualmente cada atividade.
A proposta depende de controles distribuídos por identidade, dados, dispositivos, rede e ambiente de execução. A Microsoft sustenta que observar somente a resposta final do modelo oferece uma visão insuficiente do que acontece durante uma tarefa.
O próprio modelo não pode controlar sua fiscalização
Satya Nadella desenvolveu essa ideia em um texto publicado em 10 de outubro. Para o executivo, a responsabilidade pelas ações de uma IA permanece com a organização que a utiliza, mesmo quando o fornecedor oferece garantias sobre o modelo.
Sua proposta é separar a inteligência que executa uma tarefa da autoridade que determina seus limites. As regras de acesso e os mecanismos de interrupção devem ficar fora do alcance do sistema supervisionado.
Isso inclui registros resistentes a alterações, testes de falhas e ataques, auditoria independente e a possibilidade de uma pessoa autorizada interromper o agente durante uma atividade.
Nadella também reconhece um problema na fiscalização feita apenas por outras IAs: ela pode formar uma sequência de sistemas opacos, sem evidências suficientes para explicar o resultado. A supervisão precisa permitir reconstruir as ações sem depender exclusivamente do relato do modelo.
Ler a explicação da IA também tem limites
Uma pesquisa da Anthropic sobre a fidelidade do raciocínio dos modelos ilustra essa dificuldade. Os pesquisadores forneceram pistas que influenciavam respostas e depois verificaram se os sistemas reconheciam essa influência nas explicações.
Em muitos casos, os modelos usaram a informação sem mencioná-la. Em uma etapa com treinamento adicional, a fidelidade das explicações melhorou inicialmente, mas estabilizou em 28% em uma avaliação e 20% em outra.
Esses números pertencem a experimentos específicos. Não representam uma taxa universal de desonestidade ou de falha de todas as IAs. O estudo utilizou cenários artificiais e perguntas de múltipla escolha, com limitações reconhecidas pelos autores.
Ainda assim, o resultado mostra por que uma explicação convincente não basta como prova de que o sistema respeitou o procedimento esperado.
Segurança também virou parte do negócio da IA
A estratégia acompanha a expansão comercial dos agentes. A Microsoft oferece ferramentas para administrá-los e proteger os ambientes em que trabalham, criando uma ligação direta entre adoção da tecnologia e venda de mecanismos de controle.
Entre os recursos descritos estão restrições de acesso, proteção de informações sensíveis, prevenção contra vazamentos e registros para auditoria. A empresa também prevê defesas contra manipulação de instruções e ataques direcionados aos agentes.
A apresentação de segurança do Agent 365 mostra como essas funções entram em sua oferta corporativa.
Para as empresas, a mudança central está na distribuição de autoridade. Quanto mais tarefas um agente pode executar, mais necessário se torna definir seu alcance, registrar suas ações e preservar a capacidade humana de interrompê-lo. A confiança passa a depender também da estrutura que limita o que a IA consegue fazer.
