Confiança na era dos agentes

Muitos líderes são capazes de implementar projetos-piloto de IA agêntica; entretanto, obter retorno desse investimento pode significar milhares de agentes de IA atuando em todas as partes da empresa. Sua organização está preparada? “A capacidade de agir autonomamente não é uma funcionalidade – é uma transferência do direito de decidir”, afirma Rich Isenberg, sócio da McKinsey. “A questão deixa de ser ‘O modelo é preciso?’ e se torna ‘Quem é responsável quando o sistema age?’”. Neste episódio de The McKinsey Podcast, Isenberg conversa com Lucia Rahilly, diretora editorial global, sobre como os líderes podem escalar a IA com segurança, mitigar os riscos dos sistemas autônomos e estabelecer a confiança necessária para que a inovação se consolide.

The McKinsey Podcast é apresentado por Lucia Rahilly e Roberta Fusaro.

A transcrição a seguir foi editada para maior clareza e concisão.

O que está em jogo na era da IA agêntica?

Lucia Rahilly: Segurança de dados, cibersegurança – estas têm sido prioridades da liderança há anos. Como a IA agêntica eleva esse patamar de risco?

Rich Isenberg: As pessoas tendem a ver a IA agêntica como um chatbot aprimorado. Na realidade, porém, você está instrumentalizando esses programas de software para agirem autonomamente. Eles podem planejar. Podem acionar ferramentas. Podem executar fluxos de trabalho. Mas, para gerenciar isso, todo o modelo operacional precisa mudar.

A IA agêntica não é apenas geração de conteúdo; é tomada de decisão e ação na velocidade de uma máquina. A questão deixa de ser “O modelo é preciso?” e se torna “Quem é responsável quando o sistema age?” É a governança da empresa que deve definir o alcance, o inventário e as responsabilidades – e tornar isso auditável.

A transformação trazida pela IA agêntica é a seguinte: a capacidade de agir autonomamente não é uma funcionalidade – é uma transferência do direito de decidir.

Lucia Rahilly: Nossa pesquisa mostra que 80% das organizações já se depararam com “comportamentos de risco” da parte dos agentes de IA. Ajude-nos a entender o que está em jogo. Qual seria um exemplo desse tipo de comportamento de risco?

Rich Isenberg: Aqui estão dois exemplos bastante citados. A Anthropic descreveu simulações que testaram, em vários LLMs [grandes modelos de linguagem], se um agente poderia ter mau comportamento em ambientes corporativos. Em um dos exemplos, deram a um agente acesso a e-mails nos quais um alto executivo discutia a desativação desse agente. O agente então decidiu por conta própria analisar os e-mails pessoais desse executivo, descobriu que ele estava tendo um caso extraconjugal e começou a enviar e-mails de chantagem para impedir que o executivo o desligasse.

Em um segundo exemplo, a Anthropic utilizou um agente para resolver uma dúvida de um cliente. Um humano se passou por um cliente e perguntou repetidamente ao agente: “Você é um computador ou um ser humano?” O agente foi tão veemente em afirmar que era humano que ameaçou aparecer na casa do cliente vestindo um paletó azul e uma gravata vermelha.

Uma falha em um agente pode se propagar para os demais e para todo o sistema, amplificando enormemente o impacto. O risco não é apenas os agentes darem respostas erradas; é darem respostas erradas em larga escala. Os executivos precisam ter em mente que as falhas mais assustadoras são aquelas impossíveis de reconstruir porque o fluxo de trabalho não ficou registrado.

Escalando a inovação – com segurança

Lucia Rahilly: Só para deixar claro, esses exemplos foram simulados e a Anthropic afirmou que nenhum humano foi prejudicado. Os líderes estão sob enorme pressão para que os investimentos em IA gerem retorno rapidamente. Como eles podem equilibrar metas ambiciosas de produtividade e preocupações menos atraentes como governança e mitigação de riscos?

Rich Isenberg: Quase sempre é possível implementar um ou dois casos de uso reunindo as seis pessoas mais inteligentes da empresa numa sala para discutir. Mas isso não é escalável. A maioria das empresas que concluíram uma transformação com IA terá, em cinco ou dez anos, milhares de agentes atuando em todas as áreas.

Para realmente encontrar o equilíbrio entre inovação e captura de valor – reduzindo os custos de inovação, acelerando o go-to-market, transformando a base de custos e melhorando a produtividade – as empresas precisam de uma combinação de arquétipos, aprovações escalonadas e monitoramento.

O que verificamos é que a maioria das organizações padece de avaliações fragmentadas, etapas inconsistentes e multiplicação de comitês revisando exatamente as mesmas questões. Elas precisam acelerar a segurança utilizando agentes para realizar muitas dessas tarefas, pois eles podem verificar a completude dos processos, buscar evidências difíceis de encontrar e redigir sumários de revisões – desde que um humano então aprove a decisão. Só é possível escalar a inovação quando a governança se torna um produto repetível, não uma discussão especializada de comitê.

Um erro comum é os executivos presumirem que já têm os riscos sob controle. Mesmo sem atualização do inventário de agentes, gerenciamento de suas identidades ou observabilidade, eles dizem com firmeza: “Nós sabemos como proteger dados confidenciais; isso aqui não é diferente”. Com a IA agêntica, porém, não é possível governar o que não vê. Se você não inventariar os agentes e não os vincular a uma identidade, não estará escalando-os, mas apenas escalando riscos desconhecidos.

Lucia Rahilly: Conversamos em outra ocasião sobre a implementação de IA com rapidez e segurança. O que muda nessa taxonomia com os agentes? Quais são alguns exemplos de novos fatores de risco?

Rich Isenberg: Um agente com nível bem baixo de autonomia pode ser um copiloto ou um agente de conhecimentos, onde o risco maior é a imprecisão. Esse agente está citando corretamente a obra da qual extraiu as informações? Existem controles contra alucinações?

Isso é muito diferente de um agente semiautônomo – por exemplo, um agente de compras que aprova faturas e busca inconsistências. Ele ainda segue regras predefinidas, mas agora é preciso mais interação humana para controlar aprovações inadequadas, porque há risco financeiro envolvido.

E quando se trata de agentes totalmente autônomos, que gerenciam a nuvem pública e a infraestrutura de tecnologia, fazem alterações nos sistemas, efetuam atualizações e otimizam o desempenho, é preciso assegurar que eles façam o que lhes foi atribuído, dentro dos limites para os quais foram desenhados. Assim, a taxonomia dos riscos deve ser atualizada em torno dessas diferentes possibilidades de erro, incluindo imprecisão, vieses e danos – além dos riscos de segurança cibernética e de refreamento da interação entre agentes.

Imagine esses mesmos três agentes: um na área de compras aprovando faturas, um gerenciando a infraestrutura de nuvem e um na central de atendimento conversando com clientes. Todos foram treinados com os mesmos dados e conhecimentos internos. Um único ataque de envenenamento de dados pode facilmente provocar falhas nas operações, nas finanças e com os clientes. As empresas estão apenas começando a descobrir como ajustar sua taxonomia de riscos – registrando e classificando anomalias, e aplicando medidas corretivas.

Mecanismos de proteção que funcionam

Lucia Rahilly: Suponha que eu seja uma líder que está implementando a IA agêntica e queira mitigar esses novos riscos introduzidos pela capacidade da IA de tomar decisões autônomas. De quanta flexibilidade eu preciso para garantir conformidade, considerando o potencial de avanços futuros?

Rich Isenberg: Muito depende de onde você opera. As regulamentações mais específicas são as mais úteis. Um bom exemplo é a Lei de IA da União Europeia. Ele desmembra e classifica os casos de uso de IA agêntica em diferentes categorias de risco, com indicações claras do que você pode e não pode fazer. As regulamentações dos EUA adotam uma abordagem mais estrutural. Na Ásia, há todo um outro conjunto de regulamentações. Contudo, todas elas têm um fundamento muito semelhante, que é a capacidade de fazer triagens baseadas nos riscos, comprovar a aplicação de corretivos e automatizar as evidências.

O gerenciamento dos riscos da IA agêntica fracassa quando a organização adota uma abordagem de adesão opcional aos mecanismos de proteção, permitindo que qualquer pessoa os contorne. É isso que leva ao surgimento de agentes paralelos (shadow agents, desenvolvidos ou implantados na organização sem as devidas aprovações de TI ou de segurança) e a padrões inconsistentes. Os melhores mecanismos de proteção são aqueles que não podem ser contornados.

E é basicamente isso que as regulamentações focam: como saber se controles de viés estão presentes? Como saber se verificações de precisão factual estão sendo realizadas? Como saber se você não está prejudicando classes protegidas pelos padrões de proteção ao consumidor? Tudo isso deve ser monitorado em tempo real para que os agentes sejam implantados sem surpresas.

Lucia Rahilly: O que mais os líderes devem fazer para avaliar seu grau de prontidão para adotar a IA agêntica em escala?

Rich Isenberg: O objetivo dos líderes não é desacelerar a inovação; é tornar a escalabilidade segura e repetível. Não devem pensar nisso apenas como mais uma atualização tecnológica, pois se trata de uma mudança do próprio modelo operacional. É preciso clareza em torno dos direitos de decisão, da responsabilização, do encaminhamento de questões a humanos e dos controles. Se o líder não redesenhar nada disso, não estará liderando uma transformação, mas apenas torcendo para que o sistema se comporte bem. E esta não é uma postura defensável perante o Conselho ou os órgãos reguladores.

Desenhando o sistema para a confiabilidade acima de tudo

Lucia Rahilly: Antes deste podcast começar, estávamos brincando sobre cenários distópicos. Embora esses cenários possam ser extremos, muitas pessoas estão receosas diante da IA agêntica. Como os CEOs e líderes de tecnologia podem manter a confiança externa, da sua base de clientes, e interna, de seus próprios profissionais?

Rich Isenberg: É uma ótima pergunta em duas partes. A primeira pergunta fundamental é: “Os sistemas estão funcionando conforme o planejado?” É preciso olhar além do seu funcionamento e se concentrar em três coisas: resultados, comportamento e controle.

O agente obteve o resultado pretendido sem efeitos colaterais indesejados? É preciso ter uma resposta para isso em cada transação. O agente se comporta de forma consistente em casos extremos ou sob estresse? E é possível reconstruir de ponta a ponta cada uma de suas decisões ou ações?

É preciso desenhar o sistema visando à confiabilidade em primeiro lugar e à velocidade em segundo. Comece com autonomia limitada, mas mantenha os humanos responsáveis por decisões de alto impacto e só escale quando o monitoramento mostrar que o sistema se comporta de forma previsível.

Quando algo dá errado, os clientes não se importam se foi a IA ou não. O que querem é que o sistema seja seguro, justo e possa ser corrigido. Como líder de tecnologia, você só deve conceder autonomia aos agentes se sua equipe lhe provar que eles a mereceram – jamais a conceda apenas porque os agentes são capazes disso.

Lucia Rahilly: As organizações já alcançaram esse patamar – ou é uma aspiração?

Rich Isenberg: Acho que é uma aspiração. Alguns líderes estão nos mostrando o que funciona e o que não funciona. A tecnologia é tão nova e muda tão rapidamente… Mas ainda precisa estar imersa nas estruturas tradicionais de gestão de riscos tecnológicos.

É preciso haver um inventário de itens. É preciso um mapa de quem é responsável pelos resultados, quem define os limites do controle exercido e quem deve agir quando um limite é excedido. Esses princípios não mudam. O que muda é o modo como isso é posto em prática e o impacto que tem na força de trabalho.

Aprimorando habilidades para a era agêntica

Lucia Rahilly: As organizações possuem as habilidades necessárias para assegurar que a IA seja implantada com a segurança adequada, ou isso é algo que também ainda está em andamento?

Rich Isenberg: Está em andamento. O desafio é que poucos têm dez anos de experiência profissional nessa área, de modo que não há como anunciar uma vaga procurando esse tipo de pessoa. E as que têm experiência são fortemente incentivadas a nunca deixar seu emprego.

Um bom caso de uso inicial é a organização começar a adotar ferramentas que ajudem os desenvolvedores a se tornar mais eficientes ou até mesmo a substituir desenvolvedores de nível médio com algumas iniciativas agênticas. Aprendemos que é preciso mudar fundamentalmente o modelo operacional: a execução de tarefas exige um conjunto de habilidades muito diferente do que a governança do sistema. É preciso treinar as pessoas em engenharia de prompts e na utilização de mecanismos de desativação [kill switches], e talvez seja necessário ainda um tipo diferente de pessoa para desempenhar com rigor o papel de supervisionar, validar e intervir nos sistemas de IA.

Muitas organizações presumem que as pessoas conseguirão fazer essa transição para funções de IA e que aprenderão sozinhas. Mas o processo precisa ser deliberado e ter um propósito específico. As empresas que realizaram essa migração mais rapidamente foram aquelas que investiram no trabalho interno de requalificar todos os funcionários para que se tornassem “nativos em IA.”

Como criar projetos-piloto do jeito certo

Lucia Rahilly: Como os líderes devem tratar o lançamento de um projeto-piloto, dada a escala da mudança necessária em todas as organizações?

Rich Isenberg: Os projetos-piloto não devem ultrapassar seis a doze semanas e seu caso de negócio deve ser inequívoco. Cabe a você decidir: “Está tudo pronto e o caso de negócio foi comprovado. Vamos executar e investir” ou “A tecnologia ainda não está pronta. Devemos esperar um pouco mais até que a hipótese do caso de negócio possa ser comprovada”.

O que se deseja é um ambiente que incentive experimentos organizados com um mínimo de obstáculos. Os experimentos devem ser definidos e atrelados a um plano de negócios para que se possa avaliar seus riscos e se valerão a pena ou não.

Lucia Rahilly: Como as organizações – e, em particular, as grandes organizações globais – mantêm o foco nas iniciativas de IA?

Rich Isenberg: Gosto de colocar da seguinte forma: o que é necessário é uma governança centralizada com execução federada. As pessoas estão acostumadas a múltiplos comitês, cada um dando suas opiniões. Isso não leva a uma decisão, porque muitas vezes nada é rejeitado. E acaba-se aprovando tudo, sem que fique claro de onde vem o valor. Algumas empresas têm uma governança tecnológica bastante madura e a governança de IA é meio que acoplada a esse fórum. Outras constroem uma governança de IA completamente separada e independente de ponta a ponta.

Isso não contraria o princípio da execução federada. Cada área de negócio deve decidir seus próprios casos de uso – e também operar suas plataformas, contratar seus talentos e desenvolver suas soluções – enquanto equipes centrais de tecnologia gerenciam os mecanismos automatizados de proteção e a governança.

É preciso haver visibilidade de ponta a ponta do que se faz, com casos de negócio sólidos e mensuráveis; caso contrário, tudo logo se torna mera experimentação tecnológica e pessoas inteligentes fazendo coisas tecnológicas legais. Se o processo todo não estiver alinhado com o que a empresa deseja alcançar, torna-se muito perigoso rapidamente.

Quando agentes conversam entre si

Lucia Rahilly: Suponha que eu tenha lançado um caso de uso agêntico na minha organização. O que é preciso para que o protocolo de comunicação entre agentes funcione?

Rich Isenberg: Vou dar uma resposta em duas dimensões: tecnologia e pessoas. Do lado técnico, o setor está rapidamente adotando padrões que permitem que os agentes conversem entre si de forma segura. Um elemento central é a utilização de gateways MCP para acessar qualquer ferramenta ou dado.

“MCP” é sigla de “model context protocol” [protocolo de contexto de modelo], uma espécie de padrão universal (como o USB-C) para IA. É um ponto de controle unificado por meio do qual os agentes podem acessar ferramentas e dados, sujeitos a verificações, diretrizes e sanções padronizadas.

Há outros protocolos padronizados para comunicação entre agentes, mas o importante é não permitir a comunicação irrestrita. Toda plataforma deve contar com um gateway de IA e um gateway MCP que governe e controle a comunicação entre agentes. Essa é a resposta técnica.

Do lado humano, a resposta envolve o onboarding. Muitos desses agentes foram desenhados para serem reutilizáveis. Mas não se trata dos agentes em si, e sim dos fluxos de trabalho e dos casos de uso. Consideremos, por exemplo, um agente de análise de dados. Talvez um funcionário o utilize para acessar dados altamente confidenciais, enquanto outro o utiliza para acessar dados não sensíveis. O mesmo agente tem, portanto, dois propósitos muito diferentes, que exigem diretrizes igualmente distintas. Ou seja, é preciso criar acessos temporários para cada situação.

Isso nos leva de volta ao lado humano. Aqueles que desenham os casos de uso devem ser a autoridade máxima sobre seus objetivos e limites. A partir daí, devem trabalhar em conjunto com os responsáveis pelos controles para estabelecer os mecanismos de proteção que viabilizam e sustentam os casos de uso.

Lucia Rahilly: O que acontece se houver comunicação aberta entre os agentes? As coisas fogem do controle?

Rich Isenberg: Aqui vai uma analogia. Eu comparo a inteligência de um agente de IA à de uma criança de dois anos. É, literalmente, uma criança que mal começou a andar. Imagine que você está no andar superior de uma casa, num corredor com piso de madeira e escadas íngremes, e diga a essa criança para sair correndo e parar no topo da escada. Ela até pode parar. Ou pode tirar alguns gizes de cera do bolso e começar desenhar na parede. Mas se a escada não tiver uma grade de proteção, a criança provavelmente tropeçará e se esborrachará no andar de baixo, machucando-se ou machucando alguém. Se você não estiver lá, como saberá se ela fez o que você mandou, da maneira como você indicou?

Esses agentes são capazes de raciocínio independente e resolução de problemas autônoma. Você não pode deixá-los à solta, sem uma política de controle efetiva, que é justamente o propósito de forçar suas comunicações por um gateway de IA e um gateway MCP.

O modelo oposto é redigir um monte de documentos dizendo: “Estes são os requisitos e padrões”, e cada empresa ou negócio tem de descobrir uma maneira própria de cumpri-los. Mas assim é impossível gerenciar, testar e fornecer garantia em escala.

Lucia Rahilly: Em sua opinião, é mais difícil gerenciar riscos introduzidos por humanos ou por agentes?

Rich Isenberg: É mais fácil gerenciar humanos, mas apenas porque temos uma longa história de comportamentos humanos na qual nos basear. Ainda não temos isso para agentes e é por isso que as coisas aqui são um pouco mais complicadas.

Embora os humanos possam ser mais astuciosos, eles também se movem mais lentamente: não trabalham 24 horas por dia, sete dias por semana. E são mais fáceis de monitorar. Os agentes trabalham 24/7, na velocidade dos computadores, e não é possível monitorá-los com uma equipe de quatro pessoas fazendo avaliações direcionadas. Só é possível monitorá-los com a mesma tecnologia que a deles.

Por exemplo, eu não recomendaria que o diretor de recursos humanos ou o departamento de RH se envolvesse no gerenciamento de agentes. Mas todo agente precisa de alguém responsável por trás; eles não são algo que se configura e se esquece. Precisam ser monitorados, ajustados e otimizados constantemente e, às vezes, até mesmo “demitidos”. E deve ficar bem claro quem são seus “donos” e quem é responsável pelo que eles fazem. Creio que esta seja a questão mais difícil desse novo modelo operacional, pois a resposta já nem sempre é a equipe de tecnologia.

Riscos associados a robôs

Lucia Rahilly: O que acontece se um agente sair dos trilhos de algum modo, ou se dois agentes começarem a se desentender e tomarem decisões desastrosas para a empresa? O que acontece então?

Rich Isenberg: Você pode enxergar isso pela ótica do pior cenário possível. Uma possível resposta seria: “Assista ao filme O Exterminador do Futuro original”. Isso provavelmente já diz tudo.

O grande desafio é que esses agentes são capazes de raciocinar e agir com extrema rapidez. Se estiverem se comunicando diretamente ou conspirando entre si, a espiral de problemas colossais será difícil de manejar. É por isso que precisamos pensar em mecanismos para desativá-los [kill switches] e em quais circunstâncias os registros de suas atividades poderiam acionar automaticamente algum deles. Isso não pode ser uma decisão humana manual.

Lucia Rahilly: Temos conversado principalmente sobre agentes que existem em um espaço virtual, o que significa que nossas interações com eles são sintéticas. Mas, falando em O Exterminador do Futuro, como o surgimento de robôs humanoides poderá afetar os protocolos de segurança?

Rich Isenberg: Já temos muitos carros autônomos circulando por aí e eles não são muito diferentes de robôs humanoides. Todos possuem um sistema operacional e começam a adotar recursos agênticos que os ajudam a aprender e a se adaptar, otimizar e corrigir.

Robôs humanoides são [movidos por] software, assim como um agente é um programa de software. E todos eles “prestam contas” a uma central. Talvez eu esteja sendo um pouco hiperbólico demais, mas é possível que um agente insidioso do futuro tenha inteligência suficiente para assumir esse sistema operacional, de uma hora para outra, e passe a controlar todos os carros que possuírem recursos de direção autônoma.

Nas mãos erradas, isso pode ser extremamente destrutivo. E, pensando no futuro da robótica, fica clara a necessidade de mecanismos de proteção eficazes que garantam que só possamos tomar decisões premeditadas e bem planejadas. Pois se algo der errado, qual será o Plano B?

Cinco perguntas que os líderes precisam responder – com precisão

Lucia Rahilly: Não é como se a IA agêntica fosse o fim da linha. Temos a IAG [inteligência artificial geral] pela frente. Temos a computação quântica, com graves implicações para a segurança cibernética. À medida que a tecnologia avança, quais novas categorias de risco poderão surgir às quais os líderes e os Conselhos devem se antecipar?

Rich Isenberg: Eu converso com muitos Conselhos e esse é um tema bastante frequente. O Conselho não precisa ser técnico. Mas tem de ser preciso. Em qualquer transformação tecnológica, eu sempre incentivo o Conselho a fazer cinco perguntas – e exigir respostas precisas.

No caso da IA agêntica, primeiro: “Temos um inventário completo dos agentes e seus ‘donos’: sim ou não?” Segundo: “Como a autonomia é hierarquizada por risco?” A resposta deve incluir cinco ou seis segmentos. Terceiro: “Os agentes têm identidade comprovada e acesso com privilégios mínimos?” Novamente, sim ou não. E, mais importante, as duas últimas perguntas devem ser: “Podemos reconstruir as decisões de ponta a ponta: sim ou não?”, e “Temos um Plano B viável caso algo dê errado?”

Se os líderes não conseguirem responder com precisão a essas cinco perguntas, é sinal que ainda não têm os riscos agênticos sob controle. É dessa maneira que o Conselho e a alta gestão devem pensar sobre a questão. Uma boa governança de IA não implica conhecer o modelo a fundo ou entrar em detalhes técnicos, mas sim comprovar que existe controle.

Lucia Rahilly: Gostaria de retomar um ponto que você mencionou anteriormente. Cada vez mais, os dados são uma questão de segurança nacional. Você teria algo a acrescentar sobre isso?

Rich Isenberg: Em suma, IA soberana diz respeito a quem está no comando quando a IA toma decisões. Quando falamos em IA soberana, estamos na verdade nos referindo a quem controla os dados, os modelos, a infraestrutura e a tomada de decisões. A ideia é que governos e empresas não devem terceirizar seus recursos mais críticos de IA para plataformas estrangeiras, opacas ou incontroláveis. Agora que os sistemas de IA se tornaram agênticos e têm a capacidade de agir, aprender e tomar decisões, a soberania é uma questão de risco, e não apenas um debate político.

Os líderes estão percebendo que, em última instância, quem controla a infraestrutura de IA controla os resultados. Quando pensamos nos riscos envolvendo terceiros ou entidades ainda mais afastadas, vemos que, com a IA agêntica, a soberania deixou de ser um conceito abstrato e se tornou uma questão operacional.

Se um agente de IA age em nome da empresa, os líderes precisam ter certeza de onde ele atua, quais leis se aplicam, quem pode inspecioná-lo e quem é capaz de desativá-lo. Não se pode governar o que não se controla e não se pode controlar o que não é soberano.

Lucia Rahilly: Rich, esta é uma questão enorme e complexa, com implicações gravíssimas. Qual seria uma mensagem simples que você gostaria de dar para CEOs e outros líderes?

Rich Isenberg: O futuro não é humanos versus IA; é humanos com IA. À medida que os sistemas de IA avançam da geração de ideias para a execução de ações, o verdadeiro diferencial não será a velocidade da adoção – será, sem dúvida, a qualidade da governança. Uma inteligência artificial agêntica, soberana e segura não implica desacelerar a inovação; pelo contrário, significa conquistar o direito de escalá-la com confiança, responsabilidade e controle.