Um ano de IA agêntica: Seis lições de pessoas que trabalham com ela

Um ano após o início da revolução da IA agêntica, uma lição ficou clara: implantá-la corretamente exige muito trabalho.

A transformação agêntica de uma empresa promete produtividade inigualável. Contudo, embora algumas organizações venham obtendo grande sucesso inicial nessa área, muitas acham difícil extrair valor de seus investimentos. Outras estão até mesmo recuando – e recontratando pessoas para atuar onde os agentes fracassaram.

Esses tropeços fazem parte da evolução natural de qualquer nova tecnologia, e já vimos o mesmo padrão antes com outras inovações. Para tentarmos aprender com as lições iniciais, analisamos recentemente mais de 50 instâncias de IA agêntica que lideramos na McKinsey, além de dezenas de outras existentes no mercado. Sintetizamos os resultados de nossa análise em seis lições para ajudar os líderes a capturar o valor da IA agêntica (veja Box, “O que é IA agêntica?”).

Não se trata de agentes, mas do fluxo de trabalho

Para extrair valor comercial da IA agêntica é preciso mudar os fluxos de trabalho. Muitas vezes, porém, a organização foca demais os agentes ou as ferramentas agênticas, o que inevitavelmente cria agentes de ótima aparência, os quais, todavia, nada fazem para melhorar o fluxo geral do trabalho. Seus resultados deixam a desejar.

Por outro lado, iniciativas de IA agêntica mais voltadas para reimaginar fundamentalmente um fluxo de trabalho completo – isto é, as etapas que envolvem pessoas, processos e tecnologia – tendem a gerar resultados positivos. Entender quais podem ser as contribuições dos agentes em cada uma dessas etapas é o caminho para o valor. Vale lembrar que as pessoas continuarão sendo essenciais para executar o trabalho em si, mas terão agora diferentes agentes, ferramentas e automações para ajudá-las a trabalhar melhor.

Quando se redesenha os fluxos de trabalho, é importante começar mapeando os processos e identificando os principais pontos nevrálgicos dos usuários. Essa etapa é fundamental para projetar sistemas agênticos capazes de eliminar tarefas desnecessárias e permitir que agentes e pessoas colaborem e alcancem objetivos de negócios com mais eficiência e eficácia, possivelmente por meio de ciclos de aprendizagem e mecanismos de feedback criando um sistema que se autorreforça. Quanto mais frequentemente os agentes forem utilizados, mais inteligentes e alinhados eles se tornarão.

Vejamos o caso de um provedor de serviços jurídicos alternativos que queria modernizar os fluxos de trabalho na revisão de contratos. O pensamento jurídico na área de atuação da empresa estava em constante evolução, com novas jurisprudências, nuances jurisdicionais e interpretações de diretrizes, o que tornava difícil codificar sua expertise.

A fim de levar em conta a variância natural, a equipe desenhou seus sistemas agênticos para que aprendessem a partir de dentro do fluxo de trabalho. Por exemplo, cada edição feita por um usuário no editor de documentos era registrada e categorizada, fornecendo aos engenheiros e cientistas de dados um rico feedback, que eles puderam utilizar para ensinar os agentes, ajustar a lógica dos prompts e enriquecer a base de conhecimentos. Com o tempo, os agentes aprenderam a codificar novas expertises.

Focar os fluxos de trabalho, e não os agentes, permitiu que a firma implantasse a tecnologia certa no ponto certo, o que é particularmente importante quando se redesenha fluxos de trabalho complexos em várias etapas (Quadro). As seguradoras, por exemplo, costumam ter grandes fluxos de trabalho investigativos que envolvem inúmeras etapas (como processamento de pedidos de indenização e subscrição de sinistros) e cada etapa exige diferentes tipos de atividades e tarefas cognitivas. As empresas podem redesenhar esses tipos de fluxo de trabalho implantando criteriosamente uma combinação específica de sistemas baseados em regras, IA analítica, IA generativa e agentes, todos escorados em uma só estrutura de orquestração (por exemplo, estruturas de código aberto como AutoGen, CrewAI e LangGraph). Nesses casos, os agentes são os orquestradores e os integradores, acessando ferramentas e integrando os resultados de outros sistemas ao seu contexto. São o elemento que unifica o fluxo de trabalho para se chegar a um fechamento efetivo com menos intervenções.

Agentes nem sempre são a resposta

Os agentes de IA são capazes de fazer muitas coisas, mas não devem necessariamente ser utilizados para tudo. Com demasiada frequência, os líderes não examinam com a devida atenção o trabalho a ser feito nem se perguntam se um agente seria a melhor escolha para executá-lo.

Para evitar complexidade indesejada ou desperdiçar investimentos, os líderes da empresa devem conceber o papel dos agentes do mesmo modo como avaliam candidatos para uma equipe de alto desempenho. O importante é perguntar: “Qual é o trabalho a ser feito? E quais são os talentos relativos de cada membro potencial da equipe – ou de cada agente – para que possam trabalhar em conjunto e atingir os objetivos?” Problemas de negócios geralmente podem ser resolvidos com abordagens automatizadas mais simples – como automação baseada em regras, análises preditivas ou prompts em grandes modelos de linguagem (LLM) – que tendem a ser mais confiáveis do que agentes genéricos.

Antes de se precipitarem para uma solução agêntica, os líderes precisam avaliar o que a tarefa exige. Na prática, isso significa definir em que medida o processo deve ser padronizado, qual o grau de variação que terão pela frente e quais aspectos do trabalho serão executados melhor por agentes.

Essas questões são relativamente simples. Por exemplo, fluxos de trabalho altamente padronizados, com poucas variações (como o onboarding de investidores ou a divulgação obrigatória de certas informações financeiras), tendem a ser governados rigidamente e a seguir uma lógica previsível. Nesses casos, a utilização de agentes baseados em LLMs não determinísticos provavelmente acrescentará mais complexidade e incerteza do que valor.

Por outro lado, no caso de fluxos de trabalho de alta variação e baixa padronização, os agentes podem se revelar bastante úteis. Por exemplo, certa empresa de serviços financeiros recorreu a agentes para extrair informações financeiras complexas, reduzindo o número de validações humanas necessárias e agilizando os fluxos de trabalho. Essas tarefas exigiam agregação de informações, verificações e análises de compliance, áreas em que os agentes podem ser bastante eficazes.

O importante é não se fixar numa mentalidade binária do tipo “sempre utilizar agentes/nunca utilizar agentes”. Alguns agentes podem executar bem tarefas específicas, outros podem ajudar as pessoas a realizar melhor seu trabalho e, em inúmeros casos, outras tecnologias totalmente diferentes poderão ser as mais apropriadas. O fundamental é descobrir qual ferramenta ou agente é mais adequado a cada tarefa, como as pessoas trabalharão com os agentes de forma mais eficaz e como combinar agentes e trabalhadores humanos para obter o melhor resultado possível. A eficiência com que pessoas, agentes e ferramentas trabalham em conjunto é o segredo da geração de valor (veja Box, “Regras práticas de alto nível para decidir quais ferramentas de IA utilizar”).

Chega de “IA desleixada”: invista em avaliações e inspire confiança nos usuários

Uma das armadilhas mais comuns que as equipes enfrentam ao implantarem agentes de IA são os sistemas agênticos que parecem impressionantes nas demonstrações, mas acabam decepcionando os usuários responsáveis pelo trabalho em si. É comum ouvir usuários reclamarem da “baboseira” [slop] que a IA produz ou de resultados de baixa qualidade. Eles logo perdem a confiança nos agentes, prejudicando os níveis de adoção. Assim, quaisquer ganhos de eficiência obtidos com a automação acabam sendo rapidamente anulados pela perda de confiança ou por um declínio na qualidade.

Uma lição aprendida a duras penas com esse problema recorrente é que as empresas precisam investir maciçamente no desenvolvimento de agentes, assim como o fazem no desenvolvimento de funcionários. Segundo nos disse o líder de certa empresa, “O onboarding de agentes lembra mais a contratação de um novo funcionário do que implantação de um novo software”. Os agentes precisam ter descrições de função claras, ser devidamente integrados e receber feedback constante para que possam ir se tornando mais eficazes e se aprimorando continuamente.

Desenvolver agentes eficazes é um trabalho desafiador que exige o aproveitamento de expertises individuais para criar avaliações (“e-vals”) e codificar as melhores práticas com a granularidade apropriada a cada tarefa. Para os agentes, essa codificação serve tanto de manual de treinamento como de teste de desempenho, garantindo que atuarão conforme o esperado.

Essas práticas podem fazer parte de procedimentos operacionais padrão ou existir como conhecimento tácito na mente das pessoas. Ao se codificar práticas, é importante focar o que distingue aqueles que têm melhor desempenho dos demais. Para um representante de vendas, por exemplo, pode ser o modo como ele conduz uma conversa, lida com objeções e se adapta ao estilo do cliente (veja Box, “Tipos de e-vals”).

É crucial que especialistas permaneçam envolvidos para testar o desempenho dos agentes ao longo do tempo. Aqui ninguém pode “lançar e partir”. Esse compromisso com a avaliação exige, por exemplo, que especialistas literalmente anotem ou rotulem os outputs desejados (e, talvez, indesejados) de cada input específico – resultados que podem chegar a milhares no caso de agentes mais complexos. Mas é assim que as equipes poderão avaliar o quanto um agente acertou ou errou, e efetuar as correções necessárias.

Um banco global levou a sério essa abordagem e transformou seus processos de conhecer o cliente e de analisar riscos de crédito. Sempre que uma recomendação feita pelo agente sobre conformidade com as orientações de recepção diferia do juízo humano, a equipe identificava as lacunas lógicas, aprimorava os critérios de decisão e refazia os testes.

Em um caso, por exemplo, a análise inicial dos agentes mostrou-se genérica demais. A equipe forneceu esse feedback aos agentes e, em seguida, desenvolveu e implantou agentes adicionais para garantir que a análise fosse suficientemente profunda para fornecer insights úteis no nível certo de granularidade. Uma de suas táticas foi perguntar sucessivamente aos agentes “por quê”, o que acabou melhorando seu desempenho e tornou muito mais provável que as pessoas aceitassem seus outputs.

Faça com que seja fácil monitorar e verificar cada etapa

Quando se trabalha com apenas alguns poucos agentes de IA, revisar o trabalho deles e identificar erros tende a ser relativamente tranquilo. Por outro lado, se a empresa implementar centenas, ou até milhares, de agentes, a tarefa se torna bastante desafiadora. Exacerbando esse problema, muitas empresas monitoram apenas os resultados. Portanto, quando há um erro – e sempre haverá erros quando uma empresa escala a utilização de agentes – fica difícil descobrir precisamente o que foi que não deu certo.

O desempenho dos agentes deve ser verificado em cada etapa do fluxo de trabalho. Incorporar monitoramento e avaliação ao fluxo permite que as equipes identifiquem erros logo no início, aprimorem a lógica e melhorem continuamente o desempenho, mesmo depois que os agentes já houverem sido implantados.

Em um fluxo de trabalho de revisão de documentos, por exemplo, a equipe de produtos de um provedor de serviços jurídicos alternativos constatou uma queda repentina na precisão quando o sistema deparou um novo grupo de casos. Mas a firma havia criado o fluxo de trabalho agêntico já com recursos para monitorar cada etapa do processo, de modo que foi possível identificar rapidamente o problema: certos segmentos de usuários estavam enviando dados de baixa qualidade, o que provocava interpretações equivocadas e, mais adiante, recomendações inadequadas.

Ciente disso, a equipe aprimorou suas práticas de coleta de dados, criou diretrizes de formatação de documentos para usuários e ajustou a lógica analítica do sistema. O desempenho dos agentes melhorou rapidamente.

O melhor caso de uso é o caso de reuso

Na pressa de alcançar progresso rápido com a IA agêntica, muitas empresas acabam criando um agente exclusivo para cada tarefa identificada. Mas isso pode provocar redundância e desperdício significativos, pois frequentemente um mesmo agente é capaz de realizar tarefas diferentes se estas tiverem várias ações em comum (como ingestão, extração, busca e análise).

Decidir quanto investir na construção de agentes reaproveitáveis (em vez de agentes que executam uma só tarefa específica) é análogo ao problema clássico da arquitetura de TI, pelo qual as empresas têm de construir rapidamente, mas de tal forma que não fiquem presas a escolhas que restrinjam capacidades futuras. Encontrar esse equilíbrio não é fácil e exige um alto grau de discernimento e análise.

Identificar tarefas recorrentes é um bom ponto de partida. É possível desenvolver agentes e componentes de agentes que possam ser facilmente reutilizados em diferentes fluxos de trabalho e simplificar o acesso dos desenvolvedores a eles. Isso inclui criar um conjunto centralizado de serviços validados (observabilidade do LLM, por exemplo, ou prompts pré-aprovados) e de ativos (como padrões para aplicativos, códigos reutilizáveis e materiais de treinamento) que sejam fáceis de localizar e utilizar. A integração desses recursos em uma única plataforma é fundamental: em nossa experiência, isso ajuda a eliminar entre 30% a 50% do trabalho não essencial normalmente exigido.

Seres humanos continuam essenciais, mas suas funções e o seu número mudarão

Como os agentes de IA continuam a proliferar, a questão de qual será o papel dos seres humanos tem gerado muita ansiedade – seja em relação à preservação dos empregos ou às enormes expectativas de melhoria da produtividade. Isso tem gerado perspectivas bastante discrepantes sobre o papel dos seres humanos em muitos empregos atuais.

Para sermos claros: os agentes são capazes de realizar muitas coisas, mas os seres humanos continuarão sendo parte essencial da equação da força de trabalho, ainda que o tipo de trabalho que uns e outros realizarão vá mudar ao longo do tempo. Seres humanos deverão controlar a precisão dos modelos, assegurar conformidade, aplicar seu discernimento e lidar com casos extremos, por exemplo. Além disso, como vimos anteriormente, os agentes nem sempre serão a melhor resposta. Portanto, continuará sendo necessário haver humanos trabalhando com outras ferramentas (como modelos de machine learning), ainda que o número de pessoas trabalhando em determinado fluxo de trabalho tenda a diminuir à medida que esse fluxo é transformado pela utilização de agentes. Será crucial que os líderes das empresas gerenciem essas transições como fariam com qualquer programa de mudança, alocando atentamente o trabalho necessário para treinar e avaliar os agentes.

Outra importante lição extraída de nossa experiência é que é preciso intencionalmente redesenhar o trabalho para que pessoas e agentes possam colaborar bem nas empresas. Sem esse foco, mesmo os programas agênticos mais avançados correm o risco de sofrer falhas invisíveis, erros cumulativos e rejeição dos usuários.

Tomemos o exemplo do provedor de serviços jurídicos alternativos mencionado anteriormente, que queria usar agentes no fluxo de trabalho de análises jurídicas. No redesenho do fluxo de trabalho, a equipe dedicou tempo suficiente para identificar onde, quando e como integrar a contribuição humana. Em um caso, os agentes conseguiram associar, com alto nível de precisão, os pedidos de indenização e os respectivos valores monetários, mas mesmo assim advogados reverificaram e aprovaram cada um, dada a centralidade das indenizações nesse caso.

De modo similar, os agentes foram capazes de sugerir planos de trabalho para outro caso, mas, dada a importância da decisão, foi imprescindível que pessoas não apenas revisassem os planos, mas também ajustassem as recomendações. Além disso, os agentes foram programados para identificar casos extremos e anomalias, auxiliando os advogados a formar uma visão mais ampla e bem fundamentada. E, ao final do processo, alguém ainda precisava assinar o documento, assegurando a legalidade da decisão com a licença e credenciais humanas cabíveis.

Uma parte importante desse desenho colaborativo entre humanos e agentes é o desenvolvimento de interfaces visuais simples que facilitem a interação entre as pessoas e os agentes. Por exemplo, uma seguradora de bens e acidentes desenvolveu elementos visuais interativos (como caixas delimitadoras, realces e rolagem automatizada) para ajudar os revisores a validar rapidamente sumários gerados por IA. Quando um usuário clicava em uma informação, por exemplo, o aplicativo rolava diretamente para a página relevante e destacava o texto apropriado. Esse foco na experiência do usuário economizou tempo, reduziu o número de dúvidas e aumentou a confiança no sistema, levando a níveis de aceitação pelo usuário próximos a 95%.

O mundo dos agentes de IA evolui rapidamente, de modo que devemos esperar aprender muitas outras lições no futuro. No entanto, se as empresas não adotarem uma abordagem de aprendizagem teórica e prática para seus programas agênticos, é provável que voltem a repetir os mesmos erros, comprometendo o ritmo do seu progresso.