Depois de passar os últimos meses analisando centenas de documentos técnicos da n8n, Google, Gumloop e outros, registrei 75 recursos que você esperaria que uma ferramenta de desenvolvimento de agente oferecesse.
Mas há muitas outras coisas que você pode, precisa ou deve fazer com os agentes que não foram fáceis ou justas de serem incluídas no relatório, por isso estou compartilhando algumas delas aqui.
Identidade do Agente
Os agentes escorregaram claramente entre as fendas das identidades humanas e não humanas, o que é problemático porque não há forma de acompanhar os agentes, as suas ações e os seus proprietários. Se o Agente X decidir fazer uma onda de exclusão de dados, a identidade seria o que poderia ajudá-lo a identificar onde ele mora e quem criou o monstro.
Mas ninguém resolveu a identidade ainda, e se alegaram fazê-lo, foi adaptando técnicas existentes aos agentes, o que realmente não funciona (observe que Auth está em uma posição melhor que Identity, mas auth é apenas um subconjunto de identidade).
Vamos supor que você execute agentes em n8n. Não há como definir formalmente a identidade de um agente, de modo que você forneça a ele um crachá, algumas políticas e monitore suas atividades dentro do ambiente mais amplo em que trabalha. Você pode integrá-lo aos IdPs que oferecem suporte aos agentes, mas ainda precisa projetar seu caminho através dele.
Este recurso detalha como ele integra um agente n8n ao Entra Agent ID da Microsoft. Embora esteja atrás de um acesso pago, ele diz que você precisa:
- Uma instância n8n em execução nos aplicativos de contêiner do Azure, por trás da entrada HTTPS, com Postgres persistente e armazenamento de arquivos.
- Um Microsoft Entra Agent Identity Blueprint, uma entidade de serviço de identidade do agente e uma conta de usuário do agente
- Fluxos de trabalho n8n para executar uma chamada do Microsoft Graph, um Auth Manager que intermedia tokens e um webhook em nome de que se comunica com o Microsoft Graph MCP Server for Enterprise.
- Uma chamada delegada MCP.User.Read.All em funcionamento de dentro do agente.
A melhor opção para executar isso nativamente a partir de hoje é usar Plataforma de agente empresarial Google Geminio que é claramente a vantagem do portfólio hiperescalador. A Identidade do Agente fornece uma identidade criptográfica fortemente atestada para cada agente baseada no padrão SPIFFE. Com o Agent Identity, os agentes podem autenticar-se com segurança em servidores MCP, recursos de nuvem, endpoints e outros agentes, agindo em seu próprio nome ou em nome de um usuário final. A Identidade do Agente usa a própria credencial do agente e o gerenciador de autenticação da Identidade do Agente. O gerenciador de autenticação pode criar e gerenciar provedores de autenticação, que são as configurações específicas usadas para adquirir, gerenciar e proteger chaves de API, IDs de cliente OAuth, segredos de cliente OAuth e tokens OAuth delegados de usuário final.
Mas mesmo a abordagem do Google (que é uma das mais avançadas no momento) você pode encontrar algumas críticascomo o uso do SPIFFE. “Embora o SPIFFE possa fornecer tecnicamente identidades de agentes, as implementações atuais do Kubernetes tratam todas as réplicas como idênticas – uma incompatibilidade fundamental com o comportamento não determinístico e dependente do contexto dos agentes que cria lacunas de conformidade e atribuição”.
Execução confiável do agente
LLMs geram o código, os agentes o executam. E assim como um servidor soluça e você precisa desligá-lo e ligá-lo novamente, os agentes também podem soluçar. Todas as empresas têm sentido esta dor, mas vejo pouca ou nenhuma abordagem sistemática (ou ouso dizer determinística) para garantir que os agentes executem de forma confiável. Há uma seleção de ferramentas que estão resolvendo esse problema, mas a adoção é lenta.
A coisa mais simples que pode executar o código do agente pode ser o interpretador Python. Você deve esperar que uma ferramenta de desenvolvimento de agente faça mais do que Python puro, que seria:
- Evite deputados confusos: onde sandboxes (por exemplo, MicroVMs/Wasm) podem executar código de IA não confiável com segurança ou fornecer acesso à rede com escopo definido,
- Durabilidade: detectar falhas, repetir etapas, manter o estado, verificar pontos, validar resultados
- Simultaneidade: alocação de recursos e tratamento de vizinhos barulhentos à medida que os serviços aumentam
Abordamos brevemente a execução de código e sandboxes no relatório, então vamos dar uma olhada nos outros dois:
Durabilidade da execução do agente – Os agentes podem atingir um limite de taxa do provedor LLM, ter um tempo limite de solicitação ou um agente auto-hospedado pode ficar sem memória.
A durabilidade da execução pode ajudar na recuperação desse tipo de incidente:
- Verificar se as tarefas do agente são executadas e se as etapas concluídas são armazenadas
- Se os agentes forem interrompidos, eles recomeçarão do mesmo ponto
- Eles são executados uma vez, não zero ou várias vezes
- As ações do agente têm consciência de tempo, de modo que aguardam a conclusão de outros trabalhos, cronogramas e outros
- Pode voltar e tentar novamente se a saída não for validada
Simultaneidade – Os agentes e o ambiente de hospedagem subjacente competem por memória, CPU e chamadas de rede. Quando os agentes compartilham a mesma infraestrutura (ou seja, não têm isolamento), uma sessão com uso intensivo de recursos degrada todas as outras sessões. O gerenciamento de simultaneidade eficaz requer aplicação de cotas no nível do kernel, agendamento em tempo real em cargas de trabalho heterogêneas e mecanismos de contrapressão que evitam que surtos de invocações de agentes se transformem em falhas downstream.
Para oferecer suporte à simultaneidade na camada de infraestrutura, você pode impor limites de recursos por sessão no nível do kernel por meio de cgroups, manter o estado do cluster em tempo real para agendar decisões e isolar sessões por meio de limites microVM ou gVisor que evitam vazamento de vizinhos barulhentos entre agentes.
Na camada de execução, você pode impor limites de simultaneidade na execução do fluxo de trabalho e na capacidade do trabalhador, evitando que muitas tarefas do agente sejam executadas simultaneamente em um LLM com taxa limitada ou em uma API externa. Esta é uma contrapressão no nível do fluxo de trabalho, e não isolamento de recursos no nível da computação.
Outros controles de simultaneidade incluem filas de trabalhos, como limitar quantas instâncias de uma etapa ou função são executadas em paralelo. Isto é útil para evitar o esgotamento do limite de taxa LLM, mas não aborda a contenção de recursos subjacente entre sessões.
Análise de intenção
Os LLMs derivam por design, e simplesmente dizer “por favor, não se desvie” ou criar um agente orquestrador e perguntar “por favor, não se desvie” não ajudará.
Sem dúvida, você acabará com os agentes não concluindo a tarefa atribuída, fazendo outra coisa, relatando a conclusão de um trabalho incompleto ou apenas tendo alucinações de resultados. Você precisa monitorar o desvio de comportamento para determinar se a lógica de um agente permanece adequada para seu escopo e solicitação. Isso implicaria verificar continuamente as conversas e a execução em nível de código para ver quais bibliotecas deseja invocar, o que as funções chamadas realmente alcançariam e o que o LLM está fazendo com o sistema operacional. Ele rastreia o campo de raciocínio na resposta e o campo de chamada de ferramenta na resposta para entender cada delegação de lógica e por que ela faz isso.
E embora haja muito trabalho aqui em segurança para prevenir injeções imediatas e problemas confusos de deputados, há muito pouco trabalho para prevenir desvios não maliciosos.
Você pode escolher entre análise de intenção baseada em LLM e não baseada em LLM.
Os baseados em LLM são fáceis de implementar e para todos os fins. A desvantagem é que os juízes do LLM herdam os mesmos problemas que tentam resolver. Independentemente disso, alguns deles incluem:
- Métrica de avaliação que mede a correção e coerência de uma trajetória agente
- Avaliação para medir a mudança no objetivo de conversação principal ou no fluxo de trabalho do usuário durante uma sessão, em relação à intenção inicial declarada.
- Avaliar a eficácia com que cada ação avança em direção ao objetivo.
A análise de intenção não baseada em LLM é mais difícil de implementar e requer pensamento inicial, um desafio em uma sociedade que codifica vibrações. Inclui:
- Usar modelos somente de codificador, como BERT ou ModernBERT, que entendem o texto, mas não o geram, e usá-los para gerar um Sim/Não binário.
- Rastrear (ou seja, gravações no banco de dados) se o agente atingiu com êxito todos os objetivos do usuário.
- Definir escopos imutáveis que forçam a execução do agente através de um conjunto de etapas, que podem ser definidas durante o processo de raciocínio ou por um agente orquestrador.
- Definir limites específicos de tarefas, autoridade para conduzir tarefas, ferramentas disponíveis, se podem gerar subagentes.
Em nossa segunda iteração do relatório, avaliamos ferramentas em relação a 75 recursos, que vão desde execução de código e sandboxes até autenticação e killswitches. Alguns recursos são fortemente comoditizados, enquanto outros são diferenciais claros.
