minions-ai-agents/docs/Infraestrutura de Agentes Locais_ Hardware e Monitoramento.md

Para implementar sua infraestrutura de agentes locais em CPU com eficiência, o gerenciamento de recursos e a visibilidade do sistema são fundamentais. Abaixo, detalho as soluções para suas dúvidas técnicas fundamentais:

1. Tratamento de "Compactação" de Contexto

Como os modelos de linguagem possuem um limite finito de "janela de contexto", conversas longas ou muitas buscas na internet podem rapidamente exceder a memória do agente. Existem três estratégias principais para lidar com isso localmente:

• Janela Deslizante (Sliding Window): A técnica mais simples, onde o sistema mantém apenas as últimas N mensagens ou tokens da conversa, descartando o início para liberar espaço.
• Sumarização de Memória: Quando o contexto atinge um limite crítico, um agente auxiliar (ou o próprio modelo) gera um resumo conciso das interações anteriores. Esse resumo substitui as mensagens brutas no prompt, preservando a essência da história com uma fração dos tokens originais.
• Compressão de KV Cache (Nível Técnico): Técnicas avançadas como o ChunkKV agrupam tokens em unidades semânticas para compressão, reduzindo o uso de memória do cache em até 70% sem perda significativa de precisão. Outra abordagem é o Palu, que utiliza projeções de baixo ranking para comprimir a dimensão oculta do cache.

2. Monitoramento de Agentes de Modo Geral

Para gerenciar um ecossistema multi-agente sem depender de nuvem, você deve dividir o monitoramento em duas camadas:

• Monitoramento Lógico (AgentOps): Utiliza ferramentas como o Langfuse ou Arize Phoenix, que podem ser instalados via Docker Compose. Eles permitem realizar o rastreamento (tracing) passo a passo de cada "Pensamento", "Ação" e "Observação" do agente, além de monitorar o consumo de tokens e latência.
• Monitoramento de Infraestrutura: Para acompanhar o uso real de CPU e RAM por processo, recomenda-se a pilha Prometheus + Grafana, utilizando o cAdvisor para monitorar containers e o Node Exporter para as estatísticas do hardware hospedeiro.
• LLM-as-a-Judge: Para garantir que os agentes não estão alucinando, você pode configurar um modelo local menor (como o Llama Guard 3 1B) para atuar como "juiz", avaliando a qualidade e segurança das respostas dos outros agentes de forma automatizada.

3. Requisitos de Hardware para o Banco de Dados (Memória)

O banco vetorial (como o Qdrant) é onde reside a "memória de longo prazo" dos agentes. O consumo de RAM depende do número de vetores e da sua dimensão:

• Estimativa de RAM: Uma fórmula prática para estimar a memória necessária no Qdrant é:

  memory\\\_size \= \\text{nº de vetores} \\times \\text{dimensão} \\times 4 \\text{ bytes} \\times 1.5

  O multiplicador de 1.5 cobre metadados e índices. Para 1 milhão de vetores de 1024 dimensões, você precisaria de aproximadamente 5,72 GB de RAM.
• Otimização para Disco: Se a RAM for limitada, você pode configurar o banco para operar em modo on-disk, onde apenas os dados acessados frequentemente ficam na memória (cache), reduzindo drasticamente o requisito de RAM às custas de um pouco mais de latência. Recomenda-se o uso de SSDs NVMe com pelo menos 50k IOPS para manter a performance.

4. Requisitos de Hardware para Cada Agente

Em um ambiente apenas CPU, o gargalo principal é a largura de banda da RAM. Os requisitos por agente dependem do modelo escolhido:

• Modelos de 1B a 3B parâmetros (ex: Phi-3 Mini, Llama 3.2 3B): Exigem entre 4 GB e 8 GB de RAM total do sistema para rodar de forma confortável e com baixa latência.
• Modelos de 7B a 8B parâmetros (ex: Llama 3.1 8B, Qwen 2.5 7B): São o "padrão ouro" para agentes e requerem cerca de 8 GB de RAM dedicada (usando quantização de 4-bit) para o modelo e o cache de contexto.
• Execução Concorrente vs. Sequencial:
  • Se você rodar 4 agentes simultaneamente, o sistema precisará de pelo menos 32 GB de RAM para evitar travamentos.
  • Para CPU, um processador moderno de 6 núcleos (como Ryzen 5 ou Intel i5) é o mínimo recomendado para manter a responsividade enquanto os agentes processam as tarefas.
  • A velocidade esperada em uma CPU moderna com RAM DDR5 5200MHz rodando um modelo de 8B (Q8) é de aproximadamente 10 tokens por segundo, o que é suficiente para interações humanas fluidas.