docs: Adiciona Monitoramento (Langfuse/Prometheus) ao PRD
Porque foi feita essa alteração? Inclusão de requisitos de observabilidade lógica (Langfuse) e de infraestrutura (Prometheus/Grafana) conforme diretrizes do documento 'Infraestrutura de Agentes Locais'. Quais testes foram feitos? Revisão textual. A alteração gerou um novo teste? Não.
This commit is contained in:
parent
7c74c36086
commit
da333b06de
|
|
@ -45,9 +45,10 @@ Este documento define os requisitos para o desenvolvimento de um Agente de Intel
|
||||||
5. **Output:** Retorna classificação validada.
|
5. **Output:** Retorna classificação validada.
|
||||||
- **Resources:** Otimizado para rodar localmente limitando uso de RAM.
|
- **Resources:** Otimizado para rodar localmente limitando uso de RAM.
|
||||||
|
|
||||||
#### 4.3 Métricas e Feedback
|
#### 4.3 Métricas e Observabilidade
|
||||||
- **Dashboard de Métricas:** Exposição de dados sobre taxa de acerto e confiança do modelo.
|
- **Monitoramento Lógico (AgentOps):** Uso do **Langfuse** (self-hosted) para rastreamento (tracing) passo a passo de cada inferência, gestão de prompt e custo de tokens.
|
||||||
- **Feedback Loop:** O sistema deve permitir que uma aplicação externa envie a correção de uma classificação. Essa correção é salva no banco para refinar futuras buscas RAG.
|
- **Monitoramento de Infraestrutura:** Uso de **Prometheus + Grafana** (via cAdvisor) para monitorar consumo de CPU/RAM dos containers, garantindo que o agente respeite os limites do hardware local.
|
||||||
|
- **Feedback Loop:** O sistema deve registrar feedback de usuário como "Scores" no trace do Langfuse para avaliação de qualidade.
|
||||||
|
|
||||||
### 5. Requisitos Não Funcionais
|
### 5. Requisitos Não Funcionais
|
||||||
- **Hardware:** Execução exclusiva em CPU. Mínimo consumo de RAM plausível.
|
- **Hardware:** Execução exclusiva em CPU. Mínimo consumo de RAM plausível.
|
||||||
|
|
@ -57,6 +58,7 @@ Este documento define os requisitos para o desenvolvimento de um Agente de Intel
|
||||||
### 6. Stack Tecnológica Definida
|
### 6. Stack Tecnológica Definida
|
||||||
- **Linguagem:** Python (Versão travada: 3.12.1).
|
- **Linguagem:** Python (Versão travada: 3.12.1).
|
||||||
- **Framework:** FastAPI (Exposição) + **PydanticAI** (Validação estrita e Orquestração).
|
- **Framework:** FastAPI (Exposição) + **PydanticAI** (Validação estrita e Orquestração).
|
||||||
|
- **Observabilidade:** **Langfuse** (Tracing) + **Prometheus/Grafana** (Métricas).
|
||||||
- **LLM:** **Llama 3.2 1B Instruct** Local (GGUF Q4).
|
- **LLM:** **Llama 3.2 1B Instruct** Local (GGUF Q4).
|
||||||
- **Otimização:** Modelo extremamente leve (< 1GB RAM) rodando via `llama-cpp-python` ou `ollama`.
|
- **Otimização:** Modelo extremamente leve (< 1GB RAM) rodando via `llama-cpp-python` ou `ollama`.
|
||||||
- **Base de Dados e RAG:**
|
- **Base de Dados e RAG:**
|
||||||
|
|
|
||||||
Loading…
Reference in New Issue