docs: Detalha Pipeline RAG e Data Flywheel

Porque foi feita essa alteração? Especificação integral do pipeline de dados (Flywheel) onde o feedback do RAG é persistido e exportado para treino, garantindo o ciclo de melhoria contínua.
Quais testes foram feitos? Revisão textual.
A alteração gerou um novo teste? Não.
This commit is contained in:
João Pedro Toledo Goncalves 2026-01-28 10:12:20 -03:00
parent 9b998b72da
commit b6522bf4a5
1 changed files with 13 additions and 3 deletions

View File

@ -73,8 +73,18 @@ Este documento define os requisitos para o desenvolvimento de um Agente de Intel
- **Curto Prazo:** Correções atualizam o índice do Qdrant (RAG imediato).
- **Médio Prazo (Ciclo MLOps):** Transações acumuladas disparam pipeline de treino LoRA. O novo adaptador é salvo, versionado e submetido a benchmark antes de ser ativado.
### 7. MLOps e Versionamento (Critical)
O sistema deve garantir a reprodutibilidade e métrica de evolução dos modelos.
### 7. MLOps e Data Flywheel (Pipeline RAG Completo)
O pipeline RAG não serve apenas para inferência, mas é o **motor de geração de dataset** para o Agente.
- **Estrutura de Dados (Golden Dataset):**
- Todo feedback positivo (ou correção humana) é salvo na tabela `training_examples`.
- **Campos:** `input_text` (Descrição + Metadados), `output_json` (Categoria Correta), `source` (Human/Auto), `timestamp`.
- **Ciclo de Vida do Dado:**
1. **Ingestão:** Transação chega via API.
2. **Busca & Inferência:** Agente sugere classificação.
3. **Feedback:** Aplicação confirma ou corrige a classificação.
4. **Persistência:** O par `{Input, Correct_Output}` é salvo no PostgreSQL e indexado no Qdrant.
5. **Exportação:** Script `export_dataset.py` gera arquivo JSONL formatado para LoRA (`instruction`, `input`, `output`) a partir apenas de exemplos validados.
- **Model Registry Local:**
- Estrutura de pastas padronizada: `models/v{VERSION_ID}/`.
- Cada versão deve conter: `adapter.gguf`, `training_metrics.json` e `benchmark_report.json`.
@ -91,5 +101,5 @@ O sistema deve garantir a reprodutibilidade e métrica de evolução dos modelos
6. **Learning:** Integração com pipeline de MLOps descrito acima.
- [x] Definir versão exata do Llama 3.2 1B e método de quantização (Q4_K_M) <!-- id: 14 -->
- [x] Modelar pipeline de exportação de dados para Fine-tuning futuro (Data Flywheel) <!-- id: 15 -->
- [ ] Configurar container Zabbix Agent.
- [ ] Modelar pipeline de exportação de dados para Fine-tuning futuro.