Sistema de Conhecimento em Produção
Arquitetura e implementação em andamento de um sistema de conhecimento multi-fonte: normalização de ingestão, consolidação de memória e queryabilidade semântica.
Overview
Construir um sistema de conhecimento de nível produção obriga a enfrentar problemas que a maioria dos tutoriais de RAG ignora completamente: como lidar com conhecimento que muda ao longo do tempo? O que acontece quando um novo documento contradiz um mais antigo? Como ingerir de fontes heterogêneas — documentos, notas, conversas, código — sem escrever um parser específico para cada uma? A arquitetura se concentra em três problemas: normalização de ingestão (um esquema comum independente do formato de origem), consolidação de memória (detectar e resolver quando novo conhecimento substitui entradas mais antigas) e roteamento de consultas (combinando similaridade semântica com recuperação estruturada). O pipeline de ingestão processa o conteúdo bruto por uma camada de normalização antes do embedding, de modo que a busca vetorial opera sobre unidades de conhecimento limpas e padronizadas, e não sobre fragmentos brutos de documentos. O armazenamento com endereçamento por conteúdo via hashes evita re-embeddings duplicados e habilita atualizações incrementais eficientes. A arquitetura está totalmente projetada e documentada; o pipeline central de ingestão e a camada de embedding estão construídos. A consolidação de memória — a parte mais difícil — está em desenvolvimento ativo. O trabalho de design veio diretamente da entrega de um sistema de conhecimento em produção em contexto comercial, e a implementação pessoal é o espaço para resolver os problemas restantes adequadamente, sem a pressão de produção restringindo o espaço de solução. Este projeto faz uma afirmação específica: engenharia agêntica sênior é saber quais problemas já estão resolvidos e quais exigem design real. Os problemas resolvidos — chunking, embedding, recuperação vetorial — são tratados pelo ferramental existente. Os problemas não resolvidos — detecção de substituição, consolidação entre fontes, atualidade do conhecimento — são onde a engenharia de fato acontece. Esta implementação torna essa distinção visível.
Technical Stack
IA/ML
- ▸OpenAI Embeddings
- ▸ChromaDB
- ▸Sentence Transformers
- ▸LangChain
- ▸Busca Semântica
Backend
- ▸Python
- ▸FastAPI
- ▸SQLAlchemy
- ▸AsyncIO
- ▸PostgreSQL
Infraestrutura
- ▸Docker
- ▸Celery
- ▸Redis
- ▸Mac Mini (auto-hospedado)
Key Features
Pipeline de ingestão agnóstico à fonte que normaliza documentos, notas, conversas e código para um esquema comum antes do embedding
Armazenamento com endereçamento por conteúdo via SHA-256 para pular re-embedding de duplicatas exatas em atualizações incrementais
Motor de consolidação de memória que detecta quando o conhecimento recebido substitui ou contradiz entradas existentes
Roteamento de consultas híbrido semântico e por palavra-chave para recuperação de alta revocação com re-ranqueamento de precisão
Indexação incremental sem re-embedding completo — apenas unidades alteradas acionam novas chamadas de embedding
Pipeline de processamento assíncrono desacoplando o throughput de ingestão da latência de embedding
Detecção de contradição entre fontes como preocupação de design de primeira classe, não um caso marginal
Code Examples
Technical Challenges
Projetar consolidação de memória que detecte substituição de forma confiável sem falsos positivos — especialmente quando o conhecimento é implícito e nenhum documento referencia outro
Construir uma estratégia de chunking que preserve contexto suficiente para embedding preciso enquanto mantém as unidades pequenas o suficiente para recuperação precisa
Tratar formatos de fonte heterogêneos por meio de um esquema normalizado único sem perder estrutura relevante para a recuperação downstream
Atualizações incrementais em armazenamentos vetoriais que não suportam nativamente re-indexação parcial no nível da unidade