Skip to main content
Voltar para Projetos

Sistema de Conhecimento em Produção

Arquitetura e implementação em andamento de um sistema de conhecimento multi-fonte: normalização de ingestão, consolidação de memória e queryabilidade semântica.

PythonRAGVector DBConsolidação de MemóriaFastAPISistemas Agênticos

Overview

Construir um sistema de conhecimento de nível produção obriga a enfrentar problemas que a maioria dos tutoriais de RAG ignora completamente: como lidar com conhecimento que muda ao longo do tempo? O que acontece quando um novo documento contradiz um mais antigo? Como ingerir de fontes heterogêneas — documentos, notas, conversas, código — sem escrever um parser específico para cada uma? A arquitetura se concentra em três problemas: normalização de ingestão (um esquema comum independente do formato de origem), consolidação de memória (detectar e resolver quando novo conhecimento substitui entradas mais antigas) e roteamento de consultas (combinando similaridade semântica com recuperação estruturada). O pipeline de ingestão processa o conteúdo bruto por uma camada de normalização antes do embedding, de modo que a busca vetorial opera sobre unidades de conhecimento limpas e padronizadas, e não sobre fragmentos brutos de documentos. O armazenamento com endereçamento por conteúdo via hashes evita re-embeddings duplicados e habilita atualizações incrementais eficientes. A arquitetura está totalmente projetada e documentada; o pipeline central de ingestão e a camada de embedding estão construídos. A consolidação de memória — a parte mais difícil — está em desenvolvimento ativo. O trabalho de design veio diretamente da entrega de um sistema de conhecimento em produção em contexto comercial, e a implementação pessoal é o espaço para resolver os problemas restantes adequadamente, sem a pressão de produção restringindo o espaço de solução. Este projeto faz uma afirmação específica: engenharia agêntica sênior é saber quais problemas já estão resolvidos e quais exigem design real. Os problemas resolvidos — chunking, embedding, recuperação vetorial — são tratados pelo ferramental existente. Os problemas não resolvidos — detecção de substituição, consolidação entre fontes, atualidade do conhecimento — são onde a engenharia de fato acontece. Esta implementação torna essa distinção visível.

Technical Stack

IA/ML

  • ▸OpenAI Embeddings
  • ▸ChromaDB
  • ▸Sentence Transformers
  • ▸LangChain
  • ▸Busca Semântica

Backend

  • ▸Python
  • ▸FastAPI
  • ▸SQLAlchemy
  • ▸AsyncIO
  • ▸PostgreSQL

Infraestrutura

  • ▸Docker
  • ▸Celery
  • ▸Redis
  • ▸Mac Mini (auto-hospedado)

Key Features

✓

Pipeline de ingestão agnóstico à fonte que normaliza documentos, notas, conversas e código para um esquema comum antes do embedding

✓

Armazenamento com endereçamento por conteúdo via SHA-256 para pular re-embedding de duplicatas exatas em atualizações incrementais

✓

Motor de consolidação de memória que detecta quando o conhecimento recebido substitui ou contradiz entradas existentes

✓

Roteamento de consultas híbrido semântico e por palavra-chave para recuperação de alta revocação com re-ranqueamento de precisão

✓

Indexação incremental sem re-embedding completo — apenas unidades alteradas acionam novas chamadas de embedding

✓

Pipeline de processamento assíncrono desacoplando o throughput de ingestão da latência de embedding

✓

Detecção de contradição entre fontes como preocupação de design de primeira classe, não um caso marginal

Code Examples

Technical Challenges

▪

Projetar consolidação de memória que detecte substituição de forma confiável sem falsos positivos — especialmente quando o conhecimento é implícito e nenhum documento referencia outro

▪

Construir uma estratégia de chunking que preserve contexto suficiente para embedding preciso enquanto mantém as unidades pequenas o suficiente para recuperação precisa

▪

Tratar formatos de fonte heterogêneos por meio de um esquema normalizado único sem perder estrutura relevante para a recuperação downstream

▪

Atualizações incrementais em armazenamentos vetoriais que não suportam nativamente re-indexação parcial no nível da unidade

Project Outcomes

Totalmente projetada e documentada
Arquitetura
Ingestão, normalização e embedding construídos
Pipeline central
Consolidação de memória em desenvolvimento ativo
Status