kfabric

KFabric est une plateforme Python-first de fabrication de corpus documentaires. Le projet vise un problème très concret : aider à construire un corpus traçable, pondéré et réutilisable à partir de sources hétérogènes, avant même de brancher un assistant RAG conversationnel.

Au lieu de passer directement du web au chat, KFabric se concentre d'abord sur la qualité du matériau documentaire :

• découverte de documents candidats
• collecte et normalisation
• scoring et décision documentaire
• récupération de fragments utiles dans des documents rejetés
• consolidation et synthèse
• préparation d'artefacts indexables pour des usages RAG futurs

Dans beaucoup de pipelines RAG, la vraie faiblesse n'est pas le modèle mais le corpus. KFabric part de l'idée inverse :

• un bon corpus vaut mieux qu'une mauvaise conversation bien emballée
• les documents faibles contiennent parfois des signaux utiles à sauver
• la traçabilité et la prudence documentaire doivent exister dès le MVP
• un serveur MCP et une API REST doivent exposer exactement le même coeur métier

Le MVP actuel couvre déjà un flux bout en bout :

1. créer une requête documentaire
2. découvrir des documents candidats
3. collecter et parser un document
4. attribuer un score global et des sous-scores
5. accepter, rejeter, ou rejeter avec récupération partielle
6. consolider les fragments sauvés
7. générer une synthèse documentaire prudente
8. construire un corpus final
9. préparer un artefact d'indexation

• API REST FastAPI pour piloter le pipeline corpus
• serveur MCP natif en Python
• workers Celery pour les traitements longs
• UI légère en Jinja2, HTMX et Alpine.js
• modèles SQLAlchemy 2 et migration Alembic initiale
• mode sécurisé activé par défaut
• approche corpus-first avant chat RAG complet

Le projet est structuré comme un monolithe modulaire Python :

• `kfabric/api` : routes REST, dépendances, sérialisa