Delibia : un RAG govtech réparé en 3 semaines, puis industrialisé sur 12 mois
Delibia met l'IA au service de 1 200 collectivités. Leur assistant de recherche augmentée par génération (RAG) sur 2,7 millions de délibérations ne répondait plus. Un audit IA a trouvé les causes, puis 12 mois d'accompagnement ont transformé le système en produit mesuré, avec un modèle d'embedding (représentation vectorielle du texte) entraîné sur leurs données et deux nouveaux systèmes en production.
Contexte
Delibia est une govtech qui donne aux collectivités un accès en langage naturel aux délibérations publiques : 2,7 millions de documents issus de 1 200 communes et intercommunalités. Le produit reposait sur un RAG construit en interne. Au moment du premier appel, la majorité des questions posées par les agents ne trouvaient aucune réponse, et les réponses obtenues étaient souvent hors sujet. L'équipe avait testé plusieurs modèles et plusieurs réglages sans résultat mesurable, et la croissance de la base utilisateurs était bloquée.
La direction cherchait un avis extérieur capable de lire le code, de mesurer et de trancher vite. Elle a choisi un freelance IA plutôt qu'une agence IA pour une raison simple : la même personne devait poser le diagnostic, prototyper la correction et rester disponible ensuite. Le format retenu a été l'audit IA de 3 semaines, puis un accompagnement mensuel de 12 mois lorsque les chantiers ont dépassé le périmètre de l'audit.
Ce qui a été construit
- L'audit a suivi la chaîne de bout en bout, de l'ingestion à la réponse : une grande partie du corpus n'était pas indexée, le retrieval (recherche des passages pertinents) était mal configuré, les prompts (consignes données au modèle) mélangeaient plusieurs responsabilités et aucune couche de routage n'interprétait l'intention de la question.
- Un jeu de test construit à partir de questions réelles d'agents municipaux a servi de base à un cadre d'évaluation LLM-as-a-judge (un modèle juge note chaque réponse), rejoué à chaque itération pendant toute la mission.
- Les correctifs prioritaires (réindexation complète, reconfiguration du retrieval, réécriture des prompts, routage des questions) ont été prototypés pendant la troisième semaine et poussés en production dans les jours qui ont suivi.
- Pendant l'accompagnement, j'ai entraîné un modèle d'embedding sur leur corpus privé, servi en inférence locale : 4 fois plus léger que bge-m3 pour 95 % de top-100, avec un rapport de fine-tuning (réentraînement du modèle sur leurs données) et un rapport d'évaluation qui ont contribué à débloquer plus de 100 000 € de subventions recherche.
- J'ai ensuite construit un assistant agentique (capable d'agir seul) de complétion de formulaires municipaux, aujourd'hui en production, puis un système d'extraction documentaire privé (OCR pour la reconnaissance de caractères, analyse de mise en page, entités nommées) qui traite 200 000 documents par semaine.
- Chaque sprint (cycle de travail) hebdomadaire s'est terminé par une revue de code avec l'équipe, qui maintient aujourd'hui l'ensemble sans dépendre de moi.
Un besoin proche de celui de Delibia ?
Vingt minutes suffisent pour savoir si c'est faisable, par où commencer et à quel ordre de grandeur s'attendre.
Outils et techniques
« Mehdi a été force de proposition dans la résolution de notre problématique. Il a été réactif et a livré les travaux dans les délais escomptés. Nous n'hésiterons pas à faire appel à lui de nouveau si besoin. »
