Audit IA de l'extraction documentaire de Tripalio
Tripalio est une legaltech spécialisée dans les conventions collectives et les données sociales. Son système d'extraction de prestations produisait des résultats instables d'une exécution à l'autre. L'audit IA (AI audit) a identifié les causes racines à chaque étape et livré une refonte documentée que l'équipe implémente.
realisation
- Document AI (extraction JSON structurée)
- LLM (modèle de langage)
- Embeddings et mots-clés (signaux additionnels)
Contexte
Tripalio traite des conventions collectives et des contrats de complémentaire santé pour en extraire les prestations et les rapprocher d'une nomenclature de référence. Le système en place convertissait les PDF en images, envoyait ces images à un modèle de langage (LLM), puis tentait de faire correspondre les prestations extraites aux entrées de la nomenclature.
Les symptômes étaient ceux d'un système IA construit sans mesure : hallucinations fréquentes, correspondance erratique entre prestations et nomenclature, et résultats différents d'une exécution à l'autre sur le même document. Pour un produit juridique, cette absence de reproductibilité rendait chaque sortie difficile à vérifier.
Ce qui a été construit
- J'ai remonté chaque étape de la chaîne de traitement pour en isoler la cause racine : la conversion des PDF en images introduisait de la variabilité dès l'entrée, les prompts (consignes données au modèle) cumulaient plusieurs responsabilités dans un seul appel, et un filtrage par signaux additionnels (mots-clés, embeddings, c'est-à-dire représentations vectorielles du texte) éliminait des résultats corrects avant même que le modèle ne les voie.
- La nomenclature elle-même a été analysée : une large part des entrées n'avait ni mots-clés, ni description, ni relation structurelle, ce qui rendait la correspondance impossible à fiabiliser.
- Les livrables couvrent l'ensemble : refonte architecturale documentée avec les diagrammes de l'existant et de la cible, migration vers une extraction JSON structurée via Document AI avec classification par bloc, et réécriture complète des prompts accompagnée d'un guide de prompt engineering appliqué à leur cas.
- Plusieurs architectures de signaux additionnels ont été comparées, un plan d'enrichissement de la nomenclature rédigé, et une stratégie de gestion du contexte par spécialité définie.
- Un sprint (cycle de travail) court a été cadré pour établir une baseline (niveau de référence mesuré) avant toute optimisation, et l'équipe a commencé l'implémentation dès la livraison.
Un besoin proche de celui de Tripalio ?
Vingt minutes suffisent pour savoir si c'est faisable, par où commencer et à quel ordre de grandeur s'attendre.
Outils et techniques
« Des retours très complets et des travaux très utiles pour améliorer notre produit. L'équipe travaille déjà sur l'implémentation de toutes les recommandations. »
