Audit IA : en 3 semaines, vous savez pourquoi votre système bloque et comment avancer
Un audit IA (AI audit) sérieux se construit sur votre codebase, vos données et vos contraintes métier : recommandations d'architecture précises, benchmarks (comparatifs mesurés) par rapport à l'état de l'art, feuille de route priorisée et preuve de concept qui montre le résultat sur vos propres données. Cette page décrit ce qu'un bon audit doit contenir, comment il se déroule et comment choisir qui le réalise.
Mehdi Challakh, ingénieur IA freelance. Plus de 8 ans en IA de production, 28 systèmes déployés, deux produits IA exploités en propre. Un diagnostic actionnable de votre système IA, avec la preuve que la direction proposée fonctionne sur vos données.
- Un diagnostic couche par couche, dans votre code
- Des benchmarks sur vos données, jamais sur des exemples génériques
- Des recommandations d'architecture justifiées par les mesures
- Une feuille de route priorisée, avec charge et délai
Ils m'ont confié leur système IA
Trois situations qui reviennent dans presque tous mes appels
Votre équipe tourne en rond depuis des mois
À chaque sprint (cycle de travail d'une semaine), quelqu'un propose une nouvelle approche : autre modèle d'embeddings (représentation vectorielle du texte), autre stratégie de découpage, encore un framework (boîte à outils logicielle). Trois mois plus tard, tout a été essayé et rien ne s'est amélioré. Vos ingénieurs sont compétents, aucun d'eux n'a encore déployé ce type de système.
Vous avez dépensé plus de 30 000 € sans savoir quoi construire ensuite
Un prestataire ou une agence IA a livré un prototype qui fonctionne en démonstration et casse en production. Personne ne sait dire si le problème vient des données, du modèle, du retrieval (recherche des passages pertinents) ou de l'architecture, ni combien coûterait la correction.
Une décision structurante attend un avis extérieur
Modèle ouvert hébergé chez vous ou API américaine, RAG (recherche augmentée par génération) ou fine-tuning (réentraînement du modèle), agent ou simple automatisation : la direction doit trancher et l'équipe n'a pas de base mesurée pour recommander. Chaque semaine d'attente coûte du temps de développement.
Ce qu'un bon audit IA doit contenir
Un diagnostic couche par couche, dans votre code
Ingestion, indexation, retrieval, prompts (consignes données au modèle), orchestration, évaluation, exploitation : chaque couche est lue dans votre code et testée sur vos données, avec des constats chiffrés. Un audit qui se contente d'entretiens et de slides passe à côté de l'essentiel.
Des benchmarks sur vos données, jamais sur des exemples génériques
Les alternatives crédibles (modèles, stratégies de retrieval, découpage, OCR) sont mesurées sur un jeu de test construit à partir de vos cas réels. Les chiffres publiés par les éditeurs ne disent rien de ce qui marchera sur vos documents.
Des recommandations d'architecture justifiées par les mesures
Une cible technique précise : ce qu'il faut garder, remplacer, ajouter, et dans quel ordre. Chaque choix renvoie à une mesure, pour que votre équipe puisse le contester ou le reproduire.
Une feuille de route priorisée, avec charge et délai
Les chantiers classés par impact et par effort, avec une estimation de charge et de délai pour chacun, exploitable par votre équipe ou par un prestataire de votre choix.
Une preuve de concept sur données réelles
Le premier chantier de la feuille de route est prototypé sur vos données, pour montrer le résultat avant tout engagement de développement. Un audit sans POC (preuve de concept) laisse la décision au ressenti.
Un cadre d'évaluation réutilisable
Jeu de test, métriques et scripts d'évaluation restent chez vous : chaque modification future pourra être mesurée avant et après. C'est le livrable qui rend l'audit utile au-delà de la restitution.
Une restitution à la direction, en langage clair
Une présentation d'une heure pour que les décideurs comprennent les constats, les options et l'ordre de grandeur de budget de chaque option, sans jargon.
Un rapport écrit et du code livré
Rapport complet, scripts de benchmark et code du POC, documentés, que votre équipe reprend tels quels. Rien ne doit dépendre de l'auditeur ensuite.
Du premier appel à la mise en production
Appel de 20 minutes
Vous décrivez votre système, votre équipe et votre échéance. On sort de l'appel avec le périmètre de l'audit, les accès nécessaires et une date de démarrage. Si l'audit n'est pas la bonne réponse, je vous le dis.
Livrable : Périmètre écritLecture du système et premiers constats
Accès au code, aux données et à l'infrastructure, sous accord de confidentialité. Diagnostic couche par couche, reproduction des problèmes, construction du jeu de test à partir de vos cas réels. À la fin de la semaine, les premiers constats sont présentés et la direction est validée avec vous.
Livrable : Premiers constatsBenchmarks et architecture cible
Les alternatives sont mesurées sur votre jeu de test. Les recommandations d'architecture et la feuille de route priorisée sont rédigées à partir des chiffres, avec charge et délai par chantier.
Livrable : Feuille de routePreuve de concept et restitution
Le premier chantier est prototypé sur vos données réelles. Restitution d'une heure à la direction et à l'équipe, à distance ou dans vos locaux, remise du rapport, du code et du cadre d'évaluation.
Livrable : POC, rapport, codeVous vous reconnaissez dans l'une de ces situations ?
Vingt minutes suffisent pour savoir si c'est faisable, par où commencer et à quel ordre de grandeur s'attendre.
La même équipe, avant et après
Avant
- Des mois de sprints, aucune amélioration mesurable du système.
- Impossible de dire si la dernière modification a amélioré ou dégradé les résultats.
- Les choix d'architecture se prennent au ressenti, ou attendent un expert disponible.
- Le système fonctionne en démonstration et casse en production, sans explication.
- Le budget de la suite est inconnu, donc rien n'est décidé.
Après
- Un diagnostic chiffré, couche par couche, dans votre propre code.
- Un jeu de test et des métriques : chaque changement est mesuré avant et après.
- Une architecture cible justifiée par des benchmarks sur vos données.
- Une feuille de route avec charge et délai par chantier, exploitable dès la semaine suivante.
- Un POC qui montre le résultat, et une équipe qui sait quoi faire ensuite.
Conçu pour les entreprises qui veulent un résultat en production
Un système IA existe déjà
RAG, assistant, agent, extraction documentaire, modèle de classification : quelque chose a été construit, en interne ou par un prestataire, et ne donne pas les résultats attendus.
Une équipe technique est en place
Des développeurs ou des data scientists qui reprendront la feuille de route et le code. L'audit leur donne la direction et les outils de mesure.
Une décision doit être prise rapidement
Continuer, réécrire, changer de modèle, internaliser ou externaliser : la direction a besoin d'une base mesurée sous trois semaines.
Pas pour vous si
- Aucun système IA n'existe encore et vous cherchez à en construire un : un projet de développement sur mesure est plus adapté.
- Vous voulez une formation générale à l'IA plutôt qu'un diagnostic de votre système.
- L'accès au code et aux données ne peut pas être accordé, même sous accord de confidentialité.
Des systèmes qui tournent, avec de vrais utilisateurs
Delibia
Cas client Delibia (govtech, 1 200 collectivités) : RAG sur 2,7 millions de délibérations réparé et industrialisé, retrieval 53 à 93 %, +388 % d'utilisateurs.
Lokimo
Cas client Lokimo (PropTech) : audit IA de l'extraction de règles d'urbanisme depuis des PLU scannés, comparatif OCR, benchmark de découpage, 3 POC en Python.
Hellopro
Cas client Hellopro (marketplace B2B, 15 000 fournisseurs, 800 000 références) : audit IA, architecture de recherche sémantique et matching, POC en 1 mois.
Ce que disent ceux qui ont travaillé avec moi
« Mehdi a su décomposer un problème complexe en briques claires, avec des benchmarks concrets et du code qu'on a pu reprendre directement. Exactement ce qu'il nous fallait pour avancer. »
Martin NoëlLokimo« Des retours très complets et des travaux très utiles pour améliorer notre produit. L'équipe travaille déjà sur l'implémentation de toutes les recommandations. »
Léo GuittetTripalio« Excellente collaboration avec Mehdi qui a fait preuve d'un grand professionnalisme tout au long de la mission. Force de proposition, très réactif, arrangeant et très pertinent. Je recommande sans hésitation. »
Stephen VignalBatexaQuestions fréquentes sur l'audit IA
Combien coûte un audit IA ?
Comment choisir un prestataire pour un audit IA ?
Quels types de systèmes IA sont audités ?
Faut-il donner accès au code et aux données ?
Combien de temps dure un audit IA ?
Que se passe-t-il après l'audit ?
Un audit IA est-il utile avant de lancer un projet ?
Pour aller plus loin
Parlons de votre projet IA en 20 minutes.
Vous décrivez votre situation, je vous dis ce qui est faisable, par où commencer et avec quels ordres de grandeur. Si une autre approche ou un autre prestataire convient mieux, je vous le dis aussi.
Réserver un appel de 20 minutesSans engagement. Créneau à choisir directement dans l'agenda.