Audit IA chez Kolverr : un diagnostic clair, repris par l'équipe
Kolverr, une startup, m'a confié l'audit IA (AI audit) de son système. Trois semaines plus tard, l'équipe disposait d'un rapport complet et actionnable, avec des constats validés ensemble dès la première semaine. Cette page décrit la méthode appliquée, sans détail confidentiel.
realisation
- Python (scripts de benchmark)
- Jeu de test sur données réelles
- Rapport écrit et feuille de route priorisée
Contexte
Kolverr est une startup qui m'a confié l'audit de son système IA. Les détails du produit restent confidentiels ; cette page décrit la méthode appliquée et ce que l'équipe a reçu à la fin. La question posée était celle de toute équipe dans cette situation : ce qui existe est-il sur la bonne voie, qu'est-ce qui bloque réellement, et dans quel ordre traiter les chantiers.
Un audit IA chez une startup a une contrainte particulière : l'équipe est petite, le temps de développement est compté, et chaque semaine passée à hésiter coûte une itération produit. Le format court, au forfait, avec des constats présentés dès la première semaine, est pensé pour cela.
Ce qui a été construit
- La première semaine a été consacrée à la lecture du système en place : code, données, prompts (consignes données au modèle), infrastructure, sous accord de confidentialité.
- Un jeu de test a été construit à partir de cas réels de Kolverr, pour que chaque constat repose sur une mesure plutôt que sur une impression.
- À la fin de la première semaine, les premiers constats ont été présentés à l'équipe et la direction de l'audit a été validée avec elle.
- Les deuxième et troisième semaines ont servi aux benchmarks (comparatifs mesurés) des alternatives crédibles, aux recommandations d'architecture et à la feuille de route priorisée, chantier par chantier, avec charge et délai.
- La restitution a été faite en langage clair, pour l'équipe technique comme pour la direction, et le rapport complet et actionnable a été remis puis repris par l'équipe.
Un besoin proche de celui de Kolverr ?
Vingt minutes suffisent pour savoir si c'est faisable, par où commencer et à quel ordre de grandeur s'attendre.
Outils et techniques
« Nous sommes totalement satisfaits de notre collaboration avec Mehdi, qui a été clair, pédagogue, ponctuel. »
