Audit IA de l'avatar conversationnel de Reality Academy
Reality Academy forme aux soft skills (compétences comportementales) avec un avatar IA qui écoute, répond et évalue l'apprenant en temps réel. L'audit IA (AI audit) a mesuré chaque brique de cette chaîne de traitement, réécrit le scoring (notation) des compétences et livré une architecture cible déployable sur leurs propres serveurs (on-premise).
Contexte
Reality Academy est une startup edtech qui construit une plateforme de formation immersive : l'apprenant s'entraîne aux soft skills face à un avatar IA qui tient une conversation en direct. Derrière l'avatar, une chaîne de traitement temps réel enchaîne quatre briques : la transcription de la parole (STT, speech-to-text), la détection d'activité vocale (VAD, voice activity detection) qui gère les tours de parole, le modèle de langage (LLM) qui produit la réponse, et la synthèse vocale (TTS, text-to-speech) qui la fait entendre.
Au moment de l'audit, ces briques avaient été assemblées sans mesure. La transcription n'avait jamais été benchmarkée (mesurée face à des alternatives), le choix du LLM était arbitraire, la synthèse vocale reposait sur une API externe coûteuse et lente, et aucune détection vocale ne gérait les tours de parole. L'évaluation des compétences de l'apprenant tenait dans un seul prompt (consigne donnée au modèle) monolithique, sans métriques fiables ni scoring reproductible d'une session à l'autre. L'équipe avançait à l'aveugle sur chaque composant.
Ce qui a été construit
- J'ai décomposé la chaîne couche par couche (STT, VAD, NLP, LLM, TTS, évaluation) et benchmarké chaque brique par rapport à l'état de l'art.
- Le prompt d'évaluation a été audité en détail puis réécrit, et un référentiel de métriques soft skills fiables a été défini avec les outils correspondants, pour rendre le scoring reproductible.
- Deux preuves de concept fonctionnelles ont été livrées : une pour la transcription, une pour la détection d'activité vocale.
- L'architecture cible décrit un déploiement on-premise à coût maîtrisé, brique par brique, avec les alternatives mesurées pour chacune.
- L'équipe est repartie avec une direction technique claire sur chaque composant, le code des POC (preuves de concept) et les outils de mesure pour exécuter en autonomie.
Un besoin proche de celui de Reality Academy ?
Vingt minutes suffisent pour savoir si c'est faisable, par où commencer et à quel ordre de grandeur s'attendre.
Outils et techniques
« Super boulot. Un rapport complet et actionnable. On n'hésitera pas à recontacter Mehdi si nous avons d'autres besoins. »
