MLOps - Comprendre et répondre à la dégradation des modèles de machine learning en production

Déployer des modèles de machine learning en production, ce n’est jamais vraiment “terminé”. ll arrive fréquemment qu’un modèle soit performant - exemple : 90 % de précision - lors des phases d’entraînement et de validation, et voie ses performances se dégrader progressivement en production. Après quelques semaines ou quelques mois, on constate une baisse significative de cette performance (parfois jusqu’à 60 %) avec un impact direct sur la qualité du service rendu aux utilisateurs ou aux systèmes qui en dépendent.

Dans cette présentation, nous nous intéressons à ce qui se passe après le déploiement. En une vingtaine de minutes, nous verrons comment suivre et évaluer correctement les performances d’un modèle en production, identifier les causes les plus courantes de leur dégradation (évolution des données, changements d’usage, biais, dérive du modèle, etc.) et, surtout, quelles actions mettre en place pour y remédier.

Cette présentation s’adresse à un public de niveau débutant à intermédiaire, intéressé de près ou de loin par le machine learning. Aucune connaissance approfondie en MLOps n’est nécessaire pour suivre.