Suivi de la Performance et Amélioration Continue des Modèles

Objectifs & compétences

Public visé

Pré-requis

Programme

• Identifier et Corriger les Dérives du Modèle d’IA – 2H00 – 2
• Identifier, Définir et Évaluer les Indicateurs de Performance –4H00 – 1,2
• Choisir et Documenter le Modèle de Stockage – 2H00 – 2, 3
• Maîtriser les Techniques de Versionnage, MLOps,et Suivi des Performances – 14H00 – 1,2, 3

• Connaissances de base en intelligence artificielle et en apprentissage automatique
• Expérience préalable dans le développement ou la gestion de modèles d’IA

• Détecter les dérives du modèle causées par des évolutions dans les données (apprentissage en continu).
• Mettre en place des stratégies pour corriger ces dérives afin de maintenir la performance du modèle.

• Définition et types de dérives dans les modèles d’IA (compétence C8)
• Importance de la gestion des dérives pour la performance continue du modèle
• Exemples de dérives liées aux nouvelles données

• Techniques pour détecter les dérives dans les modèles d’IA (compétence C9)
• Outils et métriques pour surveiller les performances du modèle
• Atelier pratique : analyse de scénarios où des dérives sont présentes

• Méthodes pour ajuster les modèles face à des données nouvelles ou évolutives (compétence C9)
• Stratégies d'apprentissage en continu et mises à jour des modèles
• Cas pratique : correction de dérives dans un modèle d’IA

• Révision des concepts clés abordés
• Discussion sur les meilleures pratiques pour éviter les dérives futures
• Questions-réponses et conclusion

• Apprendre  à  identifier  les  indicateurs  de  performance  pertinents  dès  la

• Définir et mesurer ces indicateurs pour évaluer l'efficacité de la solution.

• Mettre en place une méthode pour l'analyse et la réévaluation périodique des indicateurs de performance.
• Adapter les indicateurs en fonction des résultats et des évolutions du projet.

• Définition et importance des indicateurs de performance dans le contexte des

• Types d’indicateurs : quantitatifs vs qualitatifs
• Liens avec les objectifs métiers et les cas d’usage

• Méthodes  pour  identifier  les  indicateurs  pertinents  dès  la  conception (compétence C8)
• Techniques pour définir les indicateurs et fixer des objectifs mesurables
• Atelier pratique : définition des indicateurs pour un cas d’usage spécifique

• Outils et techniques pour mesurer les indicateurs de performance (compétence C8)
• Étude de cas : application des méthodes de mesure sur des modèles d’IA

• Stratégies   pour   analyser   et   réévaluer   les   indicateurs   de   performance (compétence C9)
• Méthodes pour ajuster les indicateurs en fonction des nouvelles données ou des changements de contexte
• Atelier pratique : réévaluation des indicateurs et ajustement en fonction des résultats
•  

• Révision des concepts clés abordés
• Discussion sur les meilleures pratiques pour la gestion des indicateurs de performance
• Questions-réponses et conclusion

• Définition des modèles de stockage et leur rôle dans la gestion des données
• Types de modèles de stockage : relationnels, non relationnels, en colonnes, en lignes, etc.
• Liens avec les besoins métiers et les cas d’usage (compétence C1)

• Critères pour choisir le modèle de stockage adapté : volumétrie, type de données, fréquence des accès, etc.
• Étude de cas : choix du modèle de stockage pour différents scénarios
• Liens avec les besoins exprimés et les données sources (compétence C1 et C3)

• Importance  de  la  documentation  pour  la  maintenance  et  l’évolution  des

• Éléments clés à documenter : structure, schémas, processus de sauvegarde, etc.
• Atelier pratique : création de documentation pour un modèle de stockage choisi
• Liens avec la préparation des données et le développement de la solution (compétence C3)

• Révision des concepts clés abordés

• Discussion sur les meilleures pratiques pour le choix et la documentation des

• Questions-réponses et conclusion

• Connaissances de base en développement de modèles IA
• Familiarité avec les concepts de DevOps et les outils de versionnage
• Connaissance de base en conteneurisation (Docker) et MLOps

• Concepts de versionnage de modèles IA
• Techniques et outils pour la mise en production (Git, GitLab, etc.)
• Cas pratique : Versionner et déployer un modèle IA
• Liens  avec  l’intégration  des  briques  technologiques  dans  l’environnement

• Introduction à MLOps et ses principes fondamentaux
• Utilisation de frameworks MLOps (MLFlow, Kubeflow, etc.)
• Conteneurisation avec Docker pour les modèles IA
• Articulation avec les techniques DevOps : CI/CD pour les modèles IA
• Cas pratique : Déployer un modèle IA avec MLFlow et Docker

• Liens avec la conception et l’évaluation de l’architecture cible (compétence C7)

• Conception de tableaux de bord pour le suivi des performances des modèles
• Outils et techniques pour la création de dashboards (Grafana, Tableau, etc.)
• Cas pratique : Développer un tableau de bord pour un modèle IA en production
• Liens avec la mesure de la performance et  des impacts de la solution IA (compétence C8)
•  

• Collecte et intégration des retours utilisateurs pour améliorer le modèle
• Gestion des limites d’utilisation et retour du contrôle vers un humain
• Étude de cas  : Adapter le modèle  en fonction des  retours  et  des  limites identifiées
• Liens avec l’identification des risques éthiques et sociétaux (compétence C2)

• Révision des concepts clés abordés
• Discussion sur les meilleures pratiques et les défis rencontrés
• Questions-réponses et conclusion

Modalités

Les certifications