Le cluster Spark managé Databricks est l'environnement idéal pour travailler des volumes de données importants et stockés par exemple sur un Data Lake Azure. Les notebooks permettent de suivre simplement le bon déroulé d'un pipeline complet. Mais il ne faut pas oublier pour autant de conserver une trace des différents entrainements : hyperparamètres, modèle obtenu et serialisé par exemple en pickle, métriques de performance. Tout ceci se fait simplement à l'aide de l'outil Open Source mlFlow intégré dans Databricks. Nous verrons son usage au travers d'une démonstration complète.

Conserver une trace des différents entrainements : hyperparamètres, modèle serialisé, métriques de performance grâce à mlFlow sur Azure Databricks