Il y a 5 ans, nous avons fait le pari de mettre en place un datahub basé uniquement sur des services PaaS avec en son cœur le service Azure CosmosDB.

5 ans après, beaucoup de choses ont changé : les services Azure ont évolué, les partenaires ont changé, les usages se sont transformés et du coup l'architecture a dû évoluer. Mais l'esprit initial du datahub est resté sans concessions : Zéro VMs, Serverless As Possible, DevOps, FinOps et Observabilité. Entre la COVID qui a profondément bouleversé les habitudes de consommation et les nouveaux enjeux liés à l'IA dans le retail, les 5 dernières années ont été mouvementées.

Embarquez à bord, nous allons décrocher les amarres. Venez découvrir les aventures d'un datahub sur 5 ans avec ses succès, ses bonnes surprises, mais aussi ses galères.

Durée : 55 min

Matériel :
Powerpoint, Video-projecteur ou TV

Sommaire :

Contexte : Il y a 5 ans, nous avons imaginé un datahub sur Azure (5 minutes)
- Les enjeux du client,
- Les contraintes

Solution : Les concepts fondateurs (5 minutes)
- Le DataMesh et la théorie des caravelles,
- Les principes d'un datahub, ou comment adapter sa voilure et son tirant d'eau.

Retour d'expérience : Journal de bord du datahub (30 minutes)
- Année 1 (2019) : À nous la mer ! Nous découvrons la mer et ses premiers dangers.
"Les premiers use-cases, les premiers flux métiers, les premiers succès, les premiers écueils. Comment apprendre activement ?"

- Année 2 (2020) : Cap du chamboultout ! Nous entrons dans un monde totalement inexploré et nous devons nous adapter.
"La COVID change les comportements des utilisateurs et le datahub est impacté. Comment s'adapter rapidement ?"

- Année 3 (2021) : Entre 40ᵉ rugissant et 50ᵉ hurlants, nous devons maintenir le cap.
"Le datahub a maintenant évolué et gère de nombreux flux métier. Comment rendre celui-ci le plus efficient possible ?"

- Année 4 (2022) : Cap du Minotaure. Comment ne pas se perdre dans ce labyrinthe d'iles ?
"De grands bouleversements dans le SI nécessite d’apporter des évolutions majeures dans le datahub. Comment implémenter ces nouveaux flux efficacement ?"

- Année 5 (2023) : La traversée de l'archipel des chimères. Comment sortir de l'impasse et repartir de l'avant ?
"Les évolutions majeures ont engendré des problématiques inattendues : performance, fiabilité, intégrité des données, optimisation des couts. Comment résoudre ces problématiques ?"

Conclusion : Arrivé à quai ! dès que le vent soufflera, je repartira... (5 minutes)
- DataMesh : Le domain driven design adapté aux enjeux data.
- DevOps : Autonomie et responsabilité des équipes jusqu'en production.
- FinOps : Entre sobriété financière et numérique et performance.
- SRE : Observabilité et auto remédiation.

Déjà présenté ou annoncé à :
- Silicon Chalet : avril 2023