Session

Event driven et Serverless : le combo parfait dans GCP

Les architectures Event Driven présentent l'avantage de réduire fortement la latence lorsque nous traitons et intègrons des données dans notre système. Si nous utilisons, en plus, des composants Serverless, nous obtenons des coûts réduits.

Dans des contextes On-Premises, la mise en place peut être fastidieuse par rapport à l'infrastructure qu'elle nécessite.

La majorité des fournisseurs Cloud fournissent des services pour mettre en place cette architecture plus simplement. Mais comment s'y retrouver dans cette multitude d'offres ?

Durant ce talk, nous vous montrerons comment Google Cloud facilite l'implémentation d'une architecture entièrement Event Driven et Serverless.

Avec les données de la dernière coupe du monde de football, j'illustrerai la mise en place de ce type d'architecture pour calculer les stats de joueurs par équipe.
On verra que Kylian Mbappé s'est bien débrouillé !

Je partage quelques contenus que j'ai créés sur le sujet :
- Articles Service Cloud Run en Python : https://medium.com/google-cloud/cloud-run-service-with-a-python-module-fastapi-and-uvicorn-24c94090a008
- Article Cloud Function en Event Driven : https://medium.com/google-cloud/event-driven-cloud-function-load-gcs-file-to-bigquery-with-event-arc-a1540c1d2055
- Une vidéo qui montre le use case avec des Cloud Functions et des services Cloud Run :
https://youtu.be/RtUI5Qzneiw
- Une vidéo qui montre le use case avec un orchestrateur de pipeline Serverless en addition qui est Cloud Workflows :
https://youtu.be/BB_E6Ng9AAw
- Talk donné au Google Cloud Next, mais la session n'a pas été filmée
- Talk donné aux GDG Paris et GDG Cloud Paris mais la session n'a pas été enregistrée
- Talk donné au Paris JUG : https://youtu.be/LPPln7MkFp0?si=x1_QUgfKrB40w7mr

Par rapport à la session donnée au Paris JUG, un second use case a été ajouté avec un orchestrateur de pipeline appelé Cloud Workflows.

Avec ce talk, je souhaite montrer que sur Google Cloud, il est plus simple de mettre en place ce type d'architecture que dans des contextes On-Premises, grâce aux services managés.

L'objectif est de l'illustrer avec un use case complet et concret, basé sur de vrais données : statistiques de joueurs pour la coupe du monde du Qatar.

- Use case 1 :
Une première exécution de ce use case sera faite avec des Cloud Function écrites en Python et Go.
Nous remplacerons ensuite les Cloud Functions par des services Cloud Run.

- Use case 2 :
Dans ce second use case, nous ajouterons Cloud Workflows qui un orchestrateur de pipeline Serverless.
Nous montrerons qu'avec un orchestrateur, nous avons plus de puissance pour organiser le séquencement de nos tâches.

Les données métiers calculées seront affichées dans un outil de Dataviz appelé Looker Studio et nous verrons que même si la France n'a pas gagné, Mbappé et nos autres joueurs ont bien performé :)

Une automation Devops viendra déployer l'ensemble !

Mazlum Tosun

GDE Cloud and Head of Data & Cloud at GroupBees

Paris, France

Actions

Please note that Sessionize is not responsible for the accuracy or validity of the data provided by speakers. If you suspect this profile to be fake or spam, please let us know.

Jump to top