BigQuery est le Datawarehouse managé de référence sur Google Cloud Platform.

Malgré une adoption et utilisation importante, un problème demeure avec BigQuery : il n’existe actuellement pas d’outils clé en main sur le marché permettant de réaliser des tests d’intégration sur une infrastructure cible.

Nous avons créé une librairie open source appelée BigTesty, afin de répondre à ces problématiques d'intégration et pour aider la communauté des utilisateurs Google Cloud.

Mais quel a été le cheminement pour arriver à une solution qui nous semble aboutie ?

Ce talk a pour but de faire un ReX de la genèse du produit jusqu'à la solution actuelle.
Tout n'a pas été un long fleuve tranquille en termes de problématiques rencontrées et de choix de solutions et je vous raconterai cette histoire.

Nous ferons ensuite une démo complète de la solution, code à l'appui et des exécutions sur BigQuery avec une infrastructure éphémère et isolée.

BigQuery est un base très utilisée dans les écosytèmes data et les projets manquent réellement de tests.
Cette librairie open source est née de ce constat.

Ce talk est un voyage et un ReX pour montrer comment mettre en place ce type de framework et aussi un moyen de montrer comment créer des outils basés sur une infra éphémère.

- Repo Github : https://github.com/tosun-si/bigtesty
- Le talk a été présenté au Devfest Mons, malheureusement la vidéo a été perdue.
- Le talk a été présenté au Paris JUG le mercredi 18 octobre : https://youtu.be/1gdcGQVYAVQ?si=jcLYS_JrbCQUCPqO
- Slides pour le talk données au Devfest Mons et au Paris JUG : https://docs.google.com/presentation/d/1OeKU-NyijTtLAN_KQMQNOkUeG6jQ4-PC/edit#slide=id.p1

Depuis ma présentation au Paris JUG, la librairie a beaucoup évolué..
De plus, mon approche est différente pour le talk présenté içi, car l'objectif est de faire un ReX sur le cheminement parcouru et des problèmes rencontrés sur tels ou tels outils.

Au fur et à mesure des problèmes rencontrés, j'expliquerai quelle solution m'a permis d'avancer et de solutionner le problème concerné.

J'exposerai ensuite la solution actuelle, avec un diagramme d'architecture clair, ainsi qu'une démo complète du code.
Pour finir, je ferai des exécutions sur Google Cloud en montrant différents scénarios de tests.

Je suis très actif et propose beaucoup de contenus dans la communauté GCP avec une chaîne Youtube et des articles sur Medium, n'hésitez pas à aller voir mes contributions :
- Youtube : https://bit.ly/gcp-learning-mazlum-gb
- Medium : https://medium.com/@mazlum.tosun