Databricks to nie tylko notatniki i Spark SQL - to także potężna platforma do automatyzacji i orkiestracji procesów przetwarzania danych. W trakcie tej sesji zaprezentujemy jak ujarzmić joby, taski i triggery, żeby działały wtedy, kiedy trzeba - i robiły to, co trzeba bez konieczności wstawania o 3:00 w nocy.

Na przykładach pokazane zostaną metody projektowania workflow'ów, które nie tylko działają, ale też dają się utrzymać i skalować - od prostych DAG-ów po bardziej złożone zależności między zadaniami. Porównamy też kilka metod wyzwalania jobów: ręczne, cykliczne, event-based i webhookowe. Będzie też trochę o retry logic, zależnościach między jobami (nie tylko wewnątrz jednego workflowu), notyfikacjach i typowych pułapkach („czemu to się nie odpaliło?!”).

Na deser - dobre praktyki, lessons learned z produkcyjnych wdrożeń i odrobina czarnego humoru z życia data engineera.

Po tej sesji:
- będziesz wiedzieć, które mechanizmy orkiestracji w Databricks naprawdę działają w boju (a które tylko na slajdach),
- zrozumiesz, jak zbudować automatyzację bez strachu przed nocnym pingiem z monitora,
- oraz - być może najważniejsze - odzyskasz kontrolę nad tym, co w Twoim środowisku działa „gdzieś w tle”.