Session

Databricks Ninja: Performance tuning

Azure Databricks dostarcza natywnie wysoce zoptymalizowane środowisko uruchomieniowe obsługujące różnorodne obciążenia w Lakehouse, od przetwarzania ETL na dużą skalę po interaktywne zapytania ad-hoc. Wiele z tych optymalizacji odbywa się automatycznie. Jednak co zrobić w momencie gdy automatyczne optymalizacje nie wystarczają a wyłącznie skalowanie klastrów nie spełnia oczekiwań? Przyjrzymy się temu jak możemy wpływać na działanie DBR za pomocą zaawansowanych ustawień konfiguracyjnych, jak działa cost-based optimizer (CBO), czym jest adaptive query execution (AQE) itp. Przeanalizujemy fizyczne plany zapytań, zwracając uwagę na możliwość ich optymalizacji.

Lukasz Grala

CEO TIDK, MVP Data & AI, Mentor, Futurolog

Poznań, Poland

Actions

Please note that Sessionize is not responsible for the accuracy or validity of the data provided by speakers. If you suspect this profile to be fake or spam, please let us know.

Jump to top