Session
Databricks Ninja: Performance tuning
Azure Databricks dostarcza natywnie wysoce zoptymalizowane środowisko uruchomieniowe obsługujące różnorodne obciążenia w Lakehouse, od przetwarzania ETL na dużą skalę po interaktywne zapytania ad-hoc. Wiele z tych optymalizacji odbywa się automatycznie. Jednak co zrobić w momencie gdy automatyczne optymalizacje nie wystarczają a wyłącznie skalowanie klastrów nie spełnia oczekiwań? Przyjrzymy się temu jak możemy wpływać na działanie DBR za pomocą zaawansowanych ustawień konfiguracyjnych, jak działa cost-based optimizer (CBO), czym jest adaptive query execution (AQE) itp. Przeanalizujemy fizyczne plany zapytań, zwracając uwagę na możliwość ich optymalizacji.
Lukasz Grala
CEO TIDK, MVP Data & AI, Mentor, Futurolog
Poznań, Poland
Links
Please note that Sessionize is not responsible for the accuracy or validity of the data provided by speakers. If you suspect this profile to be fake or spam, please let us know.
Jump to top