Estera Kot
CTO @ Clouds on Mars
Gdynia, Poland
Actions
Dr. Estera Kot is the Chief Technology Officer at Clouds On Mars, where she drives the company’s innovation in Data & AI strategy and execution. A former Principal Product Manager at Microsoft, she played a key role in building performance-critical components of Azure Synapse Analytics and Microsoft Fabric, focusing on Apache Spark and high-efficiency analytical engines.
Estera is a Polish-born engineer by passion, fluent in several programming languages and recognized for her hands-on technical depth. She earned her Ph.D. in Computer Science with distinction, specializing in machine and deep learning for medical imaging. Her research has led to numerous scientific publications and a U.S. patent in big data processing.
Her career spans global tech leaders like Intel, Sony, and Procter & Gamble. She is a respected educator and mentor, having designed full-time and postgraduate AI-in-Cloud programs at the Warsaw University of Technology. Her students now work at CERN, Google, Meta, and other top-tier institutions worldwide. Estera is a guest lecturer at UCLA—one of the top public research universities in the U.S.—and Łazarski University in Warsaw.
As a speaker, she’s presented at top industry events including MLADS (Microsoft’s internal AI and data science conference in Redmond), the inaugural FabCon in Las Vegas, and several AI and cloud conferences across Europe. She also produces educational content on YouTube, making complex AI topics accessible and practical.
Estera is committed to building scalable, ethical, and real-world-driven AI solutions, with a focus on impact over hype.
Links
Area of Expertise
Topics
Fabric Spark Workshop – Performance Engineering for Every Data Engineer
Fabric Spark is a cornerstone of Microsoft Fabric's unified analytics platform—blending lakehouse scale with natively integrated data engineering. Yet, unlocking consistent and optimized performance from Spark workloads in Fabric demands some understanding of the platform’s runtime, orchestration, and storage layers.
In this full-day technical workshop, Estera Kot and Amanjeet Singh will guide you through the core principles, tools, and architectural patterns for performance engineering with Spark in Microsoft Fabric. This is not generic Spark content—this session is built from real customer engagements, Fabric CAT insights, and platform-specific behaviors that directly impact your job performance, cost efficiency, and data reliability.
You will learn, hands-on and in-depth:
1 ) How Spark is Embedded in the Fabric Runtime
Understand how Spark jobs operate across notebooks, dataflows, and pipelines—and how Fabric’s execution engine, concurrency controls, and orchestration model affect throughput and performance.
2) Lakehouse & OneLake Data Optimization
Best practices for organizing data in OneLake using Delta Tables, V-Order, Z-Order, and Shortcut-based architecture—and how that structure impacts query performance, pipeline latency, and ingestion speed.
3 ) Performance Monitoring with Fabric-native Tools
Learn how to diagnose and optimize workloads using Monitoring Hub, Spark job insights, and Fabric Profiler—with actionable metrics like CU consumption, I/O bottlenecks, and job health status.
4 ) Designing Scalable Pipelines
We’ll walk through building efficient Data Factory pipelines using Spark activities—focusing on parallelism, resource reuse, and intelligent triggering for low-latency processing.
5 ) Capacity Units (CUs) and Cost-Aware Performance
How Fabric’s CU-based model differs from cluster-based provisioning, and what strategies help you balance speed and cost for Spark notebooks, jobs, and transformations.
6 ) Built-in Optimization Features
Explore how Native Execution Engine (NEE), query folding, and Copilot-assisted code generation can simplify and enhance Spark performance tuning.
7) Typical Anti-patterns in Fabric Spark
Real-world examples from enterprise use cases—common mistakes with storage access, job orchestration, or memory configurations—and how to fix them using platform-native techniques.
This workshop equips every data engineer and architect with not just patterns—but a framework to predict, measure, and optimize Spark jobs specifically inside Microsoft Fabric.
How to Make Fabric Spark Run Faster—Even the Fastest!
Every Fabric customer wants the same thing from Spark: faster jobs, lower latency, and predictable performance. But Spark in Microsoft Fabric doesn’t behave like Spark on other platforms. It’s not about tuning clusters—it's about understanding the Fabric-native execution model, leveraging platform features, and designing with intent.
In this session, Estera Kot and Santhosh Kumar Ravindran will reveal a battle-tested, platform-aware techniques and cases to make your Fabric Spark workloads faster, cheaper, and more consistent—based on real-life enterprise scenarios and best practices.
This session is ideal for data engineers, architects, and solution owners who are already working in Fabric and want to unlock tangible performance gains across their pipelines, notebooks, and Lakehouse processing jobs.
You’ll learn how to:
🔧 Diagnose Slow Spark Jobs in Fabric
Use Monitoring Hub, Spark UI, and Profiler to identify slow stages, skewed joins, excessive shuffling, memory overflows, and CU spikes.
🚀 Accelerate Ingestion and Processing
Optimize read/write paths to OneLake by leveraging V-Order clustering, and efficient Delta Lake file sizing. Avoid small file issues and IO bottlenecks.
⚙️ Exploit Fabric Optimizations
Tap into Native Execution Engine (NEE) and latest perf optimizations to offload common transformations and avoid JVM overhead. Learn which workloads benefit the most—and when fallback paths are hurting performance.
📦 Make the Most of Fabric Lakehouse
Architect Lakehouse tables to support fast upserts, deletes, and merges using Z-Order, Delta log optimization, and OneLake shortcut patterns.
💡 Design Jobs with the Fabric Runtime in Mind
Plan job structure, transformations, and output strategy based on CU consumption patterns, concurrency behavior, and Fabric’s auto-scaling logic.
🧠 Use Copilot for Performance Suggestions
Learn how Fabric Copilot surfaces performance insights, suggests optimization patterns, and flags bottlenecks directly in your notebooks and pipelines.
🔥 Avoid Top Spark Performance Killers in Fabric
Including: unbounded joins, broadcast overload, poor partitioning, over-parallelism, and inefficient notebook orchestration.
Wykorzystanie Microsoft Fabric w obszarze przetwarzania i analizy danych w praktyce
Zapraszamy na ekskluzywny warsztat, który skupi się na praktycznym wykorzystaniu potencjału Microsoft Fabric w projektach przetwarzania i analizy danych. Podczas tego intensywnego jednodniowego wydarzenia, uczestnicy będą mieli okazję zanurzyć się w fascynującym świecie nowoczesnych technologii danych. Niezależnie czy planujesz rozwój lub rozpoczynasz budowę systemu, który łączy potęgę przetwarzania Big Data ze stabilnością hurtowni danych, a może rozważasz wzbogacenie swoich danych dzięki GenAI – ten warsztat jest dla Ciebie.
Podczas 8h intensywnej aktywności uczestnicy będą mieli niepowtarzalną okazję do pracy ramię w ramię z ekspertami w dziedzinie przetwarzania i analizy danych. Prowadzący, którzy są uznawani za liderów branży, przekażą swoją wiedzę i doświadczenie. Sesje będą obejmować teoretyczne wprowadzenie do kluczowych koncepcji, ale przede wszystkim praktyczne ćwiczenia, które umożliwią uczestnikom samodzielne skonfigurowanie i uruchomienie rozwiązania. Dzięki temu warsztatowi zdobędziesz nie tylko cenne umiejętności, ale także przekonasz się, jak Microsoft Fabric może przyspieszyć transformację Twojej organizacji.
Cel Warsztatu:
Budowa Rozwiązania End-to-End: Uczestnicy będą pracować z ekspertami w zakresie przetwarzania danych, aby zbudować kompleksowe rozwiązanie oparte na Microsoft Fabric – od struktury danych po wdrożenie i analizę wyników.
- Łatwość, Elastyczność i Szybkość Działania: Warsztat skoncentruje się na wykorzystaniu łatwych w użyciu narzędzi Microsoft Fabric, ukazując elastyczność i szybkość, jaką można osiągnąć przy projektowaniu, wdrażaniu i skalowaniu rozwiązań danych.
- Charytatywny Cel Warsztatu: Ciesz się nie tylko rozwijaniem umiejętności, ale również uczestnictwem w akcji charytatywnej! Decyzję o wyborze organizacji charytatywnej, na którą zostaną przekazane środki zebrane podczas warsztatu, podejmą sami uczestnicy.
- Wymagane Umiejętności: Podstawowa wiedza z zakresu przetwarzania danych i analizy danych.
Korzyści dla Uczestników:
· Praktyczne doświadczenie w budowie rozwiązania z wykorzystaniem Microsoft Fabric.
· Spotkanie z wiodącymi specjalistami w dziedzinie przetwarzania i analizy danych.
· Możliwość wsparcia celu charytatywnego poprzez udział w warsztatach.
Miejsca są ograniczone, aby zapewnić najwyższą jakość interakcji i nauki, więc nie zwlekaj z rejestracją. Dołącz do naszych prowadzących i odkryj, jak Microsoft Fabric może stać się fundamentem innowacyjnych rozwiązań w Twojej organizacji!
Zarejestruj się już dziś i bądź częścią wyjątkowego wydarzenia, które łączy naukę z pomocą na rzecz wspólnej dobrej sprawy.
Spark w Microsoft Azure – Wszystko, co chcesz wiedzieć, a boisz się zapytać!
Apache Spark to niezastąpione narzędzie dla analityków i inżynierów danych, oferujące potężne możliwości przetwarzania dużych zbiorów danych. Microsoft Azure, wraz z rozwiązaniem Microsoft Fabric, zyskuje na popularności jako platforma chmurowa do złożonej analizy Big Data. Jak jednak w pełni wykorzystać Spark na Azure? Co wybrać: Databricks, HDInsight, Synapse Analytics, Spark na maszynach wirtualnych lub AKS, czy Spark w Microsoft Fabric?
W tej sesji, krok po kroku, omówimy, na podstawie jakich kryteriów wybrać sposób korzystania z Apache Spark na platformie Azure, aby uzyskać maksymalną wydajność, elastyczność oraz optymalne koszty. Dowiesz się, jak skonfigurować klastry, zintegrować Spark z usługami do przechowywania danych i Machine Learning oraz z jakich narzędzi korzystać, aby osiągnąć najwyższą efektywność w przetwarzaniu dużych zbiorów danych. Sesja zawiera również studium przypadku – na praktycznych przykładach pokażemy, jak dobrać najlepsze rozwiązanie do Twojego konkretnego scenariusza biznesowego.
Jak użyć dbt w Microsoft Fabric
Z dbt spotykamy się w praktycznie wszędzie tam, gdzie należy zaprojektować transformacje danych dla rozwiązań analitycznych (ale nie tylko). Dbt pozwala zespołom szybko wdrażać kod zgodnie z najlepszymi praktykami inżynierii oprogramowania. Tyle opisu marketingowego zaczerpniętego od producenta.
W trakcie sesji pokażemy, jak skonfigurować i użyć dbt w połączeniu z Microsoft Fabric – dla Lakehouse oraz Data Warehouse.
Nie zabraknie także przykładów pokazujących, jak dbt wspiera testy kodu oraz pracę deweloperów tworzących rozwiązania analityczne
Build A Fabric Real-time Intelligence Solution in One Day
Real-Time Intelligence in Fabric is designed to enable organisations to bring their streaming, high-granularity, time-sensitive event data into Fabric and build various analytical, visual and action oriented data applications and experiences with it. In this session, you will learn about what Fabric Real-time Intelligence is meant for and will then build an end-to-end solution using streaming data.
This session will get you hands-on with Real-Time Hub, Eventstream, Eventhouse, Data Activator, Real-time Dashboards, Power BI, and Copilot with combination of Microsoft MVPs and Fabric product group members to guide you along the way.
The end-to-end solution we build together will encompass:
• Discovering and cataloging your data streams using Real-Time Hub
• Connecting to streaming data from various sources around the world
• Cleaning, normalizing, preparing data for superior query time experiences
• Leveraging Copilot to discover streaming data
• Low-code/no-code experiences for data exploration
• Developing dashboards
Faster Big Data Processing with Microsoft Fabric's Native Execution Engine
Apache Spark has revolutionized big data processing, but running it efficiently at scale is no small feat. This session explores how Microsoft Fabric is simplifying the Spark experience while delivering faster performance with its native C++ execution engine.
We’ll dive into: 1) How Microsoft Fabric streamlines Spark operations by integrating data services under one platform. 2) The role of the native execution engines in optimizing Spark job performance. 3) Why the shift from Java-based execution to C++ is reshaping Spark's future and how teams can adapt it seamlessly inside Fabric and Lakehouse.
Estera Kot
CTO @ Clouds on Mars
Gdynia, Poland
Links
Actions
Please note that Sessionize is not responsible for the accuracy or validity of the data provided by speakers. If you suspect this profile to be fake or spam, please let us know.
Jump to top