Build your Data Platform on Azure - but secure please! en de

Many companies use Azure Data Services for Data Management and Analytics tasks or plan the migration to Microsofts cloud platform. There are many reasons for this, such as operating costs and scalability, but what about security?
We will look at which mechanisms can be used on Azure for secure data exchange. how data access can be configured from the service level down to the data level for end users and what options there are for connecting the services securely in terms of network technology and at the same time sealing them off from unwanted visitors.

Talk about security features for Azure Data Platform.

Data Integration on Azure: Data Factory or Synapse Analytics Workspace? en

For many years now Data Factory has grown to a default for data integration projects regarding typical data platform projects on Azure. In conjunction with Azure services like Data Lake for data storage and Databricks for data processing (just examples) all types of batch based data movement and transformations have been orchestrated and executed by using Data Factory.

Synapse Analytics Workspace is now on the market a while in a stable manner, which includes already most of the Data Factory functionality. Now the question comes up, which of should be a starting point for which use cases and scenarios. The pros and cons of each approach will be discussed in the session.

Warum macht es Sinn sich in der Community zu engagieren? en

In dieser nicht technischen Session bespricht Frank Geisler zusammen mit Stefan Kirner warum es Sinn macht sich in der deutschen PASS Community zu engagieren und die beiden geben auch einen Einblick in ihre eigene PASS Vergangenheit

5 shades of data flow en de

More and more data flows seem to show up as part of the Microsoft data platform. Did you know that even in Power Platform two different kinds exist? But which would you use for what problem?
As the noun indicates data flows move and transform data and in best case add value to it. The talk gives an overview of the "shades" of data flows in Power Platform and Azure Data Factory, their purpose and of course the technologies behind the (grey) curtain.

Is Power BI only sufficient for my project? en de

Many developers ask themselves this question in view of the ever increasing range of functions and enterprise readiness on the part of Microsoft Power BI.
Usually BI projects include specialized components like for persistence (databases, data lake & co.) or for ETL. Power BI covers the complete range of a BI solution. But are there things that don't work in Power BI, where are the weaknesses and is there a typical Power BI project?
This exciting topic will be discussed in the session!

5 shades of data flow en de

Immer mehr Datenströme poppen als Teil der Microsoft-Datenplattform auf. Wussten Sie, dass es alleine innerhalb der Power Platform zwei verschiedene Arten gibt? Aber welche davon nutzen zum Lösen welcher Probleme?
Wie es der Name schon sagt, dienen Datenströme dazu Daten zu bewegen und zu transformieren. Im besten Fall sind die Daten danach wertvoller als vorher!
Der Vortrag gibt einen Überblick über die "Schattierungen" der Datenflüsse in Power Platform und Azure Data Factory, ihren jeweilgen Vorteile und gewährt natürlich einen Blick auf die Technologien hinter dem (grauen) Vorhang.

DataOps in Azure Data Factory en de

What is your Definition of Done for a data project in Azure? Is the job finished after the first successful pipeline run using funny dummy data? Since nothing seems to work anymore since that nightly hacking session, do you have any hint what happend or kind of a fallback?

The talk shows methods, technologies and best practises how to develop in Azure Data Factory in a structured and safe way by using the integration and services of Azure DevOps. This will hopefully prevent you from disasters and enable you to develop in a team. Beneath lets check the differences regarding continous integration & development (CI/CD) when developing Data pipelines in Azure Synapse Studio.

The talks shows methods, technologies and best practises how to develop in Azure Data Factory in a structured and safe way by using the integration and services of Azure DevOps.

DataOps in Azure Data Factory en de

Was ist die Definition of Done in deinem Datenprojekt auf Azure? Bist du wirklich fertig nach dem ersten erfolgreichen Durchlauf der Pipeline mit ein paar Dummy Daten? Seit den Anpassungen in einer nächtlichen Hau-Ruck Aktion geht nichts mehr und du hast weder Ahnung was genau passiert ist noch ein Fallback um es wieder zum Laufen zu bringen?

In dem Vortrag werden Methoden, Technologien und Best Practices vorgestellt, wie man in der Azure Data Factory strukturiert und sicher entwickeln kann, in dem man die Integration und Dienste von Azure DevOps nutzt. Das wird dich hoffentlich vor solchen Katastrophen schützen und gleichzeitig die Arbeit im Team ermöglichen.
Daneben schauen wir uns die Unterschiede bezüglich continous integration & development (CI/CD) an wenn man Data Pipelines in Azure Synapse Studio entwickelt.

In dem Vortrag werden Methoden, Technologien und Best Practices vorgestellt, wie man in der Azure Data Factory strukturiert und sicher entwickeln kann, in dem man die Integration und Dienste von Azure DevOps nutzt.

Application Lifecycle Management in Azure Data Factory en de

What is your Definition of Done for a data project in Azure? Is the job finished after the first successful pipeline run using funny dummy data? Since nothing seems to work anymore since that nightly hacking session, do you have any hint what happend or kind of a fallback?
The talk shows methods, technologies and best practises how to develop in Azure Data Factory in a structured and safe way by using the integration and services of Azure DevOps. This will hopefully prevent you from disasters and enable you to develop in a team. Beneath lets check the differences regarding continous integration & development (CI/CD) when developing Data pipelines in Azure Synapse Studio.

The talks shows methods, technologies and best practises how to develop in Azure Data Factory in a structured and safe way by using the integration and services of Azure DevOps.

Application Lifecycle Management in der Azure Data Factory en de

Was ist die Definition of Done in deinem Datenprojekt auf Azure? Bist du wirklich fertig nach dem ersten erfolgreichen Durchlauf der Pipeline mit ein paar Dummy Daten? Seit den Anpassungen in einer nächtlichen Hau-Ruck Aktion geht nichts mehr und du hast weder Ahnung was genau passiert ist noch ein Fallback um es wieder zum Laufen zu bringen?
In dem Vortrag werden Methoden, Technologien und Best Practices vorgestellt, wie man in der Azure Data Factory strukturiert und sicher entwickeln kann, in dem man die Integration und Dienste von Azure DevOps nutzt. Das wird dich hoffentlich vor solchen Katastrophen schützen und gleichzeitig die Arbeit im Team ermöglichen.
Daneben schauen wir uns die Unterschiede bezüglich continous integration & development (CI/CD) an, wenn man Data Pipelines in Azure Synapse Studio entwickelt.

In dem Vortrag werden Methoden, Technologien und Best Practices vorgestellt, wie man in der Azure Data Factory strukturiert und sicher entwickeln kann, in dem man die Integration und Dienste von Azure DevOps nutzt.

Data Platform auf Azure - aber bitte sicher! en de

Viele Unternehmen nutzen inzwischen die Azure Data Services für Data Management und Analytics Aufgaben oder planen den Umstieg auf Microsofts Cloud Platform. Viele Gründe wie Betriebskosten und Skalierbarkeit sprechen dafür, aber wie ist es um die Sicherheit bestellt? In dem Vortrag schauen wir uns an, welche Mechanismen auf Azure zum sicheren Datenaustausch genutzt werden können. wie der Datenzugriff von Dienste- bis bis auf Datenebene für Endbenutzer konfiguriert werden kann und welche Möglichkeiten es gibt, die Services netzwerktechnisch sicher zu verbinden und gleichzeitig vor unerwünschten Besuchern abzuschotten.

Vortrag über die Sicherheitsmechanismen für die Azure Data Platform.

Reicht auch Power BI only für mein Projekt? en de

Das fragt sich so mancher Entwickler angesichts immer mehr Funktionsumfang und Enterprise Readyness auf Seiten Microsoft Power BI. Normalerweise beinhalten BI Projekte spezialisierten Komponenten wie zur Persistenz (Datenbanken, Data Lake & co.) oder für ETL. Power BI deckt den kompletten Bereich einer BI Lösung ab. Aber gibt es Dinge die gar nicht gehen in Power BI, wo sind Schwächen und gibt es das typische Power BI Projekt?
Dieses spannende Thema wird in der Session diskutiert!

Kann man inzwischen jedes Business Intelligence Projekt mit Microsoft Power BI und sonst nichts umsetzen?

A new car is in town - Apache Airflow in Azure Data Factory en de

Popular for many years, especially among data monsters with Python knowledge, Apache Airflow is now also part of the Azure Data Factory family, and this in a managed version! We take a look at how the DAGs can be used in the Data Factory, how it is about integration and scaling in the ADF. Of course, we also draw a comparison to orchestration with classic pipelines.

Introducing Apache Airflow Integration in Azure Data Factory

A new car is in town - Apache Airflow in der Azure Data Factory en de

Seit vielen Jahren gerade bei Data Monstern mit Python Kenntnissen beliebt ist nun auch Apache Airflow teil der Azure Data Factory Famlie, und zwar in einer managed Variante! Wir schauen uns an wie die DAGs in der Data Factory genutzt werden können, wie es um die Integration und Skalierung in der ADF bestellt ist. Natürlich ziehen wir auch den Vergleich zur Orchestrierung mit klassischen Pipelines.

Vorstellung Apache Airflow Integration in Azure Data Factory

Azure Data Factory 2023 - whats new? en de

The demo-heavy session will showcase the new features of Azure Data Factory / Synapse Pipelines. Besides the Change Data Capture integrations, which now also enable near-realtime processing in the ADF, there are interesting new options like the Managed Airflow integration runtime for Python code based data processing. And of course lots of interesting details that you don't notice at first glance, but already make our lives easier like the native orchestration of Synapse Notebooks and Synapse Spark Job Definitions via the ADF.

What's New in Azure Data Factory 2023 - Introducing the Features

Azure Data Factory 2023 - whats new? en de

In der Demo-lastigen Session werden die neuen Features der Azure Data Factory / Synapse Pipelines vorgestellt. Neben den Change Data Capture Integrationen, die nun auch Near-Realtime Verarbeitungen in der ADF ermöglichen, gibt es interessante neue Optionen wie die Managed Airflow integration runtime für die Python-Code basiertes data processing. Und natürlich jede Menge interessanter Details, die man auf den ersten Blick nicht wahrnimmt, uns aber das Leben schon leichter machen wie beispielsweise die native Orchestrierung von Synapse Notebooks und Synapse Spark Job Definitions über die ADF.

Was gibt's Neues in der Azure Data Factory 2023 - Vorstellung der Features

Learning journey about Apache Airflow in Azure Data Factory en

Being popular for many years now, especially among data engineers with Python knowledge, Apache Airflow is now also part of the Azure Data Factory family, and this in a managed version! We take a look at how the DAGs can be used in the Data Factory, how it is about integration and scaling in the ADF. Of course, we also draw a comparison to orchestration with classic pipelines. As a strong airflow is generally very essential for our flight please fasten your seatbelts and get ready for boarding!

Introduction to the capabilities of Apache Airflow as Managed Service in Azure Data Factory