IoT ... cloud ... big data - let‘s start small! en de

When I was looking for a sidekick to my day-to-day developer job, I stumbled across the Arduino ecosystem of microcomputers, which means open source software and hardware. So why not revive my electronics skills, start with some IoT, as well as get going with some cloud stuff, I thought.

So, in this session let me demonstrate to you my first IoT project that actually deserves that name.

I'll introduce you to the Arduino world (hardware and IDE), show you how to connect an Arduino class microcomputer with some sensors (i.e. temperature, air quality...) to a network, then have it transmit data to the (Arduino and even Azure-) cloud where the data can be stored, analyzed and also visualized on your own environmental data dashboard. All of this is accomplished with really low-cost hardware and free cloud offerings.

(Almost) no hardware was harmed in preparation for this session.

IoT, cloud, big data - fangen wir klein an! en de

Auf der Suche nach einem Ausgleich für meinen Day-to-day Job, fand ich das Ökosystem der Arduino Kleinst-Computer, wo sowohl Software als auch Hardware Open Source sind. Also dachte ich mir, warum nicht meine Elektronik-Kenntnisse reaktivieren, und gleichzeitig endlich mal mit IotT und Cloud-Zeugs starten.

In dieser Session demonstriere ich Euch also mein erstes IoT-Projekt, das diese Bezeichnung verdient.

Ich stelle Euch die Arduino-Welt vor (Hardware und IDE), und zeige Euch, wie man einen Arduino-Mikrocomputer nebst einigen Sensoren (Temperatur, Luftqualität...) mit einem Netzwerk verbindet, um Daten in die (Arduino- oder Azure-) Cloud zu übertragen, wo diese gespeichert, analysiert und sogar in Eurem eigenen Umweltdaten-Dashboard visualisiert werden können. All dies wird realisiert mit wirklich günstiger Hardware und freien Cloud-Angeboten.

Bei der Vorbereitung dieser Session kam (fast) keine Hardware zu Schaden.

Window functions in SQL Server - brush up your skills en de

Window functions usually are considered "advanced SQL", and while they're part of the language standard, SQL Server does not implement all of them. Version 2022 brought at least a small feature update worth looking at, so it's about time time to brush up our knowledge.

You will learn when and how how to use those OVER, PARTITION and ORDER clauses. From aggregate and ranking to statistical and offset functions, this session walks you through all that SQL Server offers, up to the new actual WINDOW clause. The demos will show real world applications, such as sliding means, running totals, string aggregates and even the popular "gaps and islands" problem.

Once you've got the hang of it (hopefully after this session), it will become clear that window functions are not overly complicated, but ease the development of data analysis in T-SQL, and in the optimal case even bring a performance advantage over conventional methods.

Window-Funktionen im SQL Server - Aufgefrischt en de

Window-("Fenster")Funktionen werden im Allgemeinen als „fortgeschrittenes SQL“ betrachtet und obwohl sie Teil des Sprachstandards sind, werden sie vom SQL Server nicht vollständig implementiert. Die Version 2022 brachte immerhin ein kleines, sehenswertes Feature-Update mit sich und so wird es höchste Zeit, unser Wissen aufzufrischen.

Ihr lernt, wann und wie die OVER-, PARTITION- und ORDER-Klauseln verwendet werden. Von den Aggregat- und Ranking- bis hin zu Statistik- und Offset-Funktionen führt diese Session durch alles, was SQL Server bietet, bis hin zur neuen eigentlichen WINDOW-Klausel. Die Demos zeigen Anwendungen aus der Praxis, wie etwa laufende Mittelwerte und Summen, String-Aggregation und sogar das bekannte „Lücken- und Inseln“-Problem.

Wenn Ihr den Dreh erst einmal raus habt (hoffentlich nach dieser Session), wird klar, dass Window-Funktionen nicht übermäßig kompliziert sind, sondern die Entwicklung von Datenanalysen in T-SQL erleichtern und im optimalen Fall sogar einen Performance-Vorteil gegenüber herkömmlichen Methoden bringen.

An R primer for SQL folks en de

You heard about the “R” language and it’s growing popularity for data analysis. Now you need a walk-through on what is possible analyzing your data? Then this session is for you:

You’ll get a short introduction how R came to be, and what the R ecosystem looks like today. Then we will extract sales data from different companies off a Navision ERP database on SQL Server.
Our data will be cleaned, aggregated and enriched in the RStudio environment. We’ll generate different diagrams on-the-fly to gain first insights.
Finally we’ll see how to use the Shiny framework to display our data on a map, interactively changing our criteria, and showing us where the white spots really are.

An R primer for SQL folks en de

Du hast von dieser neuen Sprache "R" gehört, und ihrer wachsenden Popularität für Datenanalysen? Jetzt brauchst Du einen Überblick, was R in Sachen Analyse möglich macht?

Diese Session ist für Dich:
Es gibt eine kurze Einführung, wie R entstanden ist, und wie das R-Ökosystem heute aussieht. Dann geht es auch schon los: wir extrahieren Verkaufszahlen aus mehreren Mandanten einer Navision ERP Datenbank auf einem SQL Server. Unsere Daten werden in der RStudio-Umgebung gesäubert, aggregiert und ergänzt. Wir generieren verschiedene Diagramme, die uns erste
Einblicke in unsere "Echt"-Daten erlauben. Mit dem Shiny-Framework stellen wir die Daten auf einer Deutschlandkarte dar, ändern hierbei interaktiv unsere Kriterien, und sehen so, wo die weissen Flecken wirklich sind.

50 ways to show your data en de

„A picture is worth a thousand words“ - well, that is especially true when it comes to analyzing data. Visualization is the quick and easy way to uncover the big ‘picture’ in your data and the R ecosystem has a lot to offer in this regard.

They may not add up to exactly 50, but in this session I’ll show you lots of compelling visualizations produced with the help of the ggplot2 package and friends - and their usual small effort of code. We will start beyond the usual bar, line or scatter plots.

Instead our screen will show diagrams that always made you think „How do they do that?“. We will see waterfall diagrams, violins, parliament diagrams, marginal histograms, maps and more… and you’ll get the code to reproduce everything.

50 ways to show your data en de

„Ein Bild sagt mehr als tausend Worte“ - wie wahr, auch und gerade bei der Datenanalyse. Visualisierung ist der schnelle, einfache Weg, das Gesamtbild in Deinen Daten zu erkennen, und gerade das R-Ökosystem hat in dieser Hinsicht einiges zu bieten.

Es mögen nicht genau 50 sein, aber in dieser Session zeige ich viele ansprechende Visualisierungen, die das ggplot2-Package und seine Freunde ermöglichen. Wir starten jenseits der üblichen Balken-, Linien- und Streudiagramme.

Stattdessen kommen Diagramme auf den Bildschirm, von denen Du schon immer wissen wolltest „Wie macht man das?“. Wir werden Wasserfalldiagramme, Violinen, Parlament-Diagramme, Randhistogramme, Karten und mehr sehen… und Ihr bekommt den Code, um alles nachzubauen.

A journey through the Tidyverse en de

By now, all the data pro world should have heard about the R language, especially since Microsoft is committed to integrate it into their data platform products. So you installed the R base system and the IDE of your choice. But it's like buying a new car - nobody is content with the standard. You know there are packages to get you started with analysis and visualisation, but which ones?

A bundle called The Tidyverse comes in handy, consisting of a philosophy of tidy data and some packages mostly (co-)authored by Hadley Wickham, one of the brightest minds in the R ecosystem. We will take a look at the most popular Tidyverse ingredients like tidyr, ggplot2, dplyr and readr, and we'll have lots of code demos on real world examples.

A journey through the Tidyverse en de

Inzwischen dürfte wohl die ganze Datenprofi-Welt von der (Programmier-)Sprache R gehört haben, nicht zuletzt, seit Microsoft sie in immer mehr ihrer Data Platform Produkte integriert. Du hast also Dein R Basis-System installiert, und die Entwicklungsumgebung Deiner Wahl. Aber es ist wie beim Kauf eines neuen Autos – mit der Standardausstattung ist keiner zufrieden. Du weißt, es gibt x Pakete, die Dir bei Analyse und Visualisierung helfen, aber welche nimmst Du?

Hier bietet sich ein Bündel mit dem Namen „The Tidyverse“ an, eine Philosphie „aufgeräumter“ Daten und einiger Pakete, größtenteils (mit-)entwickelt von Hadley Wickham, einem der hellsten Köpfe im R-Ökosystem. Wir werden uns in dieser Session die beliebtesten Zutaten des Tidyverse ansehen, wie tidyr, ggplot2, dplyr und readr, garniert mit vielen Code-Beispielen zum mit- bzw. nachmachen.

A refresher on geospatial data in SQL Server en de

Microsoft introduced geospatial data types already in SQL Server 2008, some enhancements followed in version 2012. Today, geo data is used almost everywhere - it's the foundation to everything position- or route-related. Time to refresh your memories of geometry and geography!

We'll walk through which data types are supported - from 0 to 2 dimensions, from points to polygons and some more - and see how to get spatial data into and out of SQL Server tables.

Then there are built-in functions to determine relationships between geo objects, such as intersection, inclusion or shortest distance. And of course there will be examples of practical applications of geospatial data.

A refresher on geospatial data in SQL Server en de

Microsoft hat die Geo-Datentypen bereits mit dem SQL Server 2008 eingeführt, mit der Version 2012 folgten einige Verbesserungen. Heute werden Geodaten fast überall verwendet - sie sind die Grundlage für alles, was einen Positions- oder Routen-Bezug hat. Es ist also an der Zeit, Eure Erinnerungen an Geometrie und Geographie aufzufrischen!

Wir schauen uns an, welche Datentypen unterstützt werden - von 0 bis 2 Dimensionen, von Punkten bis zu Polygonen und anderen - und werden sehen, wie man Geodaten in die SQL Server Tabellen hinein und wieder heraus bekommt.

Darauf folgen die eingebauten Funktionen, mit denen Beziehungen zwischen Geo-Objekten untersucht werden können, wie Überschneidungen, Einschlüsse oder kürzester Abstand. Und natürlich gibt es Beispiele für die praktische Anwendung von Geodaten.

Hunting for fraud with Benford's law in R en de

In this lightning talk I'll demonstrate how to apply the R implementation of Benford's law (which actually is not about crime or fraud) to identify possibly fraudulent invoice or other data.

Lightning talk/20 mins

Den Betrügern auf der Spur mit Benford's Gesetz in R en de

In dieser Lightning Session zeige ich Euch, wie man Benford's Gesetz (bei dem es eigentlich nicht um Kriminalität oder Betrug geht) in R anwendet, um möglicherweise betrügerische Rechnungs- oder andere Daten zu finden.

Lightning talk/20 min

What are SQL statistics and why should the developer care? en de

Imagine you're a developer in a small shop, and you experience some degradation of performance in your business-critical ERP system, literally over the weekend.

So you are tasked with bringing back that performance, because somehow you also inherited the "accidental DBA " role. Hardware is OK, the network is OK, and your application hasn't changed lately, either. Now what?

Let me take you for a quick dive into how your queries get analyzed and optimized by the SQL Server engine. You'll learn about statistics (also about density and cardinality), why they are important, ways to explore them and the techniques to keep them up to date, in order to achieve optimal query plans.

Was sind SQL-Statistiken und warum sollten sie den Entwickler interessieren? en de

Stell Dir vor, Du bist Entwickler in einem kleinen/mittleren Unternehmen, und es gibt Performance-Einbrüche in Eurem geschäftskritischen ERP-System, buchstäblich übers Wochenende.

Deine Aufgabe ist, die Performance zurückzubringen, denn Du hast auch die Rolle des "zufälligen DBA" geerbt. Die Hardware ist OK, das Netzwerk ist OK, es gab keine Änderungen an der Applikation. Also was jetzt?

In dieser Session gewinnen wir zunächst einen Überblick, wie Abfragen durch den SQL Server analysiert und optimiert werden. Du lernst, was Statistiken (und Dichte und Kardinalität) sind, warum sie wichtig sind, wie wir sie untersuchen, und mit welchen Techniken wir sie aktuell halten können, um optimale Abfragepläne zu gewährleistungen.

So, what about JSON in my database? en de

The JSON data format, also called hipster's XML, is all around, not only in Javascript environments. In this session we'll first see where it comes from, what it looks like and what it can be used for.

Next we'll explore how SQL Server handles JSON. Despite not providing a dedicated data type for it, there are some sophisticated functions for storing and retrieving JSON data, thus bridging NoSQL and relational concepts. SQL Server 2022 even brought some new JSON functions.

After that we're joined by the NoSQL/document store solutions. Microsoft's own Azure Cosmos DB, as well as the "original" called MongoDB enter the comparison with SQL Server in terms of features and limitations, pros and cons. Eventually we'll know when to prefer which solution.

Wie ist das jetzt mit JSON in meiner Datenbank? en de

Das Datenformat JSON, auch Hipster's XML genannt, ist allgegenwärtig, nicht nur in Javascript-Umgebungen. In dieser Session sehen wir uns zunächst an, wo es herkommt, wie es aussieht und wofür man es nutzen kann.

Danach finden wir heraus, wie der SQL Server mit JSON umgeht. Obwohl kein eigener Datentyp dafür bereitsteht, gibt es ausgefeilte Funktionen, um JSON zu speichern und zu verarbeiten, und so NoSQL- und relationale Konzepte zu verbinden. Der SQL Server 2022 brachte sogar ein paar neue JSON-Funktionen.

Schließlich holen wir die NoSQL/document store-Lösungen dazu. Microsofts eigene Azure Cosmos DB, sowie das "Original" namens MongoDB stellen sich dem Vergleich zum SQL Server in punkto Features und Beschränkungen, Vor- und Nachteile. Am Ende werden wir wissen, welche Lösung wann zu bevorzugen ist.

A SQL primer for the casual DB developer en de

Every developer needs to handle data every now and then, from simple CSV and JSON files to data stored in a relational database system which usually understands the 'Structured Query Language', for short SQL. This session offers an intro to the most basic/most important SQL commands.

For starters, we'll make sense out of some more three letter acronyms, like DDL, DML, DQL etc. From creating and dropping database objects to ingesting, manipulating and retrieving data, you'll learn when to use which commands and options. We will not spare out Joins and aggregate functions, so you can really make sense of it all.

For the demos we will use the Microsoft SQL Server, which offers freely available editions (Express and Developer) so you can practice without incurring costs.

Eine SQL-Einführung für den gelegentlichen DB-Entwickler en de

Jeder Entwickler muss gelegentlich Daten bearbeiten, von einfachen CSV- oder JSON-Dateien bis zu Daten in relationalen Datenbanksystemen, die meistens die 'Structured Query Language' sprechen, kurz SQL. Diese Session bietet eine Einführung in die wesentlichen SQL-Befehle.

Zuerst bringen wir etwas Licht ins Dunkel der 3-Buchstaben-Abkürzungen wie DDL, DML, DQL etc. Wir lernen das Anlegen und Entsorgen von Datenbank-Objekten, wie man Daten einfügt, bearbeitet und abfragt, für jede Aufgabe die richtigen Kommandos und Optionen. Wir lassen auch Joins und Aggregatfunktion nicht aus, um das Gesamtbild zu sehen.

Für die Demos werden wir den Microsoft SQL Server nutzen, von dem es frei erhätliche Versionen (Express und Developer) gibt, so daß Ihr ohne weitere Kosten üben könnt.

Data profiling done right from the start en

This presentation gives an overview of what Data Profiling is about (spoiler: determining and possibly improving the consistency and plausibility of your data) and how it relates to terms as Data Quality and Data Governance. We'll even touch on Master Data Management and Database Normalization.

Why you need them and how you can save time and money by applying profiling techniques early in your processes, gaining benefits for the downstream use of your data. And we'll see which properties of your data to assess and learn some tools that you might or might not be aware are suitable for these tasks.

Key take-aways:
- How will your Data Quality improve by using Data Profiling techniques.
- How can the downstream processes profit from applying Data Profiling early.
- Which properties of your data to assess for optimum results.

Slides only/20 mins

From SQL to KQL via Azure Data Explorer en de

We all know (and love) our SQL, the Structured Query Language. Some of us have been writing SQL queries for decades. But there's a relatively new kid on the block: KQL, the Kusto Query Language. A powerful tool to explore data, discover patterns and anomalies, even analyze streaming data and time series. It's also the language used to query the Azure log databases and your IoT sensor data.

In this session you'll get to know the most important elements of KQL: tables, queries and the pipe, visualizations and dashboards. We'll see what it has in common with SQL and what the differences are. We'll learn our ways to get from SQL to KQL.

One possible tool of choice to get going with KQL is ADX, the Azure Data Explorer (others are the KQL extension for Azure Data Studio or the Kusto.Explorer). For the practical parts of this session we'll use ADX with the free cluster option as our environment to ingest, analyze and visualize our data.

Von SQL zu KQL via Azure Data Explorer en de

Wir alle kennen (und lieben) unser SQL, die Structured Query Language. Manche von uns schreiben SQL queries schon seit Jahrzehnten. Aber es gibt ein relativ neues kid on the block: KQL, die Kusto Query Language. Ein mächtiges Tool, um Daten zu untersuchen, Muster und Anomalien zu entdecken, ja sogar Streaming-Daten und Zeitreihen zu analysieren. Es ist auch die Sprache, in der die Azure-Log Datenbanken und Deine IoT-Sensor-Daten abgefragt werden können.

In dieser Session lernt Ihr die wichtigsten Elemente der KQL kennen: Tabellen, Abfragen und die Pipe, Visuals und Dashboards. Wir werden sehen, was die Gemeinsamkeiten mit SQL sind und was die Unterschiede. Wir lernen Wege kennen, um von SQL zu KQL zu gelangen.

Ein mögliches Tool der Wahl, um mit KQL zu beginnen ist ADX, der Azure Data Explorer (andere sind die KQL extension für Azure Data Studio oder der Kusto.Explorer). Für die praktischen Teile dieser Session nutzen wir ADX mit der free cluster Option als unsere Umgebung um unsere Daten zu importieren, analysieren und zu visualisieren.