Apache Superset für Fortgeschrittene

Hat man einen Chart erstellt — beispielsweise den Chart "CIA World Factbook Table" im Kapitel "Upload von Daten" (siehe auch das Arbeitsblatt "Einführung in Apache Superset") — so will man typischerweise den Chart zu einem Dashboard hinzufügen und publizieren.

Neues Dashboard erstellen:

Damit ist das Dashboard zwar erstellt, doch wir müssen es noch layouten und ihm noch Charts zuordnen.

Dieses Kapitel zeigt, wie man ein neu erstelltes Dashboard bearbeitet (Layout, d.h. Positionierung der Charts).

Dashboard bearbeiten:

Dieses Kapitel zeigt, wie man ein Dashboard publiziert und mit anderen teilt.

Dashboard publizieren:

Nun ist dein Dashboard publiziert und kann anderen Benutzer*innen zur Verfügung gestellt werden!

Dank der Datenbanksprache SQL gibt es die Möglichkeit, zwei oder mehr Tabellen mit einander zu verknüpfen und vereint als Datenquelle zu verwenden. Dazu kann mittels des SQL Editors eine sogenannte "Sicht" (en: View) erstellt werden, die dann in der Tabellenliste als weitere Tabelle erscheint.

Nachfolgend ein Beispiel: Dafür benötigen wir die Tabellen factbook_data und country_codes: factbook_data enthält für jedes Land Kennzahlen wie Population und Fläche (in km²). Die beiden Tabellen musst du zuerst als Dateien country_codes.csv und cia_world_factbook_2019.csv herunterladen: siehe "Apache Superset-Daten (CSV)" OpenSchoolMaps.ch  Unterrichtsmaterialien  Apache Superset Für Fortgeschrittene  Daten. Die heruntergeladene Datei ist eine zip-Datei, die du zuerst in ein eigenes Verzeichnis kopierst und dort auspackst ("unzip"). Nun sind die zwei Dateien bereit, um auf Superset hochgeladen zu werden. Das Hochladen von CSV-Dateien ist im Kapitel "Upload von Daten" beschrieben.

Angenommen wir wollen die Bevölkerungsdichte aller Länder als Karte darstellen. Die Bevölkerungsdichte eines Landes ist die Population bezogen auf die Fläche dieses Landes. Wir verknüpfen dazu die Tabelle country_codes mit der Tabelle factbook_data, und zwar über den country_name, der bei beiden das Land identifiziert:

Nun lässt sich die View wie eine Tabelle verwenden, typischerweise zur Erstellung eines Charts.

Die Bevölkerungsdichte ist wie gesagt das Verhältnis zwischen Population und Fläche, also ein Attributs-Merkmal 'Ratio' (Verhältniszahl) pro Geometrie-Datentyp 'Area'. Gemäss Kapitel "Zuordnung von Geodaten zu Kartentypen" eignet sich dafür die Choroplethenkarte. In Superset sind das die World Map und die Country Map.

Der im vorhergehenden Kapitel gezeigte Arbeitsablauf, bei dem es um die Verknüpfung von Tabellen ging, eröffnet die umfangreichen Möglichkeiten der Datenbanksprache SQL. Der Arbeitsablauf kann nämlich auch nur auf eine Tabelle verwendet werden, beispielsweise, um Daten vorzuverarbeiten.

Hier ein Beispiel-Skript mit einer SQL-Window-Funktion, welches den Gebrauch und die Produktion von Elektrizität eines Landes vergleicht und Durchschnittswerte berechnet:

Die oben erwähnten Basis-Datentypen genügen alleine nicht den vielfältigen Anforderungen von Daten. Wie die zeitlichen (en: temporal) sind auch die raumbezogenen (en: spatial) Daten interessant für die Analyse und Visualisierung. Raumbezogene/räumliche Datentypen - oft auch Geodaten genannt - haben besondere Eigenschaften. Superset verlangt darum mit Blick auf bestimmte Charts zusätzlich die Angabe einer "Datentyp-Rolle" (en: Data type role) wie beispielsweise "Point" (de: Punkt). Für die Datenbank sind diese Daten weiterhin beispielsweise vom Basis-Datentyp Text, doch Superset kann diese dann speziell interpretieren. Indem der Benutzer die Datentyp-Rolle angibt, ist es Superset möglich, beispielsweise Daten als Karten (Map Charts) zu visualisieren.

Die Geometrie ist ein bekannter raumbezogener Datentyp. Die vier wichtigsten Geometrie-Datentypen heissen genormt Point (de: Punkt; Synonyme Koordinate, Punktkoordinate, Ort, Lage), LineString (de: Linie; Synonyme Line, Polyline, Way) und Polygon (de: Fläche; Synonym: Area) sowie "Volumen" (en: Volume). Ein Punkt bestimmt die Position/Lage eines Objekts und besteht aus einem Paar von Koordinaten. Für die internationale Angabe von Positionen auf der Erde — beispielsweise mit dem GPS — werden Längengrade und Breitengrade verwendet (en: Longitude/Latitude, abgekürzt: Lon/Lat).

Übersicht über raumbezogene Datentyp-Rollen in Apache Superset:

Im folgenden Kapitel wird erklärt, was mit dem Datentyp-Encoding gemeint ist.

Mit der Angabe eines Datentyps und einer "Datentyp-Rolle" ist es noch nicht getan: Es muss zusätzlich noch festgelegt sein, wie der Inhalt eines Datentyps kodiert ist. Man nennt dies Datentyp-Encoding (de: Datentyp-Kodierung).

Koordinaten sind nicht die einzige Möglichkeit zur Positionierung und Lagebestimmung von Objekten. Es gibt auch andere Georeferenzierungs-Systeme, wie die sogenannten ISO 3166-2 Codes und die Geohashes. Alle Georeferenzierungs-Systeme - Koordinate, ISO 3166-2 Code und Geohash - haben eigene Kodierungen.

In Superset kommen folgende Datentyp-Encodings vor:

Nachfolgend sind einige Informationen zu den Datentyp-Encodings zusammengestellt:

Auch geografische Namen wie "Rapperswil" oder Adressen wie "Oberseestrasse 10, Rapperswil-Jona" bilden eine Art textuelles Georeferenzierungs-System, wenn auch ein mehrdeutiges. Die Interpretation geografischer Namen ist ein aufwändiger Prozess und nennt sich Geokodierung.

Die Geokodierung ist ein Algorithmus und ein Prozess, der eine Beschreibung einer Position (Lage, Ort) — beispielsweise ein Geohash, eine Postadresse oder einen Ortsnamen — in eine Koordinate auf der Erdoberfläche wandelt.

Hier als Beispiel einer Geokodierung der Gebäudeadresse "Oberseestrasse 10, Rapperswil-Jona" ein Geokodierungs-Aufruf mit OpenStreetMap.

In der Geovisualisierung wird der oben beschriebene Visualisierungs-Prozess auf Geodaten und Karten angewendet. Dabei werden die Geodaten den Kartensymbolen zugeordnet; dies nennt man Symbolisierung (en: symbolization, styling).

Es gibt theoretisch folgende Kartentypen:

Die Kartentypen aus der Kartografie helfen, die Superset Map Charts zu gruppieren. Es werden hier nur die bekanntesten Kartentypen vorgestellt. Superset deckt nicht alle Kartentypen ab, stellt aber zurzeit schon zwölf verschiedene Map Chart-Typen zur Verfügung (vgl. auch der Anhang):

Standortkarten (en: Dot Map) werden symbolisiert mit Punktsignaturen (beispielsweise rote Symbole/Marker) bezogen auf Punkte/Orte. Zu diesem Kartentyp gehören folgende Superset Charts:

Netzkarten (en: Network map) (deutsches Synonym: Vektorkarten), werden symbolisiert mit Liniensignaturen (beispielsweise rote Linien) bezogen auf Linien. Zu diesem Kartentyp gehören folgende Superset Charts:

Choroplethenkarten (en. Choropleth Map) (deutsche Synonyme: Dichtemosaikkarten; Flächenkartogramme) werden symbolisiert mit Flächensignaturen bezogen auf Flächen. Die Werte sind hier meist nicht absolut, sondern relativ. Zu diesem Kartentyp gehören folgende Superset Charts:

Ortsdiagrammkarten (en. Symbol Map) werden symbolisiert mit lokalen Business-Diagrammen bezogen auf Orte bzw. Flächen. Man beachte den Unterschied von Symbol/Marker zu Diagramm. Zu diesem Kartentyp gehören folgende Superset Charts:

Ein weiterer Map Chart ist Deck.gl Multiple Layers. Dieser "Chart" erlaubt die Kombination von mehreren Deck.gl-Charts, zusammen mit einer Basiskarte.

Die Tabelle unten zeigt die Zuordnung von Geometrie-Datentypen auf der horizontalen Achse und Attributs-Merkmals-Levels auf der vertikalen Achse zu Kartentypen:

Aus Erfahrung heraus sind die am häufigsten verwendeten Map Charts einerseits Mapbox (Kartentyp Dot Map), wenn der Geometrie-Datentyp punkthaft (Point) ist, und andererseits Country Map (Choropleth Map), wenn der Geometrie-Datentyp flächenhaft (Area) ist.

Ein Dashboard kann die Darstellungs-Konfiguration (z.B. Chart-Farben) der Charts überschreiben. Dies ist möglich, indem man die Metadaten eines Dashboards editiert. Die Einstellungen findet man unter Dashboards  Entsprechendes Dashboard  Edit  Advanced  JSON metadata. Hier wirst du ein Textfeld namens "JSON Metadata" finden. Dies könnte z.B. so aussehen (es kann auch sein, dass es leer ist):

Die Parameter gelten allgemein für alle Dashboards:

Um die Farbe von einem Chart abzuändern, musst du "label_colors": {"key": "color"}, hinzufügen. Hier ein Beispiel wie das aussehen könnte:

Die "Keys" wie z.B. "girl" kannst du in der Legende des jeweiligen Charts finden.

Jeder Punkt bei z.B. Scatterplot zeigt dessen Längengrad und Breitengrad als Tooltip-Text an. Dieser ist beim Chart unter Advanced  Javascript tooltip generator anpassbar.

Im Textfeld muss man eine Funktion schreiben, die einen String zurückgibt, der dann als Tooltip angezeigt wird. Hier ein einfaches Beispiel, welches den Tooltip zu "test" setzt:

Um einen sinnvolleren Tooltip zu erhalten, muss man zuerst die Daten auswählen, die man nutzen will. Das geht durch das Hinzufügen von den Spalten unter Extra data for JS.

Wenn du dir jetzt für jeden Punkt einen Tooltip anzeigen lassen willst, mit Informationen von einer Spalte mit dem Namen "Name", musst du die Funktion so schreiben:

Ereignis- und Intervall-Annotationen sind unter Settings  Annotation Layers der Superset-Menüleiste erstellbar. Die Description einer Annotation wird im Chart als Beschreibungstext vom Ereignis oder Intervall dargestellt. Das Start- und End-Datum dient dem Intervall als Zeitspanne, dem Ereignis nur das Start-Datum als fixer Zeitpunkt. Diese Art von Annotation muss zu einem Annotation-Layer hinzugefügt werden.

Ereignis- und Intervall-Annotationen können auch mit einer Table erstellt werden. In der Datenbank-Tabelle soll es für die Annotationen eine Kolonne für die Beschreibung (Text), eine für das Start-Datum (Date) und evtl. für das End-Datum (Date) vorhanden sein.

Die Daten für Zeit-Annotationen werden von einem beliebigen Line Chart geholt. Dessen "Verlauf" ist in anderen Diagrammen mit einer Zeit-Achse visualisierbar.

Ereignisse (en: Events) sind eine Liste von Zeitpunkten (Datum) mit Beschreibungen. Sie werden als vertikale Linien dargestellt. Ihre Beschreibung wird in den Tooltips angezeigt, wenn man mit der Maus über sie fährt.

Genau wie Events, aber mit einem Start- und Enddatum, werden sie als Bereich dargestellt.

Zeitreihen werden als zusätzliche Linie auf dem Liniendiagramm hinzugefügt. Der Name und die Anzeigeeigenschaften können konfiguriert werden.

Formeln werden als zusätzliche Linie in das Diagramm eingefügt. Sie können einen mathematischen Ausdruck eingeben, der auf der Client-Seite mit "mathjs" ausgewertet wird. Man kann die Anzeigeeigenschaften festlegen und beliebige mathematische Formel angeben.