gf2:datenbanken:herausforderungen [DokuWiki CSC]

Dies ist eine alte Version des Dokuments!

Das Speichern von Datensätzen kann verschieden gelöst werden. Zum einen werden oft die uns nun bekannten relationale Datenbanken genutzt und Datensätze oder Felder via SQL abgefragt. Werden diese relationale Datenbanken genutzt werden, dann muss zum Analysieren dieser Daten wird oft eine andere Datenbank, sog. OLAP, verwendet. Wird mit relationalen Datenbanken gearbeitet, ist somit immer ein zweites Analysesystem nötig, um die verwalteten Daten zu analyiseren, Prognosen zu stellen oder ähnliches.

Datenbankentypen im Überblick

Relationale DB: Stellen Sie sich vor, Sie organisieren Daten in übersichtlichen Tabellen. Die Daten sind hier sehr geordnet.
OLAP DB: Online Analytical Processing (OLAP) ist eine Technologie, die für Analysezwecke optimiert ist. Hier werden die Relationale Datenbanken oder aber auch multidimensionale Datenwürfel verwendet, um so die vorhandenen Daten für das jeweilige Unternehmen zu analysieren und dadurch nutzbar zu machen.
NoSQL-DBs: Dies sind die Datenbankentypen, die nicht mit den herkömmlichen SQL-Methoden gleichzusetzen sind.
- Graph DB: Als Beispiel viele soziale Netzwerke, in denen die Beziehungen zwischen Menschen am wichtigsten sind. Es ist wie ein (gerichteter) Graph, wer mit wem befreundet ist.
- Key-Value-Store-DB: Dies ist wie eine Liste, bei der jedes Feld einen eigenen Schlüssel hat. Die Felder mit dem gleichen Wert haben den gleichen Schlüssel und in den Datenbanken wird der echte Wert nur noch einmal gespeichert, anschliessend nur noch der entsprechende Schlüssel im Feld gespeichert.
- Spalten-DB: Hier werden die Daten spaltenweise gespeichert. Dies bringt den Vorteil mit sich, dass wenn viele ähnliche Werte vorhanden sind. Hier können diese zusammengefasst gespeichert werden.
- (Dokumenten-DB: Eine Dokumenten-Datenbank ist eine Art von Datenbank, die Informationen in einem JSON-ähnlichen Format speichert.)

Im Vergleich zu unserem Instahub mit den generierten 200 Nutzern ist Instagram mit momentan über 2 Milliarden Nutzern ( Siehe hier) verwaltet seine riesigen Datenmengen.

Viele heute grosse Tech-Unternehmen standen vor 10 bis 15 Jahren vor den folgenden zentralen Fragen, deren Beantwortung zur Entwicklung der nötigen Technologien für unsere heutigen (und vermutlich auch viele zukünftige) sozialen Netzwerke oder auch andere Anwendungen (Google, Amazon-Store, …) zentral sind.

In diesem Zusammenhang muss von der Herausforderung des Verwaltens und Analysierens von grossen Datenmengen gesprochen werden. Doch, was ist überhaupt genau BIG DATA? Eine mögliche Erklärung finden Sie im Film. Grundsätzlich werden immer mehr Daten erzeugt, diese sind oft unstrukturiert von verschiedenen Quellen und müssen fast zeitgleich verarbeitet werden, möglichst fehlerfrei versteht sich. Dies scheint ein fast unmögliches Vorhaben, diese unglaublich grosse Menge an Daten zu bearbeiten und zu analysieren.

<h3 class=" page-header pb-3 mb-4 mt-5"></h3> https://datasolut.com/was-ist-big-data/

Um diese unglaubliche Menge an Daten überhaupt verwalten und analysieren zu können, ist eine Kombination verschiedener Technologien und Architekturen nötig. Diese sind auf Skalierbarkeit, Leistung und Zuverlässigkeit ausgelegt.

Es geht darum, dass die Datenbank auf verschiedene Server (bzw. Rechenzentren) verteilt wird, dass bei steigender Anzahl an Nutzern eine Verfügbarkeit wichtig ist. Zudem sollte möglichst rasch und effizient, mit kleiner Fehlertoleranz eine Abfrage bearbeitet werden – oder Analyse von Daten möglich sein. Die Anwendung (als Beispiel Instagram), welche die riesige Datenbank nutzt, muss aber konstant und korrekt zu funktionieren, ohne Ausfälle oder Fehler.

Dies ist bei dieser schieren Datenflut eine echte Herausforderung.
Im Folgenden werden einige der wichtigsten zentralen technischen Fragestellungen und Probleme der Verarbeitung von sehr grossen Datenmengen thematisiert. Diese Probleme wurden oft gemeinsam von vielen heute grossen Tech-Unternehmen wie Amazon, Google oder auch einigen Universitäten, welche sich in diesem Gebiet spezialisierten, gelöst. Eine erste Antwort ist jeweils formuliert und zusätzliches Lesematerial bereitgestellt.
Die mit diesem Thema einhergehenden ethischen oder auch politischen Themen werden ausgeklammert, wären aber sehr interessant.

Wie kann eine so grosse Datenbank überhaupt gespeichert werden? Die Datenbank muss auf verschiedene Server- bzw. Rechenzentren verteilt werden!