Keine Ergebnisse gefunden

Ihre Suche ergab keine Treffer

Was ist ein Data Warehouse?

Ein Data Warehouseist eine Art Datenmanagementsystem, mit dem Business Intelligence (BI)-Aktivitäten, insbesondere Analysen, aktiviert und unterstützt werden. Data Warehouses dienen ausschließlich der Durchführung von Abfragen und Analysen und enthalten häufig große Mengen historischer Daten. Die Daten in einem Data Warehouse stammen normalerweise aus einer Vielzahl von Quellen, z. B. aus Anwendungsprotokolldateien und Transaktionsanwendungen.

Ein Data Warehouse zentralisiert und konsolidiert große Datenmengen aus mehreren Quellen. Die Analysefunktionen ermöglichen es Organisationen, wertvolle Geschäftsergebnisse aus ihren Daten abzuleiten, um bessere Entscheidungen zu treffen. Mit der Zeit wird ein historischer Datensatz erstellt, der für Datenwissenschaftler und Geschäftsanalysten von unschätzbarem Wert sein kann. Aufgrund dieser Funktionen kann ein Data Warehouse als eine Organisation betrachtet werden – “eine einzige verlässliche Datenquelle (Single Source of Truth, SSOT)”.

Ein typisches Data Warehouse enthält häufig die folgenden Elemente:

  • Eine relationale Datenbank zum Speichern und Verwalten von Daten
  • Eine Lösung zum Extrahieren, Laden und Transformieren (ELT) zur Vorbereitung der Daten für die Analyse
  • Statistische Analyse-, Berichts- und Data Mining-Funktionen
  • Client-Analyse-Tools zur Visualisierung und Präsentation von Daten für Geschäftsanwender
  • Andere, komplexere analytische Anwendungen, die verwertbare
  •  Daten durch Anwendung von Algorithmen für Machine Learning und künstliche Intelligenz erzeugen

Warum nicht Analytics für Ihre OLTP-Umgebung ausführen?

Data Warehouses sind relationale Umgebungen, die zur Datenanalyse, insbesondere von historischen Daten, verwendet werden. Organisationen nutzen Data Warehouses, um Muster und Beziehungen in ihren Daten zu erkennen, die sich im Laufe der Zeit entwickeln.

Im Gegensatz dazu werden Transaktionsumgebungen verwendet, um Transaktionen fortlaufend zu verarbeiten. Sie werden häufig für die Auftragserfassung sowie für Finanz- und Einzelhandelsgeschäfte verwendet. Sie bauen nicht auf historischen Daten auf. In OLTP-Umgebungen werden Verlaufsdaten häufig archiviert oder einfach gelöscht, um die Performance zu verbessern.

Data Warehouses und OLTP-Systeme unterscheiden sich erheblich.

Data Warehouse OLTP-System
Workload Unterstützen Ad-hoc-Anfragen und Datenanalysen Unterstützen nur vordefinierte Operationen
Datenänderungen Werden regelmäßig automatisch aktualisiert Aktualisierungen durch Endbenutzer, die einzelne Anweisungen ausgeben
Schema-Design Verwendet teilweise denormalisierte Schemata, um die Performance zu optimieren Verwendet vollständig normalisierte Schemata, um Datenkonsistenz sicherzustellen
Daten-Scanning Umfasst Tausende bis Millionen Zeilen Greift auf nur wenige Datensätze gleichzeitig zu
Historische Daten Speichert Daten vieler Monate oder Jahre Speichert Daten nur für Wochen oder Monate

Data Warehouses, Data Marts und Operational Data Stores

Data Warehouses haben zwar ähnliche Funktionen, unterscheiden sich jedoch von Data Marts und Operational Data Stores (ODS). Ein Data Mart umfasst die gleichen Funktionen wie ein Data Warehouse, jedoch in einem sehr viel begrenzteren Anwendungsbereich – typischerweise in einer einzelnen Abteilung oder einem Geschäftsbereich. Daher sind Data Marts einfacher zu etablieren als Data Warehouses. Sie führen jedoch häufig zu Inkonsistenzen, da es schwierig sein kann, Daten über zahlreiche Data Marts hinweg einheitlich zu verwalten und zu steuern.

ODS unterstützen nur den täglichen Betrieb, sodass die Anzeige historischer Daten sehr eingeschränkt ist. Obwohl sie sich als Quellen für aktuelle Daten sehr gut eignen und häufig von Data Warehouses als solche verwendet werden, unterstützen sie keine historisch umfangreichen Abfragen.

Benötige ich einen Data Lake?

Organisationen verwenden sowohl Data Lakes als auch Data Warehouses für große Datenmengen aus verschiedenen Quellen. Die Wahl des Verwendungszeitpunkts hängt davon ab, was die Organisation mit den Daten vorhat. Im Folgenden wird beschrieben, wie die einzelnen Elemente am besten verwendet werden:

  • Data Lakes speichern eine Fülle von unterschiedlichen, ungefilterten Daten, die später für einen bestimmten Zweck verwendet werden sollen. Daten aus Branchenanwendungen, Mobile Apps, sozialen Medien, IoT-Geräten usw. werden als Rohdaten in einem Data Lake erfasst. Die Struktur, Integrität, Auswahl und das Format der verschiedenen Datensätze werden zum Zeitpunkt der Analyse von der Person, die die Analyse durchführt, abgeleitet. Wenn Organisationen kostengünstige Speicherlösungen für unformatierte, unstrukturierte Daten aus mehreren Quellen benötigen, die sie in Zukunft für einen bestimmten Zweck verwenden möchten, ist ein Data Lake möglicherweise die richtige Wahl.
  • Data Warehouses sind speziell für die Analyse von Daten vorgesehen. Die analytische Verarbeitung innerhalb eines Data Warehouse wird für Daten durchgeführt, die für die Analyse vorbereitet, d. h. erfasst, kontextualisiert und transformiert wurden, mit dem Ziel, analysebasierte Daten zu generieren. Data Warehouses können auch große Datenmengen aus verschiedenen Quellen verarbeiten. Wenn Organisationen erweiterte Datenanalysen oder Analysen benötigen, die auf historischen Daten aus mehreren Quellen im Unternehmen basieren, ist Data Warehouse wahrscheinlich die richtige Wahl.

Vorteile eines Data Warehouse

Data Warehouses bieten den übergreifenden und einzigartigen Vorteil, dass Organisationen große Mengen verschiedener Daten analysieren und daraus einen signifikanten Wert ziehen sowie den Verlauf aufzeichnen können.

Vier einzigartige Merkmale (beschrieben von dem Informatiker William Inmon, der als der Vater des Data Warehouse gilt) ermöglichen es Data Warehouses, diesen übergreifenden Vorteil zu erzielen. Nach dieser Definition sind Data Warehouses Folgendes:

  • Themenbezogen. Sie können Daten zu einem bestimmten Thema oder Funktionsbereich (z. B. Verkauf) analysieren.
  • Integriert. Data Warehouses sorgen für Konsistenz zwischen verschiedenen Datentypen aus unterschiedlichen Quellen.
  • Nicht flüchtig. Sobald sich die Daten in einem Data Warehouse befinden, sind sie beständig und ändern sich nicht mehr.
  • Zeitvariant. Bei der Data Warehouse-Analyse wird die Veränderung im Zeitverlauf untersucht.

Ein gut gestaltetes Data Warehouse führt Abfragen sehr schnell durch, liefert einen hohen Datendurchsatz und bietet den Endbenutzern genügend Flexibilität, Daten “im Slice-and-Dice-Verfahren zu analysieren” oder das Datenvolumen zur genaueren Untersuchung zu reduzieren, um eine Vielzahl von Anforderungen zu erfüllen – ob auf hohem Niveau oder auf sehr feinem, detailliertem Niveau. Das Data Warehouse dient als funktionale Grundlage für Middleware-BI-Umgebungen, die Endbenutzern Berichte, Dashboards und andere Schnittstellen bereitstellen.

Data Warehouse-Architektur

Die Architektur eines Data Warehouse wird von den spezifischen Anforderungen des Unternehmens bestimmt. Gängige Architekturen umfassen

  • Einfach. Alle Data Warehouses teilen sich ein grundlegendes Design, in dem Metadaten, Übersichtsdaten und Rohdaten im zentralen Repository des Warehouse gespeichert werden. Das Repository wird an einem Ende von Datenquellen gespeist und Endbenutzern zur Analyse, Berichterstellung und zum Mining am anderen Ende zur Verfügung gestellt.
  • Einfach mit einem Staging-Bereich. Betriebsdaten müssen vor dem Ablegen im Data Warehouse bereinigt und verarbeitet werden. Obwohl dies programmgesteuert erfolgen kann, fügen viele Data Warehouses einen Staging-Bereich für Daten hinzu, bevor diese in das Warehouse gelangen, um die Datenvorbereitung zu vereinfachen.
  • Hub und Spoke. Durch das Hinzufügen von Data Marts zwischen dem zentralen Repository und den Endbenutzern kann ein Unternehmen sein Data Warehouse anpassen, um verschiedene Geschäftsbereiche zu bedienen. Wenn die Daten einsatzbereit sind, werden sie in den entsprechenden Data Mart verschoben.
  • Sandboxes. Sandboxes sind private, sichere Bereiche, in denen Unternehmen schnell und informell nach neuen Datensätzen oder Möglichkeiten zur Datenanalyse suchen können, ohne die formalen Regeln und Protokolle des Data Warehouse einhalten zu müssen.

Die Entwicklung von Data Warehouses – von der Datenanalyse zur KI und zum Machine Learning

Als Ende der 1980er-Jahre Data Warehouses auf den Markt kamen, sollten sie den Datenfluss von Betriebssystemen in Decision-Support-Systeme (DSS) unterstützen. Diese frühen Data Warehouses erforderten eine enorme Redundanz. Die meisten Organisationen verfügten über mehrere DSS-Umgebungen, die ihren verschiedenen Benutzern zur Verfügung standen. Obwohl die DSS-Umgebungen einen Großteil derselben Daten verwendeten, wurden das Sammeln, Bereinigen und Integrieren der Daten häufig für jede Umgebung wiederholt.

Als Data Warehouses immer effizienter wurden, entwickelten sie sich von Informationsspeichern, die traditionelle BI-Plattformen unterstützten, zu umfassenden Analyseinfrastrukturen, die eine Vielzahl von Anwendungen unterstützen, wie z. B. operative Analysen und Performancemanagement.

Data Warehouse-Iterationen wurden im Laufe der Zeit weiterentwickelt, um dem Unternehmen einen zusätzlichen Mehrwert zu bieten.

Schritt Funktionen Geschäftswert
1 Transaktionsberichte Stellen relationale Informationen zum Erstellen von Snapshots der Geschäftsleistung bereit
2 Slice and Dice, Ad-hoc-Abfrage, BI-Tools Erweitert die Funktionen für bessere Einblicke und verlässlichere Analysen
3 Vorhersage der künftigen Performance (Data Mining) Entwickelt Visualisierungen und zukunftsorientierte Business Intelligence
4 Taktische Analysen (räumlich, statistisch) Bietet an “Was-wäre-wenn”-Szenarien zur Information über praktische Entscheidungen auf der Grundlage einer umfassenderen Analyse
5 Speichert Daten vieler Monate oder Jahre Speichert Daten nur für Wochen oder Monate

Um jeden dieser fünf Schritte zu unterstützen, waren immer mehr Datensätze erforderlich. Insbesondere die letzten drei Schritte schaffen die Voraussetzung für ein noch breiteres Spektrum an Daten- und Analysefunktionen.

Heute verändern KI und Machine Learning nahezu alle Branchen, Dienstleistungen und Unternehmensressourcen – und Data Warehouses sind da keine Ausnahme. Die Ausweitung von Big Data und die Anwendung neuer digitaler Technologien führen zu Veränderungen bei den Anforderungen und Funktionen des Data Warehouse.

Das autonome Data Warehouse ist der bislang letzte Schritt in dieser Entwicklung, der es Unternehmen ermöglicht, noch mehr Nutzen aus ihren Daten zu ziehen und gleichzeitig die Kosten zu senken sowie die Zuverlässigkeit und Performance des Data Warehouse zu verbessern.

Erfahren Sie mehr über autonome Data Warehouses in unserem E-Book und beginnen Sie dann mit Ihrem eigenen autonomen Data Warehouse.

Entwerfen eines Data Warehouse

Wenn ein Unternehmen ein Data Warehouse entwerfen möchte, muss es zunächst seine spezifischen Geschäftsanforderungen definieren, den Umfang vereinbaren und ein Konzept entwerfen. Das Unternehmen kann dann sowohl den logischen als auch den physischen Entwurf für das Data Warehouse erstellen. Der logische Entwurf umfasst die Beziehungen zwischen den Objekten, und der physische Entwurf beinhaltet die beste Methode zum Speichern und Abrufen der Objekte. Das physische Design umfasst auch Transport-, Sicherungs- und Wiederherstellungsprozesse.

Jedes Data Warehouse-Design muss Folgendes berücksichtigen:

  • Spezifischen Dateninhalt
  • Beziehungen innerhalb und zwischen Datengruppen
  • Die Systemumgebung, die das Data Warehouse unterstützt
  • Die Arten der erforderlichen Datentransformationen
  • Häufigkeit der Datenaktualisierungen

Ein Hauptfaktor bei der Gestaltung ist der Bedarf der Endbenutzer. Die meisten Endbenutzer sind daran interessiert, Analysen durchzuführen und Daten in ihrer Gesamtheit anstatt als einzelne Transaktionen zu betrachten. Häufig wissen Endbenutzer jedoch erst dann wirklich, was sie wollen, wenn ein spezifischer Bedarf entsteht. Daher sollte der Planungsprozess genügend Exploration umfassen, um den Bedarf zu antizipieren. Schließlich sollte das Data Warehouse-Design Raum für Erweiterung und Weiterentwicklung bieten, um mit den sich wandelnden Anforderungen der Endbenutzer Schritt zu halten.

Die Cloud und das Data Warehouse

Data Warehouses in der Cloud bieten dieselben Eigenschaften und Vorzüge wie On-Premises-Data Warehouses, aber mit den zusätzlichen Vorteilen von Cloud Computing, wie z. B. Flexibilität, Skalierbarkeit, Agilität, Sicherheit und geringere Kosten. Mithilfe von Cloud-Data Warehouses können sich Unternehmen ausschließlich darauf konzentrieren, Nutzen aus ihren Daten zu ziehen, anstatt die Hardware- und Software-Infrastruktur zur Unterstützung von Data Warehouse aufbauen und verwalten zu müssen.

Informationen zu Oracle Cloud- und Data Warehouses (PDF)

Bereitstellung ohne Komplexität: Autonomous Data Warehouse

Die letzte Iteration des Data Warehouse ist das autonome Data Warehouse, das sich auf KI und Machine Learning stützt, um manuelle Aufgaben zu vermeiden und die Einrichtung, Bereitstellung und das Datenmanagement zu vereinfachen. Ein autonomes Data Warehouse als Dienst in der Cloud erfordert keine von Menschen durchgeführte Datenbankadministration, Hardwarekonfiguration bzw. -verwaltung oder Softwareinstallation.

Das Erstellen des Data Warehouse, das Sichern, Patchen und Aktualisieren der Datenbank sowie das Erweitern oder Reduzieren der Datenbank werden automatisch ausgeführt – mit derselben Flexibilität, Skalierbarkeit, Agilität und den gleichen Kostensenkungen, die Cloud-Plattformen bieten. Das autonome Data Warehouse verringert die Komplexität, beschleunigt die Bereitstellung und setzt Ressourcen frei, sodass sich Unternehmen auf Aktivitäten konzentrieren können, die einen Mehrwert für das Unternehmen bieten.

Oracle Autonomous Data Warehouse

Oracle Autonomous Data Warehouse ist ein benutzerfreundliches, vollständig autonomes Data Warehouse, das sich elastisch skalieren lässt, schnelle Abfrageperformance liefert und keine Datenbankadministration erfordert. Das Oracle Autonomous Data Warehouse lässt sich sehr einfach und schnell einrichten.

Erfahren Sie mehr über Oracle Autonomous Data Warehouse (PDF)