Oracle Big Data

Was ist Big Data?
Was ist Big Data?
 

Die Definition von Big Data

 

Was ist Big Data? (2:32)

Was genau versteht man unter Big Data?

Um Big Data zu verstehen, ist es hilfreich, den geschichtlichen Hintergrund zu kennen. Das ist die Definition von Gartner, die etwa aus dem Jahr 2001 stammt und nach wie vor die gängigste ist: Unter Big Data versteht man Daten, die in großer Vielfalt, in großen Mengen und mit hoher Geschwindigkeit anfallen. Dies ist auch als die drei V-Begriffe bekannt (Variety, Volume, Velocity).

Einfach gesagt: Mit Big Data bezeichnet man größere und komplexere Datensätze, vor allem von neuen Datenquellen. Diese Datensätze sind so umfangreich, dass klassische Datenverarbeitungssoftware sie nicht verwalten kann. Aber mit diesen massiven Datenvolumina können Sie geschäftliche Probleme angehen, die Sie bislang nicht lösen konnten.

Die drei V-Begriffe von Big Data

Volume (Menge)

Die Menge an Daten ist wichtig. Bei Big Data müssen Sie große Mengen an unstrukturierten Daten mit geringer Dichte verarbeiten. Dabei kann es sich um Daten mit unbekanntem Wert handeln, z. B. Daten-Feeds von Twitter, Clickstreams von einer Webseite oder mobilen App oder Daten von Gerätesensoren. Für einige Unternehmen können das etliche Terabytes an Daten sein. Für andere Hunderte von Petabytes.

Velocity (Geschwindigkeit)

Die Geschwindigkeit ist die Schnelligkeitsrate, mit der Daten empfangen werden und mit der (vielleicht) auf sie reagiert wird. Im Normalfall fließt die höchste Geschwindigkeit von Daten direkt in den Speicher und wird nicht auf eine Festplatte geschrieben. Einige internetfähige, intelligente Produkte arbeiten in Echtzeit oder beinahe in Echtzeit. Für sie sind Auswertungen und Aktionen in Echtzeit erforderlich.

Variety (Vielfalt)

Vielfalt bezieht sich auf die zahlreichen verfügbaren Datentypen. Traditionelle Datentypen waren strukturiert und ideal für relationale Datenbanken geeignet. Durch die Zunahme von Big Data gibt es nun neue, unstrukturierte Datentypen. Unstrukturierte und semistrukturierte Datentypen wie Text, Audio und Video erfordern zusätzliche Vorabverarbeitung, um die Bedeutung und die unterstützenden Metadaten zu gewinnen.

Der Wert von Big Data – und die Wahrheit

In den letzten Jahren sind weitere V-Begriffe aufgekommen: value (Wert) und veracity (Wahrhaftigkeit).

Daten haben einen intrinsischen Wert. Dieser ist aber erst dann nützlich, wenn er entdeckt wird. Ebenso wichtig ist folgender Aspekt: Wie wahrheitsgetreu sind Ihre Daten – und wie sehr können Sie sich auf sie verlassen?

Big Data sind mittlerweile eine äußerst wichtige Ressource. Man denke nur an die weltweit größten Technologieunternehmen. Ein großer Teil ihres Wertangebots stammt von ihren Daten, die sie kontinuierlich analysieren, um eine höhere Effizienz zu erzielen und neue Produkte zu entwickeln.

Jüngste technologische Errungenschaften haben die Kosten von Datenspeichern und Computing drastisch gesenkt, wodurch die Aufbewahrung von Daten einfacher und kostengünstiger denn je ist. Da größere Mengen an Big Data jetzt günstiger und einfacher zugänglich sind, können Sie präzisere geschäftliche Entscheidungen treffen.

Wert in Big Data finden – dabei geht es nicht nur um die Analyse (die für sich auch schon ein Vorteil ist). Vielmehr handelt es sich um einen kompletten Entdeckungsprozess, der einsichtige Analysten, Geschäftsbenutzer und Führungskräfte erfordert, die die richtigen Fragen stellen, Muster erkennen, begründete Vermutungen anstellen und Verhaltensweisen prognostizieren.

Aber wie sind wir an diesen Punkt gelangt?

Laden Sie das kostenlose Whitepaper herunter:

Die Geschichte von Big Data

Das Konzept von Big Data selbst ist zwar relativ neu. Doch die Ursprünge von großen Datensätzen gehen zurück in die 1960er und 1970er Jahre, als man gerade anfing, sich mit Daten zu beschäftigen, die ersten Rechenzentren einrichtete und die relationale Datenbank entwickelte.

Etwa im Jahr 2005 erkannte man langsam, wie viele Daten Benutzer bei Facebook, YouTube und anderen Online-Diensten generierten. Im selben Jahr wurde Hadoop entwickelt, ein Open-Source-Framework, das speziell für die Speicherung und Analyse von umfangreichen Datensätzen ausgelegt ist. Auch NoSQL gewann in dieser Zeit an Beliebtheit.

Die Entwicklung von Open-Source-Frameworks wie Hadoop (und in jüngerer Vergangenheit Spark) war für die Zunahme von Big Data essenziell, da diese die Verarbeitung von großen Datenmengen vereinfachten und die Speicherkosten senkten. Seitdem ist das Volumen von Big Data massiv gewachsen. Benutzer generieren nach wie vor Unmengen von Daten – aber es sind nicht nur Menschen, die das tun.

Durch das Internet der Dinge sind mehr Objekte und Geräte mit dem Internet verbunden und sammeln Daten zu Nutzungsmustern der Kunden und zur Produktleistung. Die Einführung des maschinellen Lernens hat zu noch mehr Daten geführt.

Die Entwicklung von Big Data ist schon weit vorangeschritten; die Nutzung von Big Data steht dagegen noch ganz am Anfang. Die Möglichkeiten von Big Data wurden durch Cloud-Computing noch erweitert. Die Cloud bietet flexible Skalierbarkeit und ermöglicht es Entwicklern, unkompliziert Ad-hoc-Cluster einzurichten, um eine Untergruppe der Daten zu testen.

Vorteile von Big Data und Datenanalysen:

  • Mit Big Data können Sie umfassendere Antworten finden, da mehr Informationen und Daten vorliegen.
  • Umfassendere Antworten sorgen für größeres Vertrauen in die Daten – was zu einem völlig neuen Ansatz zur Problemlösung führt.
 

Entdecken Sie mehr Big-Data-Ressourcen:


Anwendungsfälle für Big Data

Big Data können Sie in den unterschiedlichsten Geschäftsszenarien verwenden, vom Kundenerlebnis bis hin zu Analysen. Hier sind nur wenige Anwendungsfälle aufgeführt. (Weitere Anwendungsfälle finden Sie unter Oracle Big Data-Lösungen.)

Produktentwicklungs-
Unternehmen wie Netflix und Procter & Gamble nutzen Big Data, um die Kundennachfrage vorherzusagen. Sie erstellen prädiktive Modelle für neue Produkte und Dienste, indem sie zentrale Attribute alter und aktueller Produkte und Dienste klassifizieren und die Beziehung zwischen diesen Attributen und dem kommerziellen Erfolg dieser Angebote modellieren. Zusätzlich nutzt P&G Daten und Analysen von Fokusgruppen, Social Media, Testmärkten und frühzeitigen Einführungen in Ladengeschäften, um neue Produkte zu planen, produzieren und auf den Markt zu bringen.

Prädiktive Wartungs-
Faktoren, die mechanische Fehler prognostizieren können, sind möglicherweise tief in strukturierten Daten vergraben, z. B. das Herstellungsjahr, die Marke und das Modell eines Geräts. Sie finden sich aber auch in unstrukturierten Daten, die Millionen von Protokolleinträgen, Sensorendaten, Fehlermeldungen und Motortemperaturen enthalten. Wenn Unternehmen diese Hinweise auf mögliche Fehler analysieren, bevor Probleme tatsächlich auftreten, profitieren sie von einer kostengünstigeren Wartung und einer höheren Verfügbarkeit von Teilen und Geräten.

Kundenerlebnis –
Der Kunde steht im Mittelpunkt. Jetzt ist es so leicht wie noch nie, einen aussagekräftigen Überblick über das Kundenerlebnis zu erhalten. Mit Big Data können Sie Daten aus Social Media, Website-Aufrufen, Anrufprotokollen und anderen Datenquellen erfassen, um das Erlebnis bei Kundeninteraktionen zu optimieren und den angebotenen Wert zu steigern. Stellen Sie personalisierte Angebote bereit, minimieren Sie die Abwanderung von Kunden und bearbeiten Sie Probleme proaktiv.

Betrug und Compliance –
Beim Thema Sicherheit geht es um mehr als nur ein paar Hacker – Sie kämpfen gegen ganze Expertenteams an. Die Sicherheitslandschaft und die Compliance-Anforderungen entwickeln sich beständig weiter. Mit Big Data können Sie Muster in Daten erkennen, die auf Betrug hindeuten, und große Mengen an Daten erfassen, um das regulatorische Reporting zu beschleunigen.

Maschinelles Lernen –
Maschinelles Lernen ist ein topaktuelles Thema. Das dies so ist, ist u. a. auf Daten zurückzuführen – besonders auf Big Data. Wir sind mittlerweile in der Lage, Maschinen etwas beizubringen, anstatt sie zu programmieren. Möglich ist dies, weil Big Data für die Schulung von Modellen für maschinelles Lernen verfügbar ist.

Betriebliche Effizienz –
Über die betriebliche Effizienz wird vielleicht nicht viel gesprochen, aber sie stellt einen Bereich dar, in dem Big Data den größten Einfluss hat. Mit Big Data können Sie die Produktion, Kundenfeedbacks und Rückgaben und weitere Faktoren analysieren und bewerten, um Ausfälle zu minimieren und die zukünftige Nachfrage zu prognostizieren. Außerdem ist mit Big Data eine bessere Entscheidungsfindung möglich, die an die aktuelle Marktnachfrage angepasst ist.

Innovationen vorantreiben –
Mit Big Data können Sie Innovationen fördern, indem Sie wechselseitige Abhängigkeiten zwischen Menschen, Einrichtungen, Unternehmen und Prozessen untersuchen und anschließend neue Möglichkeiten für die Nutzung dieser Daten ermitteln. Nutzen Sie Einblicke aus Daten, um Finanz- und Planungsentscheidungen zu optimieren. Untersuchen Sie Trends und die Wünsche der Kunden, um neue Produkte und Dienste bereitzustellen. Führen Sie die dynamische Preisgestaltung ein. Es gibt zahllose Möglichkeiten.


Herausforderungen von Big Data

Big Data bringt neben zahlreichen Vorteilen auch Herausforderungen mit sich.

Zunächst sind Big Data … groß. Zwar wurden neue Technologien für die Datenspeicherung entwickelt, aber die Datenmengen verdoppeln sich etwa alle zwei Jahre. Unternehmen haben noch häufig Probleme, mit ihren Daten Schritt zu halten und Möglichkeiten für ihre effektive Speicherung zu finden.

Doch es reicht nicht aus, die Daten nur zu speichern. Daten müssen genutzt werden, um wertvoll zu sein, und dafür müssen sie kuratiert werden. Bereinigte Daten oder Daten, die für den Kunden relevant und so organisiert sind, dass eine aussagekräftige Analyse möglich ist, setzen viel Arbeit voraus. Datenexperten verbringen 50 bis 80 Prozent ihrer Zeit damit, Daten zu kuratieren und vorzubereiten, bevor sie tatsächlich verwendet werden können.

Zu guter Letzt verändert sich Big-Data-Technologie rasant. Vor ein paar Jahren war Apache Hadoop die gängige Technologie für die Verarbeitung von großen Datenmengen. Im Jahr 2014 wurde dann Apache Spark eingeführt. Heute verspricht eine Kombination dieser beiden Frameworks, der beste Ansatz zu sein. Mit Big-Data-Technologie Schritt zu halten – das ist eine kontinuierliche Herausforderung.

Entdecken Sie mehr Big-Data-Ressourcen:

 

Funktionsweise von Big Data

Big Data verschafft Ihnen neue Einblicke, durch die sich neue Geschäftschancen und Geschäftsmodelle eröffnen. Zum Einstieg gehören drei zentrale Aktionen:

Integrieren

Bei Big Data werden Daten aus mehreren unterschiedlichen Quellen und Anwendungen zusammengeführt. Traditionelle Mechanismen der Datenintegration wie ETL (Extract, Transform, Load) sind dazu im Allgemeinen nicht in der Lage. Für die Analyse von Big Data in Terabyte- oder gar Petabyte-Größe werden neue Strategien und Technologien benötigt.

Bei der Integration müssen die Daten erfasst und verarbeitet werden. Außerdem muss gewährleistet werden, dass sie formatiert werden und in einer Form vorliegen, die Ihre Geschäftsanalysten nutzen können.

 

Verwalten

Für Big Data wird viel Speicherplatz benötigt. Die Speicherlösung kann in der Cloud, serverbasiert oder in einer Kombination aus beidem gehostet werden. Sie können Ihre Daten in jeder beliebigen Form speichern und Ihre gewünschten Verarbeitungsanforderungen und notwendigen Prozess-Engines bei Bedarf zu diesen Datensätzen bringen. Viele Menschen wählen ihre Speicherlösung danach aus, wo sich ihre Daten derzeit befinden. Die Cloud gewinnt nach und nach an Beliebtheit, da sie Ihre aktuellen Computing-Anforderungen unterstützt und Ihnen die Möglichkeit gibt, bei Bedarf Ihre Ressourcen zu skalieren.

Analysieren

Die Investition in Big Data zahlt sich aus, wenn Sie Ihre Daten analysieren und als Grundlage für Entscheidungen und Maßnahmen nutzen. Eine visuelle Analyse der unterschiedlichen Datensätze verschafft Ihnen Klarheit. Untersuchen Sie die Daten noch weiter, um neue Erkenntnisse zu gewinnen. Teilen Sie Ihre Ergebnisse mit anderen. Entwickeln Sie Datenmodelle mit maschinellem Lernen und künstlicher Intelligenz. Lassen Sie Ihre Daten arbeiten.

Best Practices für Big Data

Um Sie beim Einstieg in Big Data zu unterstützen, haben wir einige zentrale Best Practices für Sie zusammengestellt. Hier sind unsere Empfehlungen für den Aufbau einer erfolgreichen Grundlage für Big Data.

   
Big Data an bestimmten Geschäftszielen ausrichten

Umfassendere Datensätze ermöglichen Ihnen neue Erkenntnisse. Daher ist es wichtig, neue Investitionen in Kompetenzen, in das Unternehmen oder in die Infrastruktur mit einem stark geschäftlich orientierten Kontext zu tätigen, um fortlaufende Projektinvestments und -finanzierungen zu gewährleisten. Um festzustellen, ob Sie auf dem richtigen Weg sind, stellen Sie sich die Frage, inwiefern Big Data Ihre wichtigsten Geschäfts- und IT-Prioritäten unterstützt und ermöglicht. Dazu gehören beispielsweise folgende Aspekte: das Filtern von Web-Protokollen, um E-Commerce-Verhaltensmuster zu verstehen, Stimmungsanalysen aus Social Media und Kundensupport-Interaktionen oder das Verständnis statistischer Korrelationsmethoden und ihrer Relevanz für Kunden-, Produkt-, Fertigungs- und Entwicklungsdaten.

Mangel an Fähigkeiten mit Standards und Governance ausgleichen

Eines der größten Hindernisse im Hinblick auf Big Data ist ein Mangel an Fähigkeiten. Um dieses Risiko zu minimieren, stellen Sie sicher, dass Big-Data-Technologien, -Überlegungen und -Entscheidungen zu Ihrem IT-Steuerungs-Programm hinzugefügt werden. Die Standardisierung Ihres Ansatzes ermöglicht Ihnen die Verwaltung der Kosten und die effektive Nutzung Ihrer Ressourcen. Unternehmen, die Big-Data-Lösungen und -Strategien implementieren, sind gut damit beraten, ihre Kompetenzanforderungen frühzeitig und häufig zu bewerten und mögliche Kompetenzlücken proaktiv zu identifizieren. Diese Probleme lassen sich durch die (vielseitige) Schulung von vorhandenen Mitarbeitern, durch die Einstellung neuer Mitarbeiter und die Einbeziehung von Beratungsunternehmen beheben.

Optimierter Wissenstransfer mit einem Exzellenzzentrum

Nutzen Sie den Ansatz eines Exzellenzzentrums, um Wissen weiterzugeben, die Übersicht zu wahren und Projektkommunikationen zu verwalten. Gleich, ob es sich bei Big Data um eine neue oder erweiterte Investition handelt – die direkten und indirekten Kosten können auf das gesamte Unternehmen aufgeteilt werden. Mit diesem Ansatz lassen sich die Big-Data-Fähigkeiten und die allgemeine Ausgereiftheit der Informationsarchitektur strukturierter und systematischer optimieren.

Äußerst vorteilhaft: Ausrichtung der unstrukturierten an strukturierten Daten

Es ist zweifellos wertvoll, Big Data allein zu analysieren. Noch umfassendere geschäftliche Einblicke erhalten Sie jedoch, wenn Sie Big Data mit geringer Dichte mit den strukturierten Daten verbinden und integrieren, die Sie bereits nutzen.

Gleich, ob Sie Big Data zu Kunden, Produkten, Geräten oder zur Umgebung erfassen: Ziel ist es, ihre zentralen Stamm- und Analysezusammenfassungen durch relevantere Datenpunkte zu ergänzen, was zu besseren Schlussfolgerungen führt. So können Sie beispielsweise zwischen der Stimmung aller Kunden und der Ihrer besten Kunden unterscheiden. Daher sehen viele Unternehmen Big Data als wichtige Erweiterung der vorhandenen Business-Intelligence-Funktionen, Data-Warehousing-Plattform und Informationsarchitektur.

Berücksichtigen Sie dabei, dass die Big-Data-Analyseprozesse und -modelle sowohl auf Menschen als auch auf Maschinen basieren können. Zu den Big-Data-Analysefunktionen gehören Statistiken, räumliche Analysen, Semantik, interaktive Erkennung und Visualisierung. Mit analytischen Modellen können Sie Daten unterschiedlicher Typen und Quellen korrelieren, um Verknüpfungen herzustellen und wichtige Aspekte zu erkennen.

Planen Sie Ihr Entdeckungslabor für die Leistung

Die Entdeckung von etwas Bedeutendem in Daten ist nicht immer ein geradliniger Prozess. Manchmal wissen wir nicht einmal, wonach wir eigentlich suchen. Das ist nicht unerwartet. Management und IT müssen diesen “Mangel an Ausrichtung” oder “Mangel an klaren Anforderungen” unterstützen.

Gleichzeitig ist es wichtig, dass Analysten und Datenexperten eng mit dem Unternehmen zusammenarbeiten, um die zentralen Kompetenzlücken und -anforderungen zu verstehen. Um die interaktive Datenerkundung und das Experimentieren mit statistischen Algorithmen zu unterstützen, benötigen Sie hochleistungsfähige Arbeitsbereiche. Stellen Sie sicher, dass Ihre Sandbox-Umgebungen die benötigte Leistung aufweisen – und korrekt verwaltet sind.

Anpassung an das Cloud-Betriebsmodell

Big-Data-Prozesse und -Benutzer benötigen Zugriff auf umfassende Ressourcen, sowohl für iterative Experimente als auch für die Ausführung von Produktionsaufgaben. Eine Big-Data-Lösung umfasst alle Datenbereiche, darunter Transaktionen, Stammdaten, Referenzdaten und zusammengefasste Daten. Analyse-Sandboxes sollten bei Bedarf erstellt werden. Die Ressourcenverwaltung spielt eine wichtige Rolle bei der Steuerung des gesamten Datenflusses, einschließlich der Vor- und Nachverarbeitung, Integration, datenbankinternen Zusammenfassung und analytischen Modellierung. Eine durchdachte Strategie für die Bereitstellung und Sicherheit von Private und Public Clouds leistet einen wesentlichen Beitrag zur Unterstützung dieser sich verändernden Anforderungen.