Häufig gestellte Fragen zum Data Lake-Service

Was ist OCI Data Lake?

Bei OCI Data Lake handelt es sich um einen vollständig verwalteten Data Lake-Service, der eine bessere Datenverwaltung ermöglicht. Dieser Service bietet Benutzern eine zentrale Verwaltung für das Speichern und die Sicherheit ihrer Daten im Data Lake. Außerdem ermöglicht er Benutzern die einfache Erfassung/Analyse von Daten. Benutzer und Anwendungen können Daten innerhalb des Unternehmens nahtlos austauschen und eine differenzierte Zugriffskontrolle auf Objekte im Data Lake anwenden. Die integrierten Engines, die Daten im Data Lake nutzen, berücksichtigen diese vordefinierten Zugriffskontrollregeln.

Warum Sie sich für OCI Data Lake entscheiden sollten

Mit OCI Data Lake können Kunden strukturierte, halbstrukturierte und unstrukturierte Daten speichern und verwalten. Hier handelt sich um eine zentrale Anlaufstelle für alle Anforderungen an die Datenverwaltung. Dank dieses Services können Benutzer in nur wenigen Minuten einen Data Lake mit fein abgestufter Sicherheit aufbauen. OCI Data Lake ist gut in andere OCI-Services integriert und erleichtert die einfache Aufnahme, Verarbeitung und Analyse von Daten im Data Lake.

Welche anderen Services sind in OCI Data Lake integriert?

OCI Data Lake ist in OCI Data Integration integriert, um Daten einfach und ohne Code in den Lake aufzunehmen. Wenn ein OCI Data Lake erstellt wird, werden die Entitys im Data Lake automatisch im OCI Data Catalog erfasst, sodass Data Stewards Daten erkennen können. OCI Data Lake arbeitet nahtlos mit OCI Data Flow-, Oracle Big Data- und OCI Data Science-Notebooks für die Datenverarbeitung und Ausführung von Analyse-Workloads zusammen. Darüber hinaus sind Benutzer in der Lage mithilfe von Autonomous Data Warehouse Daten im Lake abzufragen.

Welche Speicheroptionen gibt es in OCI Data Lake?

Sie haben zwei Möglichkeiten: Sie können die Daten in einem Dateimodell speichern, indem Sie externe oder verwaltete Mounts erstellen, oder Sie können Daten in einem relationalen Modell speichern, indem Sie Tabellen im Data Lake erstellen.

Was ist der Unterschied zwischen externen und verwalteten Mounts?

Ein externer Mount ist ein Verweis auf einen Oracle Cloud Infrastructure (OCI) Object Storage-Speicherort. Der Speicherort für OCI Objekt Storage für externe Mounts wird nicht vom Data Lake verwaltet. Externe Mounts werden verwendet, um eine differenzierte Zugriffskontrolle auf Daten bereitzustellen, die bereits an einem OCI Object Storage-Speicherort vorhanden sind.

Ein verwalteter Mount ist ein Verweis auf einen OCI Object Storage-Speicherort, der vom Data Lake-Service verwaltet wird. Verwaltete Mounts bieten erhöhte Sicherheit für die Datenfiles, sodass nur berechtigte Data Lake-Benutzer auf die im verwalteten Mount gespeicherten Daten zugreifen können. Außerdem werden die Daten im verwalteten Mount im Data Lake gespeichert.

Was ist der Unterschied zwischen externen und verwalteten Tabellen?

Eine externe Tabelle definiert eine Struktur für Daten, die an einem von Ihnen verwalteten OCI Object Storage-Speicherort oder in einem Mount innerhalb des Data Lake gespeichert werden. Bei diesem Mount kann es sich um einen externen oder einen verwalteten Mount handeln. Wenn Sie eine externe Tabelle löschen, wird nur die Tabellendefinition gelöscht. Die von der externen Tabelle referenzierten Daten werden hierbei nicht gelöscht.

Eine verwaltete Tabelle definiert eine Struktur für Daten, die im Data Lake gespeichert werden und auf die nur OCI Data Lake-Benutzer zugreifen können. Wenn Sie eine verwaltete Tabelle löschen, werden die Tabellendefinition und die Tabellendaten gelöscht.

Welche Speicheroptionen gibt es in OCI Data Lake?

Sie haben zwei Möglichkeiten: Sie können die Daten in einem Dateimodell speichern, indem Sie externe oder verwaltete Mounts erstellen, oder Sie können Daten in einem relationalen Modell speichern, indem Sie Tabellen im Data Lake erstellen.

Was ist der Unterschied zwischen externen und verwalteten Mounts?

Ein externer Mount ist ein Verweis auf einen Oracle Cloud Infrastructure (OCI) Object Storage-Speicherort. Der Speicherort für OCI Objekt Storage für externe Mounts wird nicht vom Data Lake verwaltet. Externe Mounts werden verwendet, um eine differenzierte Zugriffskontrolle auf Daten bereitzustellen, die bereits an einem OCI Object Storage-Speicherort vorhanden sind.

Ein verwalteter Mount ist ein Verweis auf einen OCI Object Storage-Speicherort, der vom Data Lake-Service verwaltet wird. Verwaltete Mounts bieten erhöhte Sicherheit für die Datenfiles, sodass nur berechtigte Data Lake-Benutzer auf die im verwalteten Mount gespeicherten Daten zugreifen können. Außerdem werden die Daten im verwalteten Mount im Data Lake gespeichert.

Was ist der Unterschied zwischen externen und verwalteten Tabellen?

Eine externe Tabelle definiert eine Struktur für Daten, die an einem von Ihnen verwalteten OCI Object Storage-Speicherort oder in einem Mount innerhalb des Data Lake gespeichert werden. Bei diesem Mount kann es sich um einen externen oder einen verwalteten Mount handeln. Wenn Sie eine externe Tabelle löschen, wird nur die Tabellendefinition gelöscht. Die von der externen Tabelle referenzierten Daten werden hierbei nicht gelöscht.

Eine verwaltete Tabelle definiert eine Struktur für Daten, die im Data Lake gespeichert werden und auf die nur OCI Data Lake-Benutzer zugreifen können. Wenn Sie eine verwaltete Tabelle löschen, werden die Tabellendefinition und die Tabellendaten gelöscht.

Wie kann ich meinen Data Lake mit dem OCI Data Lake-Service aufbauen?

Data Engineers können ETL-Prozesse mithilfe des OCI Data Integration-Service ohne Code schreiben. Außerdem können Data Engineers SDKs und APIs verwenden, um Daten in den Lake aufzunehmen, oder eine Spark-Anwendung in OCI Data Flow für die Datenaufnahme erstellen.

Kann ich meinen Data Lake mit Terraform erstellen?

Ja, OCI Data Lake unterstützt Terraform zum Erstellen von OCI Data Lake-Ressourcen.

Nimmt OCI Data Lake Streaming-Daten auf?

OCI Data Flow-Streaming-Jobs können Daten in den Data Lake schreiben.

Wie werden Data Stewards Daten im Lake finden?

Data Stewards können Daten im Lake mit OCI Data Catalog ermitteln, der während des Data Lake-Erstellungsprozesses angehängt/bereitgestellt wird. Der Katalog wird in regelmäßigen Abständen aktualisiert, sodass Data Stewards immer die aktuellste Ansicht ihres Data Lakes erhalten.

Kann ich meinen vorhandenen Datenkatalog oder Hive Metastore mit OCI Data Lake verwenden?

Nein, beim Provisioning eines Data Lakes wird ein Katalog erstellt und vom Service verwaltet.

Was versteht man unter einer einheitlichen Zugriffskontrolle?

OCI Data Lake bietet eine einheitliche Zugriffskontrolle, mit der Administratoren Policys für die Zugriffskontrolle in Bezug auf alle Data Lake-Objekte definieren können. Darüber hinaus haben Administratoren von der Konsole aus eine zusammengefasste Ansicht, um zu sehen, wer Zugriff auf Data Lake-Objekte hat.

Wie sichert OCI Data Lake meine Daten im Data Lake?

OCI Data Lake verfügt über eine zweistufige Sicherheit. Auf den Lake selbst kann nur zugegriffen werden, wenn dem Benutzer über die Oracle IAM-Policy Zugriff gewährt wurde. Alle Objekte im Data Lake unterliegen den im Lake definierten Policys.

Kann ich in OCI Data Lake Rollen erstellen und Rollen Berechtigungen erteilen?

Ja, Data Lake-Administratoren können Rollen erstellen bzw. Rollen, Benutzern, Resource Principals, Gruppen und dynamischen Gruppen Berechtigungen erteilen.

Kann ich meine Daten in externen/verwalteten Mounts sichern?

Ja, Benutzer können Rollen/Benutzern/Resource Principals/Gruppen/dynamischen Gruppen Lese-/Schreib-/Administratorberechtigungen zuweisen.

Kann ich Policys für den Zugriff schreiben, um Dateien in einem Mount zu sichern?

Nein, OCI Data Lake unterstützt keine Zugriffskontrolle auf Dateien.

Kann ich den Zugriff auf Spalten mit vertraulichen Daten einschränken?

Ja, OCI Data Lake ermöglicht Administratoren die Erstellung von Policys für die Zugriffskontrolle auf Spaltenebene.

Kann ich den Zugriff auf bestimmte Zeilen in einer OCI Data Lake-Tabelle einschränken?

Ja, OCI Data Lake ermöglicht Administratoren basierend auf Spaltenwerten das Erstellen von Policys für die Zugriffskontrolle auf Zeilenebene.

Wie kann ich Daten in OCI Data Lake verarbeiten oder analysieren?

Data Engineers können Daten in der Spark-Anwendung mithilfe von OCI Data Flow oder im Big Data Service verarbeiten. Außerdem können Data Scientists und Datenanalysten mit dem OCI Data Science Notebook explorative Analysen durchführen oder ML-Modelle für Daten im Data Lake erstellen.

Muss ich eine neue Spark-Anwendung schreiben, wenn ich meine Daten nach OCI Data Lake verschiebe?

Nein, OCI Data Lake unterstützt Spark-APIs zum einfachen Lesen/Schreiben von Daten in verschiedenen Dateiformaten.

Wie hilft OCI Data Lake einem Analysten oder Data Scientist beim Zugriff auf Daten in OCI Data Lake?

Datenanalysten können Spark SQL für DDLs, DMLs oder die Abfrage von Daten nutzen.

Kann ich Daten in OCI Data Lake visualisieren?

Ja, OCI Data Lake ist in den OCI Data Flow SQL-Endpunkt integriert, der einen JDBC/ODBC-Treiber bereitstellt. Mit diesem Treiber ist die Visualisierung von Daten im Data Lake mithilfe von Business Intelligence-Tools möglich, die JDBC/ODBC-Treiber unterstützen. Darüber hinaus können Benutzer den Treiber nutzen, um mithilfe eines SQL-Tools, das JDBC/ODBC-Treiber unterstützt, eine Verbindung zum Data Lake herzustellen.