データレイク・サービスのFAQ

OCIデータレイクとは

OCデータレイクは、より適切なデータ・ガバナンスを実現する、フルマネージド・データレイク・サービスです。ユーザーに、データレイクにおけるデータのストレージとセキュリティの一元管理を提供します。このサービスにより、ユーザーは簡単にデータの取り込みや分析を行うことができます。ユーザーとアプリケーションは、組織内でデータをシームレスに共有し、データレイク内のオブジェクトにきめ細やかなアクセス制御を適用することができます。データレイクでデータを利用する統合的なエンジンは、これらデフォルトのアクセス制御ルールに従います。

OCIデータレイクが選ばれる理由

OCIデータレイクは、構造化データ、半構造化データ、非構造化データの保存と管理を可能にします。これは、すべてのデータ管理ニーズに対応する一元的な把握機能です。これを使用することで、ユーザーはわずか数分で、きめ細やかなセキュリティを備えたデータレイクを構築することができます。OCIデータレイクは、他のOCIサービスと適切に統合されており、データレイクにおけるデータの取り込み、処理、分析を容易にします。

OCIデータレイクと統合されている他のサービスを教えてください。

OCIデータレイクは、OCI Data Integrationと統合されており、容易に、コード不要でデータをレイクに取り込むことができます。OCIデータレイクが作成されると、データ・スチュワードがデータ検出できるように、データレイク内のエンティティがOCIデータ・カタログに自動収集されます。OCIデータレイクは、OCI Data Flow、Oracle Big Data、OCI Data Scienceノート・ブックとシームレスに連携し、データ処理および分析ワークロードを実行します。ユーザーは、Autonomous Data Warehouseを使用してレイク内のデータに対するクエリを行うことができます。

OCIデータレイクのストレージ・オプションを教えてください。

外部マウントやマネージド・マウントを作成してファイル・モデルにデータを格納するか、データレイクに表を作成してリレーショナル・モデルにデータを格納するかという2つのオプションがあります。

外部マウントとマネージド・マウントの違いを教えてください。

外部マウントは、Oracle Cloud Infrastructure（OCI）Object Storageの場所への参照です。外部マウント用のOCI Object Storageの場所は、データレイクでは管理されません。外部マウントは、OCI Object Storageの場所に既に存在するデータへのきめ細やかなアクセス制御を提供するために使用されます。

マネージド・マウントは、データレイク・サービスによって管理されるOCIオブジェクト・ストレージの場所への参照です。マネージド・マウントは、許可されたデータレイク・ユーザーだけがマネージド・マウントに保存されたデータにアクセスできるように、データ・ファイルのセキュリティを強化します。マネージド・マウントのデータはデータレイクに保存されます。

外部表と管理表の違いについて教えてください。

外部表は、ユーザーが管理するOCI Object Storageの場所、またはデータレイク内のマウントに格納されているデータの構造を定義します。マウントは外部マウントでもマネージド・マウントでも使用可能です。外部表を削除すると、表の定義のみが削除されます。外部表が参照するデータは削除されません。

管理表は、データレイク内に保存され、OCIデータレイクのユーザーだけがアクセスできるデータの構造を定義します。管理表を削除すると、表の定義とデータが削除されます。

OCIデータレイクのストレージ・オプションを教えてください。

外部マウントやマネージド・マウントを作成してファイル・モデルにデータを格納するか、データレイクに表を作成してリレーショナル・モデルにデータを格納するかという2つのオプションがあります。

外部マウントとマネージド・マウントの違いを教えてください。

外部マウントは、Oracle Cloud Infrastructure（OCI）Object Storageの場所への参照です。外部マウント用のOCI Object Storageの場所は、データレイクでは管理されません。外部マウントは、OCI Object Storageの場所に既に存在するデータへのきめ細やかなアクセス制御を提供するために使用されます。

マネージド・マウントは、データレイク・サービスによって管理されるOCIオブジェクト・ストレージの場所への参照です。マネージド・マウントは、許可されたデータレイク・ユーザーだけがマネージド・マウントに保存されたデータにアクセスできるように、データ・ファイルのセキュリティを強化します。マネージド・マウントのデータはデータレイクに保存されます。

外部表と管理表の違いについて教えてください。

外部表は、ユーザーが管理するOCI Object Storageの場所、またはデータレイク内のマウントに格納されているデータの構造を定義します。マウントは外部マウントでもマネージド・マウントでも使用可能です。外部表を削除すると、表の定義のみが削除されます。外部表が参照するデータは削除されません。

管理表は、データレイク内に保存され、OCIデータレイクのユーザーだけがアクセスできるデータの構造を定義します。管理表を削除すると、表の定義とデータが削除されます。

OCIデータレイク・サービスを使用してデータレイクを構築する方法を教えてください。

データ・エンジニアは、OCIデータ統合サービスを使用して、コード不要でETLプロセスを記述することができます。データ・エンジニアは、SDKやAPIを使用してデータをレイクに取り込んだり、OCI Data Flowでデータ取り込み用のスパーク・アプリケーションを作成することもできます。

Terraformを使用してデータレイクを作成することは可能でしょうか。

はい、OCIデータレイクは、OCIデータレイクのリソースを作成するためのTerraformをサポートしています。

OCIデータレイクはストリーミング・データの取り込みを行うのでしょうか。

OCIデータ・フロー・ストリーミング・ジョブは、データレイクにデータを書き込むことができます。

データ・スチュワードがレイクのデータを検出する方法を教えてください。

データ・スチュワードは、データレイクの作成プロセスでアタッチおよびプロビジョニングされるOCIデータ・カタログを使用して、レイク内のデータを検出することができます。カタログは定期的に更新されるため、データ・スチュワードはデータレイクの最新情報を把握することができます。

OCIデータレイクで既存のデータ・カタログやHive Metastoreを使用することは可能でしょうか。

いいえ。データレイクがプロビジョニングされると、カタログが作成され、サービスによって管理されます。

統合アクセス制御についてご説明ください。

OCIデータレイクは、管理者によるすべてのデータレイク・オブジェクトに対するアクセス制御ポリシーの定義を可能にする統合アクセス制御を提供します。管理者はコンソールから、データレイク・オブジェクトにアクセスが可能なユーザーを一元的に確認することができます。

OCIデータレイクが、データレイク内のデータを保護する方法を教えてください。

OCIデータレイクには二層のセキュリティがあります。レイク自体は、ユーザーがOracle IAM ポリシーによってアクセスを許可されている場合にのみアクセス可能です。データレイクのすべてのオブジェクトは、レイク内で定義されたポリシーにより管理されます。

OCIデータレイクでロールを作成し、ロールに権限を付与することは可能でしょうか。

はい。データレイク管理者は、ロールを作成し、ロール、ユーザー、リソース・プリンシパル、グループ、および動的グループに権限を付与することができます。

外部マウントまたはマネージド・マウントでデータを保護することは可能でしょうか。

はい。ユーザはロール、ユーザ、リソース・プリンシパル、グループ、動的グループに読み取り、書き込み、管理者権限を割り当てることができます。

マウント内のファイルを保護するためにアクセス・ポリシーを作成することは可能でしょうか。

いいえ。OCIデータレイクでは、ファイルへのアクセス制御はサポートされていません。

機密データを含む特定の列へのアクセスを制限することは可能でしょうか。

はい。OCIデータレイクでは、管理者が列レベルのアクセス制御ポリシーを作成することができます。

OCIデータレイク表の一部の行へのアクセスを制限することは可能でしょうか。

はい。OCIデータレイクでは、管理者が行レベルのアクセス制御ポリシーを作成することができます。

OCIデータレイクでデータを処理または分析する方法を教えてください。

データ・エンジニアは、OCI Data Flowを使用したSparkアプリケーションまたはビッグ・データ・サービスでデータを処理することができます。データ・サイエンティストやデータ・アナリストは、OCI Data Scienceノートブックを使用して、データレイク内のデータに対して探索的分析の実施やMLモデルの作成を行うことができます。

OCIデータレイクにデータを移行する場合、新しいSparkアプリケーションを作成する必要はあるでしょうか。

いいえ。OCIデータレイクは、さまざまなファイル形式のデータを簡単に読み書きできるSpark APIをサポートしています。

OCIデータレイクが、アナリストやデータ・サイエンティストによるOCIデータ・レイク内のデータへのアクセスを支援する方法を教えてください。

データ・アナリストは、DDLやDML、データ・クエリにSpark SQLを活用することができます。

OCIデータレイクでデータを可視化することは可能でしょうか。

はい。OCIデータレイクは、JDBC/ODBCドライバーをサポートするビジネス・インテリジェンス・ツールを使用してデータレイクのデータを可視化することができるJDBC/ODBCドライバーを公開するOCI Data Flow SQLエンドポイントと統合されています。ユーザーは、JDBC/ODBCドライバーをサポートするSQLツールを使用して、データレイクに接続するためにドライバーを活用することも可能です。