Oracle Big Data Connectors

Oracle Big Data Connectors

オラクルがまったく新たに開発したOracle Big Data Connectorsは、HadoopとOracle Databaseを高いパフォーマンスで統合するソリューションです。このコネクタを使用すると、Hadoopのデータに対してオラクルのオープンソースRディストリビューションを直接使用できるようになるため、分析を効率よく実行できます。

詳細を見る

Big Data Connectorsのアーキテクチャ

オラクルがまったく新たに開発したOracle Big Data Connectorsは、HadoopとOracle Databaseを高いパフォーマンスで統合するソリューションです。このコネクタを使用すると、Hadoopのデータに対してオラクルのオープンソースRディストリビューションを直接使用できるようになるため、分析を効率よく実行できます。優れた効率性の接続を提供することにより、Big Data Connectorsは、企業内のすべてのデータ(構造化データと非構造化データの両方)の分析を実現します。

コネクタは以下のとおりです。


Oracle SQL Connector for Hadoop Distributed File System

Hadoop Distributed File System(HDFS)のファイルやApache Hiveのテーブルに格納されているデータに、Oracleの外部テーブルを使用してアクセスできるようにします。データは、HDFSやHiveテーブルに残しておくことも、Oracleデータベースにロードすることもできます。

Oracle Loader for Hadoop

HadoopクラスタからOracleデータベースのテーブルにデータを高速に移動させる、効率的で高パフォーマンスのロードツールです。データは必要に応じて事前にパーティション化され、データベースに対応した形式に変換されます。データをロードする前や出力ファイルを作成する前に、主キーまたはユーザー定義列を使ってレコードをソートすることもできます。

Oracle XQuery for Hadoop

XQuery言語で記述された変換を一連のMapReduceジョブに変換してこの変換を実行します。このとき、一連のジョブはHadoopクラスタでパラレル実行されます。入力データは、Hadoop File System API経由でアクセスできるファイルシステム(Hadoop Distributed File Systemなど)に配置されていても、Oracle NoSQL Databaseに格納されていてもかまいません。

変換結果は、HDFS、Oracle NoSQL Database、Apache Solr、またはOracle Databaseに書き込むことができます。HiveのXML拡張機能を使用すると、XML処理機能が増えます。

Oracle Shell for Hadoop Loaders

簡単に使用できるコマンドライン・インタフェースをOracle Loader for Hadoop、Oracle SQL Connector for HDFS、Copy to Hadoop(Oracle Big Data SQLの機能)に提供するヘルパーシェルです。基本的なシェル機能として、コマンドライン・リコール、履歴、親プロセスからの環境変数の継承、新規または既存の環境変数の設定、およびコマンドラインでの環境置換の実行などを使用できます。

Oracle R Advanced Analytics for Hadoop

汎用計算フレームワークです。このフレームワーク内で、R言語を使用してカスタムロジックをマッパーまたはリデューサとして記述できます。さまざまな予測分析手法をMapReduceジョブとして実行するRパッケージのコレクションも組み込まれています。コードは、Hadoopクラスタで使用可能な計算リソースとストレージリソースを使用して、分散並列方式で実行されます。Oracle R Advanced Analytics for Hadoopには、Apache Hiveテーブル、Apache Hadoop計算インフラストラクチャ、ローカルなR環境、Oracleデータベーステーブルを操作できるインタフェースが組み込まれています。

Oracle Data Integrator

ソース(ファイルやデータベースなど)からHadoopへ、あるいはHadoopからオラクルやサードパーティのデータベースへ、データを抽出、変換、ロードします。グラフィカル・ユーザー・インタフェースが用意されており、これを使ってHadoopネイティブのツールやHive、HBase、Sqoop、Oracle Loader for Hadoop、Oracle SQL Connector for Hadoop Distributed File Systemといった変換エンジンを使用できるようになっています。

Oracle Datasource for Hadoop

Oracle Databaseに存在するマスターデータに、SerDes、HCatalog、InputFormatおよびStorageHandlerに対応したHadoop API、Hive SQL、Spark SQLを使用して直接、高速で、パラレルかつ安全に、一貫した方法でアクセスできます。

Database 19cの新しいデータ・ウェアハウス機能を試す