Oracle Big Data Cloud Service：クイック・スタート

Oracle Storage Cloud Serviceのサービス・インスタンスで操作を行う場合は、必ず認証を受ける必要があります。認証トークンをリクエストするには資格証明を入力する必要があります。Oracle Storage Cloud Serviceへの接続にはcURLを使用します。

1. コマンド・プロンプトを開きます。次のcURLコマンドを実行して認証トークンを取得します。
   

   

   
   注：認証トークンの取得に使用する構文は次のとおりです。
   curl -v -X GET -H "X-Storage-User: myService-myIdentityDomain:username@example.com" -H "X-Storage-Pass:Password" https://storage.us2.oraclecloud.com/auth/v1.0 -k
   上の構文の'username@example.com'、'Password'、および'myIdentityDomain'には、各自の値を入力してください。


2. 出力内容を確認します。出力内の'X-Auth-Token'という値が現行の認証トークンです。Oracle Storage Cloud Serviceへの以降の接続には、この認証トークンを使用する必要があります。
   

   

Oracle Storage Cloud Serviceに接続してcURLの各種コマンドを使用するには、認証トークンを使用する必要があります。自分のOracle Storage Cloud Serviceアカウントの既存のコンテナは、すべてリストすることができます。

1. 次のcURLコマンドを使用して、アカウントの既存のコンテナをすべてリストします。
   

   

   
   注：コンテナをリストする構文は次のとおりです。
   curl -v -X GET -H "X-Auth-Token:GeneratedAuthenticationToken" https://storage.us2.oraclecloud.com/v1/Storage-myIdentityDomain -k
   'GeneratedAuthenticationToken'および'myIdentityDomain'は実際の値に置き換えてください。


2. 出力内容を確認します。アカウントの既存のコンテナがすべてリストされます。
   

   

Oracle Storage Cloud Serviceにオブジェクトを格納するには、コンテナを作成する必要があります。コンテナは、次のcURLコマンドを使用して作成できます。

1. 次のcURLコマンドを使用して、Chicago_Airlinesという名前の新しいコンテナを作成します。
   

   

   
   注：新しいコンテナの作成に使用する構文は次のとおりです。
   curl -v -X PUT -H "X-Auth-Token:GeneratedAuthenticationToken" https://storage.us2.oraclecloud.com/v1/Storage-myIdentityDomain/Chicago_Airlines -k
   'GeneratedAuthenticationToken'および'myIdentityDomain'は実際の値に置き換えてください。


2. 出力内容を確認します。コンテナの作成が成功した場合は、出力メッセージに'HTTP/1.1 201 Created'と表示されます。
   

   

Big Data Cloud Serviceのコンテナにファイルを書き込んで格納することができます。ファイルはオブジェクトとしてコンテナに格納されます。ローカル・コンピュータからコンテナにファイルを書き込むことができます。

1. ローカル・コンピュータからChicago_Airlinesコンテナにファイル'D:\flight_data'を書き込みます。
   

   

   
   注：ファイルの書込みに使用する構文は次のとおりです。
   curl -v -X PUT -H "X-Auth-Token:GeneratedAuthenticationToken" -T D:\flight_data https://storage.us2.oraclecloud.com/v1/Storage-myIdentityDomain/Chicago_Airlines/flightdetails -k
   'GeneratedAuthenticationToken'および'myIdentityDomain'は実際の値に置き換えてください。


2. 出力内容を確認します。オブジェクトの作成と書込みが成功した場合は、出力メッセージに'HTTP/1.1 201 Created'と表示されます。
   

   

コンテナに含まれるオブジェクトのうち、アクセス権があるものはすべてリストできます。

1. Chicago_Airlinesコンテナに含まれるすべてのオブジェクトをリストします。
   

   

   
   注：コンテナに含まれるオブジェクトをリストするときに使用する構文は次のとおりです。
   curl -v -X GET -H "X-Auth-Token:GeneratedAuthenticationToken" https://storage.us2.oraclecloud.com/v1/Storage-myIdentityDomain/Chicago_Airlines -k
   'GeneratedAuthenticationToken'および'myIdentityDomain'は実際の値に置き換えてください。


2. 出力内容を確認します。上の手順で書き込んだflight_detailsオブジェクトがリストされます。
   

   

   
   

Big Data Cloud Serviceのサービス・インスタンスで操作を行う場合は、必ず認証を受ける必要があります。Big Data Cloud Serviceでは、ユーザー名とパスワードでユーザーを認証します。Big Data Cloud Serviceインスタンスへのログインには、PuTTYを使用できます。要求された場合は必ず、Big Data Cloud Serviceのユーザー名とパスワードを入力する必要があります。

1. PuTTYセッションを使用してBig Data Cloud Serviceにログインします。
   

   



2. ホスト名とポート番号を入力して「Open」をクリックします。要求されたら、Big Data Cloud Serviceのパスワードを入力します。
   

   



3. Big Data Cloud ServiceインスタンスにSSHでログインします。
   

   

   
   接続に成功したら、bashシェルに入ります。

Big Data Cloud Serviceインスタンスへのログインに成功したら、Oracle Storage Cloud Serviceにアクセスして、Oracle Storage Cloud ServiceコンテナからBig Data Cloud Serviceにデータを移動する必要があります。Big Data Cloud ServiceインスタンスからOracle Storage Cloud Serviceにアクセスする場合は、新しいSwift API資格証明を作成する必要があります。Big Data Cloud ServiceインスタンスからOracle Storage Cloud Serviceに接続する必要がある場合は、いつでもその資格証明を再利用できます。Oracle Storage Cloud ServiceとBig Data Cloud Serviceとの間の接続には、Swift APIが使用されます。

1. 次のbdcs-admin add_swift_credコマンドを使用して、BDCSProvider1という名前の新しいswift資格証明を作成します。
   

   

   
   注：新しいswift資格証明の作成に使用する構文は次のとおりです。
   bdcs-admin add_swift_cred --swift-username Storage-myIdentityDomain:userName@example.com --swift-password Password --swift-storageurl https://storage.us2.oraclecloud.com/auth/v1.0 --swift-provider BDCSProvider1
   'GeneratedAuthenticationToken'、'myIdentityDomain'、'userName@example.com'、および'Password'は、実際の値に置き換えてください。


2. 出力内容を確認します。新しい資格証明の作成と書込みが成功すると、プロバイダ名が表示されます。
   

   

Oracle Storage Cloud Serviceのオブジェクトを、Swift APIを使用してリストすることができます。

1. Chicago_Airlinesコンテナのオブジェクトをリストします。前の手順で作成したBDCSProvider1資格証明を使用します。
   

   

   
   注：--userパラメータには、実際に指定されているBig Data Cloud Serviceユーザー名を入力してください。
   


2. 出力内容を確認します。Chicago_Airlinesコンテナに含まれるflightdetailsオブジェクトがリストされます。
   

   

Big Data Cloud Serviceインスタンスへのログインに成功したら、構成ファイルを使用してCloudera Managerの資格証明を構成できます。この構成ファイルは、以降、Cloudera Managerに接続するときに再利用できます。

1. bdcs_variables.shという名前の新しいファイルを作成します。Cloudera Managerの資格証明を入力します。CM_ADMIN、CM_PASSWORD、CM_URLに適切な値を指定してください。bdcs_variables.shファイルを保存します。
   

   

   
   注：Cloudera Managerの資格証明の構成に使用する構文は次のとおりです。
   #!/bin/bash
export CM_ADMIN="Cloudera Manager Administrator username"
export CM_PASSWORD="Cloudera Manager Administrator password"
export CM_URL="Cloudera Manager web address:portnumber"



2. bdcs_variables.shを表示し、正しい値が入力されているかどうか確認します。次のcatコマンドを使用します。
   

   



3. Cloudera Managerの構成ファイルを実行します。これにより、環境に構成が適用されます。
   

   

   
   

Big Data Cloud ServiceのHadoop Distributed File System（HDFS）のファイルは、Swift APIを使用してリストできます。

1. HDFSのファイルをリスティングします。'bdcs files'構文を使用します。
   

   

   
   注：--userパラメータには、実際に指定されているBig Data Cloud Serviceユーザー名を入力してください。


2. 出力内容を確認します。HDFSに存在するディレクトリとファイルがリストされます。
   

   

Oracle Storage Cloud Service コンテナからBig Data Cloud ServiceのHDFSに、オブジェクトをコピーできます。

1. Oracle Storage Cloud ServiceのChicago_Airlinesコンテナにあるflightdetailsオブジェクトを、Big Data Cloud ServiceのHDFSの/user/bdcstest/ディレクトリにコピーします。'bdcs dm copy'コマンドを使用します。
   

   

   
   注：HDFSディレクトリの名前は、Big Data Cloud Serviceのユーザー名に応じて異なる場合があります。コピーが完了するまで操作を待機させる必要がある場合は、--waitパラメータをオプションで指定します。


2. 出力内容を確認します。コピー操作が成功すると、'data movement succeeded with status: succeeded'と表示されます。
   

   

HDFSにコピーしたファイルを移動して格納するための入力ディレクトリを作成する必要があります。このファイルがMapReduceプログラムの入力になります。

1. wordcount/inputという名前の新しいディレクトリをHDFSに作成します。これは、入力ファイルを格納するために必要なディレクトリです。次の'hadoop fs -mkdir'コマンドを使用します。
   

   

   
   

   

   
   注：wordcountディレクトリを先に作成する必要があります。その後、wordcountディレクトリ内にinputディレクトリを作成します。


2. HDFS内のディレクトリをリストします。これにより、ディレクトリの作成が成功したかどうかを確認します。'hadoop fs -ls'コマンドを使用します。
   

   



3. /user/bdcstest/から/user/bdcstest/wordcount/inputディレクトリにflightdetailsファイルをコピーします。'hadoop fs -mv'コマンドを使用します。
   

   

   
   


4. /user/bdcstest/wordcount/inputディレクトリのファイルをリストして、flightdetailsファイルがコピーされているかどうか確認します。
   

   

flightdetailsファイルに含まれる単語の出現回数を個別にカウントするJavaプログラムを作成する必要があります。このJavaファイルをjarファイルとしてパッケージしてから、MapReduceを使用して実行します。

1. WordCount.javaファイルを格納する、wordcount_classesという名前の新しいディレクトリを作成します。
   

   



2. wordcount_classesディレクトリにナビゲートします。
   

   



3. ファイル名としてWordCount.javaを指定して、viエディタを開きます。
   

   



4. 指定された入力ファイルに含まれる単語の数をカウントするMapReduce Javaプログラムを記述します。プログラムを保存します。
   

   

   
   

   

   
   

   

   
   

   

   
   

   完成したプログラムをダウンロードするには、「program example」を右クリックしてブラウザのオプションを選択し、ファイルをWordCount.javaファイルとして保存してください。

   注：MapReduceで実行できるように、JavaプログラムにはMapクラスとReduceクラスの両方が含まれている必要があります。

クラス・ファイルを生成するには、WordCount.javaファイルをコンパイルする必要があります。クラス・ファイルを生成したら、すべてのクラス・ファイルをjarにパッケージし、MapReduceプログラムとして実行できるようにする必要があります。

1. buildという名前の新しいディレクトリを作成します。WordCount.javaファイルのコンパイルにより生成されるクラス・ファイルは、すべてここに格納されます。
   

   



2. WordCount.javaファイルをコンパイルします。'-cp'パラメータを使用して、MapReduce jarファイルのクラス・パスを指定します。
   

   

   注：プログラムがエラーなしでコンパイルされていることを確認します。警告は無視して構いません。


3. buildディレクトリのファイルをリストします。これにより、クラス・ファイルが正しく生成されているかどうかを確認します。WordCount.classファイルが存在することを確認します。
   

   



4. buildディレクトリのすべてのクラス・ファイルを使用して、wordcount.jarを生成します。'jar -cvf'コマンドを使用します。
   

   



5. 出力内容を確認します。コマンドの実行が成功していることを確認します。
   

   



6. wordcount_classesディレクトリをリストして、wordcount.jarが生成されていることを確認します。
   

   

wordcount.jarファイルの作成に成功したら、MapReduceを使用してこのwordcount.jarファイルを実行できます。

1. Hadoopでwordcount.jarファイルを実行します。'hadoop jar'コマンドを使用します。出力ディレクトリとして/user/bdcstest/wordcount/outputを指定します。
   

   

   
   注：/user/bdcstest/wordcount/outputディレクトリがコマンドにより生成されます。このようなディレクトリがすでに存在する場合は、プログラムの実行が失敗します。


2. 出力内容を確認します。DFSClientによってwordcount.jarが実行されています。また、MapReduceプログラムの進行と完了の状況が表示されています。
   

   

   
   

   

   
   注：プログラムの実行が成功すると、wordcountディレクトリ内のoutputディレクトリに出力が格納されます。


3. /user/bdcstest/wordcount/outputディレクトリをリストします。
   

   



4. 出力内容を確認します。生成されたファイルがリストされています。MapReduceプログラムの出力内容は、part-r-xxxxxファイルに存在します。
   

   

   
   注：part-r-xxxxxの数字は入力データの量によって異なります。

Big Data Cloud ServiceのHDFSからOracle Storage Cloud Serviceのコンテナにファイルをコピーできます。他のさまざまなOracleエンジニアド・ソリューションを使用して詳しい分析を実行したり、手元のローカル・コンピュータに格納したりするには、この処理が必要です。

1. 出力ファイルpart-r-00000を、HDFSの/user/bdcstest/wordcount/outputディレクトリからOracle Storage Cloud ServiceのChicago_Airlinesコンテナにコピーします。'bdcs dm copy'コマンドを使用します。
   

   

   
   注：--userパラメータには、実際に指定されているBig Data Cloud Serviceユーザー名を入力してください。


2. 出力内容を確認します。コピー操作が成功すると、'data movement succeeded with status: succeeded'と表示されます。
   

   

Oracle Storage Cloud Serviceのオブジェクトを、Swift APIを使用してリストすることができます。

1. Chicago_Airlinesコンテナのオブジェクトをリストします。BDCSProvider1資格証明を使用します。
   

   

   
   注：--userパラメータには、実際に指定されているBig Data Cloud Serviceユーザー名を入力してください。
   


2. 出力内容を確認します。Chicago_Airlinesコンテナに存在するflightdetailsオブジェクトとflightoutputオブジェクトの両方がリストされます。
   

   

コンテナに含まれるすべてオブジェクトをリストできます。Big Data Cloud ServiceからOracle Storage Cloud Serviceに移動したオブジェクトもすべてリストされます。

1. Chicago_Airlinesコンテナに含まれるすべてのオブジェクトをリストします。
   

   

   
   注：コンテナに含まれるオブジェクトをリストするときに使用する構文は次のとおりです。
   curl -v -X GET -H "X-Auth-Token:GeneratedAuthenticationToken" https://storage.us2.oraclecloud.com/v1/Storage-myIdentityDomain/Chicago_Airlines -k
   'GeneratedAuthenticationToken'および'myIdentityDomain'は実際の値に置き換えてください。


2. 出力内容を確認します。flight_detailsオブジェクトとflightoutputオブジェクトの両方がリストされます。
   

   

   
   

Oracle Storage Cloud Serviceコンテナのオブジェクトをローカル・コンピュータに書き込むことができます。

1. Chicago_Airlinesコンテナのオブジェクトflightoutputを、ローカル・コンピュータのD:\にあるflightoutputという名前の新しいファイルに書き込みます。
   

   

   
   注：ファイルの書込みに使用する構文は次のとおりです。
   curl -v -X GET -H "X-Auth-Token:GeneratedAuthenticationToken" -o flightoutput https://storage.us2.oraclecloud.com/v1/Storage-myIdentityDomain/ChicagoAirlines/flightoutput -k
   'GeneratedAuthenticationToken'および'myIdentityDomain'は実際の値に置き換えてください。


2. 出力内容を確認します。ファイルの作成と書込みが成功すると、出力メッセージに'HTTP/1.1 200 OK'と表示されます。