Oracle Data Cloud Crawlerとは

Oracle Data Cloud Crawlerは、Webページにアクセスしてコンテンツを検証および分析する自動ロボットです。この意味では、検索エンジン企業が使用するロボットに似ています。

Oracle Data Cloud Crawlerは、次のいずれかのユーザー・エージェントによって識別できます。

Mozilla/5.0 (compatible; GrapeshotCrawler/2.0; +http://www.grapeshot.co.uk/crawler.php)

Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1. 4 (compatible; GrapeshotCrawler/2.0; +http://www.grapeshot.co.uk/crawler.php)

Oracle Data Cloud Crawlerは、オラクルが所有するIPアドレス範囲からのリクエストによって識別できます。リクエストのなりすましが疑われる場合は、適切なwhoisツールまたは検索サービスを使用して、リクエストのIPアドレスを適切なRIPEデータベースと照合してください。この説明の作成時点において、Oracle Data Cloud Crawlerでは、以下のアドレスのみを使用しています。

• 132.145.9.5
• 132.145.11.125
• 132.145.14.70
• 132.145.15.209
• 132.145.64.33
• 132.145.66.116
• 132.145.66.156
• 132.145.67.248
• 140.238.81.78
• 140.238.83.181
• 140.238.94.137
• 140.238.95.47
• 140.238.95.199
• 152.67.128.219
• 152.67.137.35
• 152.67.138.180

または

• 148.64.56.64～148.64.56.80
• 148.64.56.112～148.64.56.128

Oracle Data Cloud Crawlerがお客様のサイトをクロールする理由

Oracle Data Cloudは、Webページにコンテンツ連動型広告を配置する広告主様を支援します。そのためには、ページを検証またはクロールして、どのカテゴリがそのページに最適かを判断する必要があります。

ページへのアクセスはオンデマンドでのみ行われます。Oracle Data Cloud Crawlerがお客様のサイトにアクセスした場合、広告が最近そのページに配置された際にページの情報がまだ入手できていなかったか、情報の更新が必要だったことを意味します。このため、ユーザーがページにアクセスした直後にOracle Data Cloud Crawlerからのリクエストが発生することがよくあります。このクローラ・システムは、なるべくお客様に負担をかけないように設計されています。サイトへのリクエスト・レートが制限されており、サイトが停止している、レスポンスが遅い、または200（OK）以外のレスポンスを何度も返した場合、自動的にクロールを中止します。

一連の多数のシステムによって、Oracle Data Cloudを使用したサイト分析が実施される場合があります。Oracle Data Cloud Crawlerは、Rubicon、AppNexusなど、多数のリアルタイム入札（RTB）システムにリアルタイムのコンテキスト情報を提供します。これらのRTBシステムは、多くの場合、広告提供戦略の一環としてサードパーティの広告サーバー・システムで使用されています。

Robots.txtによるブロック

Oracle Data Cloudは、検索エンジン・システムを他者に提供しません。また、クロールしたお客様のサイトのコンテンツを検索システムやその他のシステムで利用可能にすることはありません。オラクルは、ページのコンテキストに関する問合せの原因となった広告が配置された場合のみ、お客様のサイトを分析します。

次の例に示すように、robots.txtファイルを使用して、お客様のサイトからOracle Data Cloud Crawlerをブロックできます。

サイトの特定部分のブロック

User-agent: grapeshot
Disallow: /private/
Disallow: /messages/

サイト全体のブロック

User-agent: grapeshot
Disallow: /

Oracle Data Cloud Crawlerによるサイトのクロールの許可

User-agent: grapeshot
Disallow:

オラクルは、サイトまたはサイトの一部のクロールの停止を求めるリクエストや、当社の業務に関するその他のフィードバックを真摯に受け止め、迅速かつ適切な方法で対応します。ベストプラクティスとして、当社はロボット・ファイルを1日に1回チェックするため、サイトのファイルへの変更が有効になるまでに24時間かかることがあります。odc-crawler_ww@oracle.comまでご連絡いただければ、速やかにお客様のサイトの除外または調査を実施いたします。

詳細

お客様のサイトへのアクセスが誤って行われていると思われる場合、またはOracle Data Cloud Crawlerがお客様のサイトで問題を引き起こしていると思われる場合は、調査を行いますので、Oracle Data Cloud（odc-crawler_ww@oracle.com）までご連絡ください。