Oracle Data Cloud Crawlerって何？

Oracle Data Cloud Crawlerは、ウェブページにアクセスしてコンテンツを調査し分析する自動 ロボットです。この点では、検索エンジン会社が使用するロボットに類似しています。

Oracle Data Cloud Crawlerは、次のユーザーエージェントのいずれかによって識別されます：

Mozilla/5.0（互換性、GrapeshotCrawler / 2.0、 + http：//www.grapeshot.co.uk/crawler.php）

Mozilla/5.0（iPhone、Mac OS X のような CPU iPhone OS 8_3）AppleWebKit/600.1.4 （KHTML、Geckoなど）バージョン/8.0 Mobile/12F70 Safari/600.1. 4 （互換性、GrapeshotCrawler/2.0、+http://www.grapeshot.co.uk/crawler.php）

Oracle Data Cloud Crawlerは、オラクルが所有するIPアドレスレンジからのリクエストによって識別できます。なりすましのリクエストが疑われる場合は、IPアドレスの調査に適したwhois（ドメイン調査）ツールまたは検索サービスを使用して、適切なRIPEデータベースに照らしてリクエストのIPアドレスを確認してください。通常、表示されるべき有効なアドレスは、148.64.56.0〜148.64.56.255（148.64.56.0/24）のアドレスレンジのみです。現時点では、Oracle Data Cloud Crawlerで使用されるアドレスは、148.64.56.64〜148.64.56.80 と 148.64.56.112〜148.64.56.128 となります。

Oracle Data Cloud Crawlerはなぜサイトをクロールするのか？

Oracle Data Cloudは、ウェブページにコンテキスト広告を掲載する広告主を支援します。これを行うには、どのカテゴリが最も一致するかを判断するためにページを調べる（すなわちクロールする）必要があります。

ページへのアクセスはオンデマンドでのみ行われます。Oracle Data Cloud Crawlerがお客様のサイトにアクセスした場合は、情報がまだ利用できないか、または更新する必要があるページに、広告が最近配置されたことを意味します。この理由のため、ユーザーがページにアクセスした直後にOracle Data Cloud Crawlerからのリクエストがしばしば表示されることがあります。クローラーシステムは、できるだけ負荷をかけないように設計されています。このシステムは特定サイトへのリクエストレートを制限し、サイトがダウンしていたり遅延している場合、または200（OK）以外のレスポンスを繰り返して返す場合には、自動的にクロールを中断します。

システムが大規模なチェーン状である場合、Oracle Data Cloudがお客様のサイトを分析する場合があります。Oracle Data Cloud Crawler は、RubiconやAppNexusなどの多くのリアルタイムビディング（RTB）システムに、リアルタイムの文脈情報を提供します。このようなRTBシステムは、広告配信戦略の一環としてサードパーティの広告サーバーシステムに頻繁に使用されるものです。

Robots.txtによるブロック

Oracle Data Cloudは検索エンジンシステムを誰にも提供することはなく、また、お客様のサイトのクロールされたコンテンツを検索や他のシステムによって利用可能にすることもありません。当社がお客様のサイトを分析するのは、広告が掲載され、それによってそのページのコンテキストについて問い合わせがあった場合のみです。

次の例に見られるように、robots.txt ファイルを使用してお客様のサイトでOracle Data Cloud Crawlerをブロックすることができます。

サイトの特定部分をブロックする

ユーザーエージェント: grapeshot
Disallow: /private/
Disallow: /messages/

サイト全体をブロックする

ユーザーエージェント: grapeshot
Disallow: /

Oracle Data Cloud Crawlerによるサイトのクロールを許可する

ユーザーエージェント: grapeshot
Disallow:

当社はサイトまたはサイトの一部のクロールを中止するリクエスト、または当社の運用に関するその他のフィードバックを真剣に受け止めると共に、迅速かつ適切な方法で対処します。ベストプラクティスとして、当社はロボットファイルを1日に1回チェックします。そのため、サイトファイルへの変更がアクティブになるまでに24時間かかることがあります。ご不明点につきましては odc-crawler_ww@oracle.com へご連絡ください。お客様のサイトを除外するか、あるいは除外しない場合でも直ちに調査致します。

詳しい情報のお問い合わせ先

お客様のサイトが誤ってアクセスされている、または、Oracle Data Cloud Crawlerが原因でサイトに問題が起きていると思われる場合は、Oracle Data Cloud（odc-crawler_ww@oracle.com）にお問い合わせください。当社にて調査いたします。