Oracle Data Cloud Crawlerとは

Oracle Data Cloud Crawlerは、Webページにアクセスしてコンテンツを調査し分析する自動ロボットです。この点では、検索エンジン会社が使用するロボットに類似しています。

Oracle Data Cloud Crawlerは、次のユーザーエージェントのいずれかによって識別されます。

Mozilla/5.0（互換性、GrapeshotCrawler/2.0、+http://www.grapeshot.co.uk/crawler.php）

Mozilla/5.0（iPhone、Mac OS XのようなCPU iPhone OS 8_3）AppleWebKit/600.1.4（KHTML、Geckoなど）バージョン/8.0 Mobile/12F70 Safari/600.1.4（互換性、GrapeshotCrawler/2.0、+http://www.grapeshot.co.uk/crawler.php）

Oracle Data Cloud Crawlerは、オラクルが所有するIPアドレス範囲からのリクエストによって識別できます。なりすましのリクエストが疑われる場合は、IPアドレスの調査に適したwhoisツール（ドメイン調査ツール）や検索サービスを使用して、適切なRIPEデータベースに照らしてリクエストのIPアドレスを確認してください。執筆時点で、Oracle Data Cloud Crawlerに使用されるアドレスは次のとおりです。

• 132.145.9.5
• 132.145.11.125
• 132.145.14.70
• 132.145.15.209
• 132.145.64.33
• 132.145.66.116
• 132.145.66.156
• 132.145.67.248
• 140.238.81.78
• 140.238.83.181
• 140.238.94.137
• 140.238.95.47
• 140.238.95.199
• 152.67.128.219
• 152.67.137.35
• 152.67.138.180

または

• 148.64.56.64 ～ 148.64.56.80
• 148.64.56.112 ～ 148.64.56.128

Oracle Data Cloud Crawlerがサイトをクロールする理由

Oracle Data Cloudは、Webページにコンテキスト広告を掲載する広告主を支援します。これを行うためには、どのカテゴリが最も一致するかを判断するためにページを調べる（つまりクロールする）必要があります。

ページへのアクセスはオンデマンドでのみ行われます。Oracle Data Cloud Crawlerがお客様のサイトにアクセスした場合は、情報がまだ利用できなかったか更新する必要があるページに、広告が最近掲載されたことを意味します。このため、ユーザーがページにアクセスした直後に、Oracle Data Cloud Crawlerからのリクエストが表示されることがよくあります。このクローラーシステムは、できる限り負荷をかけないように設計されています。特定のサイトに対するリクエストレートを制限しており、サイトがダウンしたり、遅くなったり、200（OK）以外のレスポンスを何度も返したりする場合に、自動的にクロールを中断します。

システムが大規模なチェーン状である場合、Oracle Data Cloudがお客様のサイトを分析する場合があります。Oracle Data Cloud Crawlerは、RubiconやAppNexusなどの多くのリアルタイム入札（RTB）システムにリアルタイムのコンテキスト情報を提供します。このようなRTBシステムは、広告配信戦略の一環としてサードパーティの広告サーバーシステムによって頻繁に使用されています。

Robots.txtによるブロック

Oracle Data Cloudは、検索エンジンシステムを誰にも提供することはありません。また、お客様のサイトのクロールされたコンテンツを検索や他のシステムによって利用可能にすることもありません。当社がお客様のサイトを分析するのは、広告が掲載され、それによってそのページのコンテキストについて問い合わせがあった場合のみです。

次の例に示すように、robots.txtファイルを使用してお客様のサイトでOracle Data Cloud Crawlerをブロックできます。

サイトの特定部分をブロックする

User-agent:grapeshot
Disallow:/private/
Disallow:/messages/

サイト全体をブロックする

User-agent:grapeshot
Disallow:/

Oracle Data Cloud Crawlerによるサイトのクロールを許可する

User-agent:grapeshot
Disallow:

オラクルは、サイトまたはサイトの一部のクロールを中止するリクエスト、またはオラクルの運用に関するその他のフィードバックを真剣に受け止め、迅速かつ適切な方法で対処いたします。ベストプラクティスとして、オラクルはロボットファイルを1日1回チェックします。そのため、サイトファイルへの変更がアクティブになるまでに24時間かかる場合があります。ご不明点につきましては、odc-crawler_ww@oracle.comまでご連絡ください。お客様のサイトを除外するか、あるいは除外しない場合でもすぐに調査いたします。

詳しい情報のお問い合わせ先

Oracle Data Cloud Crawlerがお客様のサイトを誤ってアクセスしている、またはOracle Data Cloud Crawlerが原因でサイトで問題が起きていると思われる場合は、Oracle Data Cloud（odc-crawler_ww@oracle.com）までご連絡ください。当社にて調査いたします。