このページでは、データウェアハウスとビッグデータに関連する主な用語やフレーズを大まかに説明しています。各トピックには詳細な情報へのリンクが用意されています。
どの組織にも、業務上の要件を満たすために保存し、管理しなければならない情報があります。たとえば、企業は従業員の人事記録を収集し、適切に管理する必要があります。こうした情報は、必要とする人が利用できる状態にしておかなければなりません。
情報システムとは、情報を保存および処理するために体系化された仕組みです。たとえば、書類を入れた紙製フォルダを段ボール箱に収め、フォルダの保管方法と取り出し方についてルールを定めた仕組みも、情報システムの一種といえます。しかし、現在ではほとんどの企業がデータベースを利用して、情報システムを自動化しています。データベースとは、体系的に整理され、一つのまとまりとして扱われる情報の集合です。データベースの目的は、データベース・アプリケーションで利用する関連情報を収集・保存し、必要に応じて取り出せるようにすることです。
ビジネス・ユーザーに適切な仕組みや支援が提供されなければ、各自が独自の方法で必要な情報を管理することになります。多くの場合、蓄積されたデータと業務に役立つ情報との間には大きな隔たりがあり、その隔たりを埋めているのが、膨大な数のスプレッドシートを収めたワークブックです。スプレッドシート自体に問題があるわけではありません。問題は、スプレッドシートをあらゆる業務に対応する万能ツールとして過度に頼っていることです。
こうした方法は短期的には機能するかもしれませんが、体系的な「ビジネスプロセス」と呼ぶには無理があります。スプレッドシートは個人の生産性を高める優れたツールですが、残念ながら、多くの人が過度に利用する傾向があります。
さらに重要なのは、スプレッドシートが本来の用途に適した形で使用されていないことです。アナリストやビジネス・ユーザーは、数十枚、ときには数百枚ものシートを含む巨大なワークブックを繰り返し作成し、それらを事実上の「レポート作成アプリケーション」として利用しています。つまり、スプレッドマートとは、複数のスプレッドシート・ワークブックを組み合わせて構築されたデータマートのことです。
データマートはデータウェアハウスと同じ役割を果たしますが、対象範囲が意図的に限定されています。たとえば、特定の部署や事業部門だけを対象とする場合があります。データマートは対象範囲が限られているため、データウェアハウスよりも短期間で構築できるという利点があります。一方で、データマートにはデータの不整合が生じるという問題もあります。
複数のデータマート間でデータや計算方法の定義の一貫性を維持するには、厳格な管理が必要です。この問題は広く認識されており、データマートには大きく分けて2つの方式があります。独立型データマートは、元のデータソースから直接データを取り込む方式です。この方式では、データマートごとに情報の整合性が取れなくなり、互いに孤立した状態に陥る可能性があります。従属型データマートは、既存のデータウェアハウスからデータを取り込む方式です。従属型データマートではデータの不整合を回避できますが、そのためには企業全体を対象とするデータウェアハウスがすでに存在している必要があります。
データマートは、データを物理的に格納する形で構築することも、ビューを使用して論理的に実装することもできます。また、データマートはエンタープライズ・データウェアハウスと同じ環境に配置することも、独立したシステムとして構築することもできます。
オペレーショナル・データストア(ODS)は、日々の業務を支援するためのデータストアです。ODS内のデータはクレンジングと検証が行われていますが、長期間の履歴データを蓄積しているわけではなく、当日分のデータしかない場合もあります。ODSは、データウェアハウスのように豊富な履歴データを対象とするクエリを処理するためのものではありません。その代わり、データウェアハウスにまだロードされていない最新データにアクセスするためのデータソースとして機能します。
ODSは、データウェアハウスにデータをロードする際のデータソースとしても使用できます。データウェアハウスにおけるデータ・ロード技術の進歩に伴い、データウェアハウスへのロード元としてODSを使用する必要性は低くなることが考えられます。代わりに、データを少量ずつ継続的に取り込む仕組みによって、データウェアハウスにほぼリアルタイムでデータをロードできます。
データウェアハウスは、ビジネス・インテリジェンス(BI)活動を支援するために設計されたデータベースです。ユーザーが組織の業績を把握し、改善できるようにすることを目的としています。トランザクション処理ではなく、クエリや分析を目的として設計されており、通常はトランザクション・データから得られた履歴データを格納しますが、その他のデータソースから取得したデータを含むこともあります。データウェアハウスでは、分析ワークロードとトランザクション・ワークロードを分離するとともに、複数のデータソースから取得したデータを組織全体で統合できます。
これにより、次のことが可能になります。
データウェアハウス・アーキテクチャの中核として生データを統合して保存する仕組みは、一般にエンタープライズ・データウェアハウス(EDW)と呼ばれます。EDWは、ビジネスに関連するあらゆる情報を可能な限り詳細な形式で保持することで、組織のビジネス活動をあらゆる側面から把握できるようにします。
ステージング領域を使用すると、複数のソース・システムから取得した業務データのクレンジングと統合が容易になります。特に、企業全体の関連情報を集約するエンタープライズ・データウェアハウスで役立ちます。
Oracle Autonomous Data Warehouseは、数十年にわたって培われてきたデータベースとデータベース・インフラストラクチャの自動化技術に、クラウドの新しいテクノロジーを組み合わせることで、完全な自律型データベースを実現します。このデータウェアハウスには、自動運転、自己保護、自己修復の機能があります。具体的には、次のような機能です。
自律型データベースには、次の4つの主要な目標があります。
データウェアハウスは、オンライン・トランザクション処理(OLTP)システムとは異なります。データウェアハウスを使用すると、分析ワークロードをトランザクション・ワークロードから分離できます。そのため、データウェアハウスは読取り処理を中心としたシステムです。データの書込みや更新に比べて、読取りの処理量がはるかに多いという特徴があります。
これにより、分析処理のパフォーマンスが大幅に向上し、トランザクション処理システムへの影響も回避できます。データウェアハウス・システムは、さまざまなソースからのデータ統合に最適化することで、組織にとって「信頼できる唯一の情報源」となるという重要な目標を達成できます。
すべてのユーザーが共通して参照できる、一貫性のあるデータソースを確保することには大きな価値があります。データの食い違いをめぐる多くの対立を防ぎ、意思決定の効率を高めることができます。
データ・ディスカバリ・ラボは、アナリストやデータ・サイエンティストがデータに潜む価値を見いだせるように構築された、独立した環境です。データ・ラボは、データから何を明らかにすべきかを見極め、得られた答えを実際のビジネスに役立てるためのものです。「サンドボックス」とも呼ばれます。
データ・ラボの構築そのものが最終的な目的ではありません。データ・ラボは、実際の業務で活用できる新たな知見を生み出すための手段です。そのため、得られた知見をどのように具体的な価値につなげるかを、あらかじめ明確にしておくことが重要です。また、初めてデータ・ラボのプロジェクトに取り組む場合は、活動に対する組織の支援を獲得・維持できるよう、その価値を早い段階で目に見える成果として示すことが重要です。
「データ・ディスカバリ・ラボ」を参照してください。
簡単にいうと、ビッグデータとは大規模で複雑化した、特に新しいデータソースに由来するデータセットのことです。このデータセットはあまりにも大量なので、従来のデータ処理ソフトウェアでは管理しきれません。しかし、こうした膨大な量のデータを利用すれば、今までは対処できなかったビジネス上の問題にも対応できるのです。
データレイクとは、構造化データと非構造化データを保存する場所であると同時に、さまざまなデータソースから集めた大量かつ多種多様なデータを整理するための仕組みでもあります。詳細については、こちらの動画をご覧ください。
特にビジネスやテクノロジーの分野で、幅広いデータの探索や分析を行いたいというニーズが高まるにつれ、データレイクの重要性も増しています。そのためには、データのすべて、または大部分を1か所に集約することが効果的です。
データレイクとデータウェアハウスの大きな違いは、データレイクではデータを迅速に取り込み、ユーザーがアクセスする際に必要に応じてデータを加工する傾向があることです。一方、データウェアハウスでは、データを取り込む前に入念な準備と加工を行います。
人工知能(AI)は、1956年に学問分野として確立されました。当時も現在も、その目標は、人間にしかできないと考えられていた、知能を必要とする作業をコンピュータに実行させることです。初期の研究者たちは、チェッカーというボードゲームの対戦や論理問題の解決などに取り組んでいました。
つまり、ここでいう人工知能とは、コンピュータが生み出す知的な処理結果を指します。コンピュータが知的な処理を行うことで、人工的な知能を発揮しているということです。
機械学習とは、人工知能(AI)の一分野であり、使用するデータに基づいて学習する(またはパフォーマンスを改善する)システムを構築することに主眼を置いている技術です。
人工知能は、人間の知能を模倣したシステムや機械を指す、広い意味の言葉です。機械学習とAIは一緒に語られることが多く、両方の単語が同じ意味で使われることもありますが、厳密には同じ意味ではありません。重要な違いは何かというと、機械学習のすべてはAIですが、AIは必ずしも機械学習ではないということです。
現在、機械学習は私たちの周りのすべての所で使用されています。銀行を利用する際にも、オンライン・ショッピングをする際にも、またソーシャル・メディアを使用する際にも、そのやりとりを効率的、円滑、およびセキュアにするために、機械学習のアルゴリズムが使用されています。機械学習とそれを取り巻くテクノロジーは急速に発達していますが、私たちはまだ、その機能について表面的に論じているだけに過ぎません。
簡単にいうと、ディープラーニングとは、ニューロンの数や層の数が多く、相互接続性の高いニューラル・ネットワークを使用する技術です。人間の脳の複雑な仕組みを完全に再現するには、まだ長い道のりがありますが、研究は着実にその実現に向けて進んでいます。自動運転車や囲碁を打つスーパーコンピュータ、音声認識など、コンピューティング技術の進歩に関する話題を目にしたとき、その裏で活用されているのがディープラーニングです。
私たちは何らかの形でAIに触れているのです。そして、そのAIの機能を裏側で支えているのが、何らかのディープラーニング技術です。
サブジェクト領域とは、データウェアハウス全体のデータ・モデルから、特定のテーマに関連する部分を切り出したものです。データマートや部門別データマートは通常、財務、営業、人事など、単一のサブジェクト領域を分析するために使用されます。データベース内では、特定の論理的な概念、ビジネスプロセス、または分析上の問いに関連するすべての表を、1つのサブジェクト領域としてまとめます。データウェアハウスやエンタープライズ・データウェアハウスには通常、複数のサブジェクト領域が含まれており、これらを組み合わせることで、事業活動をあらゆる側面から把握できるようになります。
スキーマとは、表、ビュー、索引、シノニムなどのデータベース・オブジェクトをまとめたものです。データウェアハウス向けに設計されたスキーマ・モデルでは、スキーマ・オブジェクトをさまざまな方法で配置できます。
データウェアハウスのスキーマを設計する際には、ソース・データのモデルとユーザーの要件が重要な判断材料となります。企業のエンタープライズ・データ・モデルからソース・モデルを取得し、それをリバース・エンジニアリングして、データウェアハウスの論理データ・モデルを導き出せる場合もあります。論理データウェアハウス・モデルを物理的に実装する際には、コンピュータの規模、ユーザー数、ストレージ容量、ネットワークの種類、ソフトウェアなど、システムの条件に合わせてモデルを調整することが必要になる場合があります。
スター・スキーマは、論理的または物理的なデータマートを組み込んだデータウェアハウス・システムでよく使用されます。スター・スキーマという用語は、データ・モデルを定義する「ディメンション・モデリング」という手法を指す別の表現でもあります。ディメンション・モデリングに関する解説の多くでは、この分野の先駆的なコンサルタントであり著述家でもあるRalph Kimball氏の研究に由来する用語が使用されています。ディメンション・モデリングでは、売上の追跡や出荷などのビジネスプロセスごとに、複数のスター・スキーマを作成します。
各スター・スキーマは1つのデータマートと見なすことができ、わずか20個程度のデータマートで企業全体のビジネス・インテリジェンスのニーズを満たせる場合もあります。
スノーフレーク・スキーマはスター・スキーマの一種であり、通常のスター・スキーマよりも複雑なデータウェアハウス・モデルです。スキーマの構造を図にすると雪の結晶のような形になることから、スノーフレーク・スキーマと呼ばれています。スノーフレーク・スキーマでは、ディメンションを正規化することでデータの冗長性を排除します。つまり、ディメンション・データを1つの大きな表に格納するのではなく、複数の表に分割して整理します。
ディメンション表には、ファクト・データの意味や背景を理解するための分類情報が格納されます。たとえば、セールス・データのスター・スキーマには、製品、日付、販売場所、プロモーションなどのディメンション表があります。ディメンション表の情報を使用してクエリの絞込み条件となる値を選択できるため、ディメンション表は検索表や参照表として機能します。
多くのディメンション表では、格納されている値が頻繁に変更されることはありません。たとえば、都市を表す地理ディメンションのデータは、比較的変化が少ないと考えられます。ただし、ディメンションの値が変更された場合は、迅速かつ確実に更新することが不可欠です。もちろん、データウェアハウスのディメンションの値が頻繁に変更される場合もあります。たとえば、企業の顧客ディメンションでは、更新や削除が頻繁に発生することが想定されます。
ファクト表には、測定値などの数値データが格納されます。通常、ファクト表は行数が多い一方、列数はそれほど多くありません。大企業のファクト表では、行数が数十億に達することも珍しくありません。多くのスター・スキーマでは、ファクト表がストレージ使用量全体の90%を大きく超える割合を占めます。ファクト表には、スキーマ内の各ディメンション表の主キーを組み合わせた複合キーがあります。
ファクト表には、詳細レベルのファクト・データ、または集計済みのファクト・データが格納されます。集計済みのファクト・データを格納するファクト表は、サマリー表と呼ばれることもあります。通常、1つのファクト表には、集計レベルが同じファクト・データが格納されます。ファクト・データの多くは加算可能ですが、半加算可能なものや加算不可能なものもあります。加算可能なファクト・データは、単純な算術加算によって集計できます。その代表的な例が売上高です。加算不可能なファクトは、加算による集計が一切できません