データの重複の影響と解決策

データの重複は単純な概念です。データのどの部分にも、組織のインフラストラクチャのどこかに1つ以上の正確な重複があるという考え方です。たとえば、データベース内のレコード、ストレージ・ボリューム内のファイル、またはVMイメージなどです。単独では、重複は良性、さらには有益であるように見えるかもしれません。追加のコピーが嫌いな人はいないでしょう。しかし、企業規模に拡大すると、問題の範囲が明確になります。ほぼすべての現代的なデバイスが絶えずデータを生成し、バックアップやアーカイブが定期的にスケジュールされ実行され、ファイルが複数のプラットフォーム間で共有される中、データの重複は単なる煩わしさから、莫大なコストと技術的負担へと発展しています。問題の解決は、データの重複が発生する方法と理由を理解することから始まります。

データ複製とは

データの複製は、意図的に(計画バックアップなど)、または意図せずに、1つ以上の同一のバージョンのデータを作成するプロセスです。重複は、ファイル、VMイメージ、データベース内のブロックまたはレコード、またはその他のデータ型に格納されたデータとして存在する場合があります。原因に関係なく、データの重複によってストレージ領域が浪費され、データ・ストアのサイズとともにコストが増加します。また、データ管理の問題にもつながります。たとえば、ファイルのすべてのコピーが同時に更新されない場合、不整合が原因で分析が失敗する可能性があります。

データの複製とは、データの冗長性、またはプライマリ・バージョンのデータの冗長セーフティ・ネットとして機能する複数のレコードを持つことです。データ複製の反対はデータ複製解除です。これにより、リソースを解放し、場合によっては古いコピーを削除するために、重複データの削除が必要になります。

主なポイント

• 重複データは、ネットワーク内のファイルまたはデータベース・レコードの正確なコピーを指します。多くの場合、コミュニケーションの欠如、時代遅れのプロセス、ファイル共有のベストプラクティスへの準拠に失敗します。
• 重複データは、ストレージ領域や処理能力などのリソースを不必要に消費する可能性があります。
• 重複データは、同じ販売レコードを2回提供するなど、分析の結果を歪めることもできます。
• 組織は、バックアップとアーカイブとして、意図的に重複データを作成し、複数のダウンロード、コピー/貼付けエラー、または重複データ入力によって意図せず作成します。
• すべてのフォームで重複データを処理すると、リソースを使い果たすことと、スタッフが請求書や発注書のミスを訂正したり、重複データに基づく他のアクションを実行する必要がある場合に間接的に大きなコスト負担がかかります。

データの重複の説明

データの重複は必ずしも悪いことではありません。意図的なデータ複製は、簡単にアクセスできるバックアップ、包括的なアーカイブ、より効果的なディザスタ・リカバリなど、大きなメリットをもたらします。ただし、過度のコストをかけずにこれらのメリットを得るには、バックアップと定期的かつスケジュールされた複製解除を実行するための戦略が必要です。そうしないと、重複データによって、せいぜい不必要に追加のストレージ領域が占有され、最悪の場合、ユーザー間の混乱や偏りのデータ分析が発生する可能性があります。

「データの重複」と「データの冗長性」という用語は同じ意味で使用されることが多いですが、違いがあります。重複データは、必ずしも意図的に冗長であるとは限りません。場合によっては、人間やマシンによって不注意に、または誤って重複が発生することがあります。しかし、エンジニアリングの観点からは、冗長性という概念は、問題が発生した場合に安全策を講じるためのものです。これにより、意図的な重複が発生します。冗長性自体は、堅牢なエンジニアリング・プラクティスの原則ですが、過剰な冗長性を生み出すことは確かに可能です。その場合、余分な重複セットが目的を持って生成されても、使用するリソースの量に限られた値を提供します。

データ重複が発生する理由

データは、人間と自動化されたプロセスによって、いくつかの方法で複製できます。たとえば、多くの人がドキュメントを編集する過程で、わずかな変更を加えた複数のバージョンを別々の名前で保存した経験があるのではないでしょうか。「salesreport_final.docx」や「salesreport_final_v2.docx」のようなファイルがそれに当たります。こうしたファイルは、最終版が完成しても削除されずに残りがちです。また、同じファイルが社内でメール送信され、異なる担当者がそれぞれ別の共有ドライブに保存してしまうこともあります。アプリケーションの実行ファイル（.exe）やメディアファイルが、何度もダウンロードされるケースもありますし、仮想マシン（VM）のイメージが複数の場所に保存されることもあります。さらに、データベース内でも同じ情報が二重に入力されることがあります。これは、顧客や従業員など、異なる人が同じファイルを取り込んだり、同じ内容を手入力したりすることで発生します。このような重複は、ローカル・アプリケーションまたは互換性のあるファイル・タイプを持つ異なるアプリケーションで、異なる部門が同じレコード(顧客情報など)を作成した場合にも発生します。つまり、異なるバックアップ・バージョンにまたがって冗長コピーが作成され、それ自体が重複している可能性があります。

データドリブンな組織が増えるほど、重複が問題になる可能性があります。ビッグデータは、過剰なストレージのための大きなコストにつながる可能性があります。自動化によって重複が作成されることもあります。この場合、自動バックアップ・プロセスによって、冗長性の目的で重複ファイルが作成される可能性があります。ただし、同じファイルが複数回バックアップされると、問題が発生します。不要なレベルの冗長性によって、ストレージの使用が非効率になります。

一般的に、予期しないイベントがデータの重複につながります。たとえば、バックアッププロセス中に停電または自然災害が発生した場合、バックアップはリセットされ、一部のファイルがすでに書き込まれたあとでプロセスを再起動します。ハードウェア障害によって同様の問題が発生し、バックアップまたはアーカイブ・プロセス中に計画外の複製が発生する可能性があります。

データ複製のタイプとその意味

データの重複は必ずしも悪いことではありません。ITチームは、重複が意図されたものかどうか、重複の格納に使用されるリソースの数、および現状のコストを理解する必要があります。第2世代アーカイブに完全に複製されたファイルへのポインタを含む、意図的に作成された 3 世代目のアーカイブは、共有ドライブに同じ巨大な PowerPoint ファイルが複数保存されている場合とはまったく異なる状況です。

データ重複の最も一般的なタイプと、それらが組織にどのように影響するかを次に示します。

• 浅い重複: 浅い複製では、データがコピーされると新しいオブジェクトが作成されますが、データを完全にクローニングするのではなく、オブジェクトには元のオブジェクトへの参照ポインタが格納されます。これにより、ストレージ領域が大幅に少なくなりますが、ソース・データを取得するには、問合せでさらに1つのステップを実行する必要があります。また、複製は本質的に元のものと同期されるため、元のものに対する変更は複製に反映されます。これは、変更を動的に複製に反映させるのではなく、ある時点の状態を保存したい場合には不向きです。

• 深い複製: 深い複製では、元データの完全なコピーが新しいオブジェクトとして作成されます。新しいオブジェクトには、元のオブジェクトと同じ量のストレージ領域が必要です。つまり、深い複製によって、浅い複製よりも多くのストレージが消費されます。この欠点にもかかわらず、深い複製にはスタンドアロンの冗長性を提供する利点があります。つまり、ソース・ファイルに意図的または偶然に何かが発生した場合、深い複製は、ディザスタ・リカバリが可能なクリーン・バックアップの確保に役立ちます。
• データ断片化: データ断片化とは、データファイルのセグメントを異なる場所に格納するプロセスを指します。これにより、アクセス頻度または容量に基づいてセグメントを書き込むことでストレージがより効率的になる可能性がありますが、システムではセグメントを参照して完全なファイルをコンパイルする必要があるため、通常、ファイルの問合せには処理時間とリソースが必要になります。リカバリの目的で、断片化によって問題が発生する可能性があります。たとえば、機械的または接続の障害によって、重複が不完全になる場合があります。または、ロケーション・ベースの障害によって一部のフラグメントのみが損傷し、バックアップまたはアーカイブ・プロセスが破損する可能性があります。
• 論理レプリケーション: 論理レプリケーションは、より効率的な複製プロセスのために参照を使用する点で、浅い複製に似ています。バックアップ・システムを保守する場合、論理レプリケーションは一貫性をパブリッシャ/サブスクライバ・モデルとして扱います。パブリッシャはソースであり、サブスクライバは特定のデータ・ボリュームのターゲットであり、通常はアドレスによって識別されます。パブリッシャが指定されたアドレス範囲内でソース更新を行うと、サブスクライバ・データは同期を維持するように更新されます。効率を最大化するために、サブスクライブされた範囲外の更新は無視されます。
• 物理レプリケーション: 物理レプリケーションは、方法的なバイト単位のプロセスにデータをコピーするデータベース・レプリケーションの形式です。論理レプリケーションとは異なり、これはより遅く、より包括的で、リソース集中型のモデルであり、重複バージョンも多く作成されます。

データ重複のコスト

データが重複すると、ハードウェア、帯域幅、メンテナンス、データ管理にまたがる追加負担の波及効果が生じ、これらはすべて不要なコストになります。問題が軽微にとどまる場合もありますが、最悪の場合は深刻な結果を招くこともあります。データ重複がデータサイエンスの取り組みに悪影響を及ぼす代表的な例を挙げます。

ストレージ領域。これは、データ重複の最も直接的なコストです。冗長コピーは、ローカル・ハード・ドライブ、サーバーおよびクラウド・ストレージの貴重な容量を消費するため、コストが高くなります。10テラバイトのデータがあり、10%が重複している部門を想像してみてください。これは1テラバイトの無駄なストレージであり、特にクラウドベースのプライマリ・ストレージとアーカイブ・ストレージの場合、大きなコストになる可能性があります。

データ複製解除ツール。別のハード・コストの重複除外ツールは、ストレージ・ボリュームから重複を排除できます。これらのサービスおよびツールは、通常、レコード単位のボリュームに基づきます。つまり、除外する重複が多ければ多いほど、コストも高くなります。

スキュー・データ。重複レコードは、不正確なメトリックを作成することで、データ分析およびビジュアライゼーションにエラーをもたらす可能性があります。たとえば、新規顧客の名前がわずかに異なる販売データベースに2回入力された、または2人の管理者が同じ発注書を入力したとします。

前述の各要素には、コストのかかるスタッフの作業も必要です。ストレージ・ボリュームはメンテナンスする必要があります。誰かが重複除去システムを評価、購入、および実行する必要があります。偏ったデータには、レコードの削除とデータベースのクリーニングが必要です。不良データがさらにレポートまたは通信に伝播する場合は、それ以降のすべての作業をバックトラックして元に戻してから、修復する必要があります。

データの重複による問題

意図せずに複製されたファイルやデータベースのレコードは、放置すれば組織全体に影響が波及し、深刻な問題を引き起こす可能性があります。次に、データの複製で発生する最も一般的な問題の一部を示します。

• データ品質の問題: データは、正確性、完全性、適時性および目的の組織の基準を満たすと、高品質とみなされます。重複するデータが増加すると、これらの各要因が損なわれる可能性があり、生成されるレポートや分析の精度が低下します。重複データが長期間放置されるほど、組織全体のデータ品質は劣化し、過去分析から将来予測に至るまで、あらゆる分析に支障をきたします。
• スタッフの効率の低下: 重複データの追跡と修正に費やされる時間はどれくらいですか。データの重複が蓄積されると、従業員はレポートや記録の二重・三重チェック、問題の修正対応などに多大な時間を割かれることになり、場合によっては数日〜数週間のロスが発生します。必要な修正には次のものが含まれます。
  • レコードの更新
  • 共有サーバーに存在する同じファイルのバージョン数の追跡
  • レポートの統計が重複情報によってどのように偏っているかを確認する
  • 不正なデータでレポートを表示したユーザーの追跡
• 正確なレポートと分析の生成が困難: 意思決定者がレポートとデータ分析から得た洞察はどれほど優れていますか。重複データ、あるいは低品質なデータが含まれていると、レポートが誤った方向へと組織を導いてしまう可能性があります。重複データの存在が把握されている場合、組織はその影響を回避するために、レポート作成前の追加的なデータクレンジングや、不足データの補完作業といった余分な対応を求められることになります。
• 規制要件への対応の失敗: データの重複により、規制ガイドラインへの準拠が困難になり、多くの場合、包括的なデータ管理の必要性が強調されます。たとえば財務データに関するレポート提出が義務づけられている場合、重複データにより不正確または不整合な情報が含まれることがあります。その結果、罰金や制裁措置を受けるリスクが生じます。規制要件では、多くの場合、強力なデータ・セキュリティ・プラクティスと、違反を迅速に特定して報告する能力が義務付けられています。顧客のクレジット・カードなどの機密データが複数の場所に格納されている場合、その操作は困難です。最後に、一般データ保護規則やカリフォルニア州消費者プライバシー法などの規制により、個人は個人データにアクセス、修正または削除する権利を付与されます。レコードが重複すると、特定の個人に関連付けられたすべての関連データを特定しにくくなり、コンプライアンスが妨げられる可能性があります。
• 在庫原価の増加: データの重複は、在庫管理にも悪影響を及ぼします。誤った在庫情報により、本来不要な在庫の補充に追われたり、逆に過剰な在庫を抱えたりといった事態が発生します。クリーンなデータがないと、真のリーン運用は不可能になります。
• 誤った経営判断: 組織は、データ主導型の意思決定を行うことで成功することができます。しかし、そのデータが重複によって汚染されている場合、意思決定は誤った前提のもとで行われます。その結果、小さな見落としにとどまる場合もあれば、即時対応を迫られる混乱、あるいは取り返しのつかない重大な意思決定ミスにつながる可能性すらあります。
• カスタマー・サービスの不良: 顧客が企業とやり取りする場合、情報が複数の重複レコードに分散していると、サービス・エージェントが履歴を全体的に把握することは困難です。エージェントに、顧客の過去の購入、サポート・チケットまたは通信履歴に関する重要な詳細がない場合があります。これにより、パーソナライズされた効率的なサービスを提供する能力が損なわれ、大切な顧客が「なぜエージェントは私の話を知らなかったのか」と不信感を抱き、ブランドイメージにも悪影響を及ぼします。
• 可視性の低下: ネットワークの可視性とは、企業が自社のネットワーク上を流れるすべてのトラフィックやデータを正確に把握できる状態を指します。重複データはこの可視性の確保を多方面で妨げます。具体的には、以下のような影響があります。
  • 不正確なデータ・ログの作成
  • バックアップやアーカイブ処理の長時間化・ストレージの過剰消費
  • ネットワーク・パフォーマンスおよび伝送メトリックの偏り
  • 処理能力や帯域幅のリソース浪費

データの重複を防ぐための戦略

共有ドライブ、Internet of Thingsデバイス、インポートされたパブリック・データとパートナ・データ、階層型クラウド・ストレージ、より堅牢なレプリケーションとディザスタ・リカバリ、その他無数のソースにより、組織はこれまで以上に多くのデータを保持しています。これに伴い、データの重複が発生するリスクも増加しており、組織は重複データの発生を最小限に抑え、拡散した場合には速やかに排除する戦略を優先すべきです。

以下は、一般的かつ効果的な対策の一部です。

• データ検証ルールの適用: データレイクやデータウェアハウスなどのリポジトリにデータをインポートする場合は、そのデータをクレンジングして検証することが重要です。取込みステージでデータ検証を実行すると、上流で作成された重複データの受入れが制限されます。IT部門は、取込みワークフローの一部として重複データを識別および排除するためのルールを作成および適用するプロセスを構成する必要があります。
• 一意の識別子の確立: データベースは、重複バージョンが生成されないように、一意の識別子をレコードに適用できます。たとえば、顧客アカウントのインスタンスでは、一意の識別子は顧客識別番号またはアカウント番号の新しいフィールドです。その後、営業チームおよびマーケティング・チームが顧客と作業するときにアカウント番号を使用すると、同じ顧客名を使用して別のレコードを誤って作成しなくなります。
• 定期的な監査の実行: 定期的な間隔で重複排除ツールを使用することは、効果的なITメンテナンス戦略の一環として非常に有効です。重複排除の効果は状況によって異なることがありますが、継続的に実施することにより、重複データの検出・排除を習慣化し、蓄積を最小限に抑えることが可能になります。
• 再利用可能なコード・ライブラリおよびフレームワークの使用: アプリケーション開発の場合、開発者は再利用可能なコード・ライブラリおよびフレームワークを実装して、重複コードを減らしながら独自の作業を合理化できます。このイニシアチブは、機能およびその他の再利用可能な要素のリポジトリを作成し、開発者が重複したコードや冗長な作業を生成せずにモジュラ・アセットを使用できるようにします。
• データベース制約の使用: データベース・マネージャは、特定のフィールド間でレコードが重複しないように制約を設定できます。たとえば顧客情報のデータベースで「顧客名」フィールドに一意制約を設けると、同じ顧客名で重複レコードを誤って作成することを防ぎ、売上データの正確性を維持することが可能になります。

データの重複を排除するメリット

組織がデータドリブンになるにつれて、重複データを排除することがますます必要になり、有益になります。冗長性を最小限に抑えるための積極的な措置を講じることで、ストレージ・インフラストラクチャの最適化、データ管理の効率性の向上、コンプライアンスの改善、その他の優先事項のための資金とスタッフのリソースの解放が可能になります。

次に、データ複製解除の最も一般的な利点の一部を示します。

• ストレージ・コストの削減: 重複データを排除すると、企業がクラウドで支払う必要があるストレージの量を減らし、所有データ・センターの新しいハードウェアを購入する必要性を排除できます。これにより、2つのタイプのコスト削減が実現します。直接的なレベルでは、組織は購買サイクルを遅らせることができます。ただし、間接的には、少ないデータ・ストレージを使用することで、ITチームはリソースの状態をより効率的に監視および維持でき、全体的なメンテナンスおよび間接費を節約できます。
• データ精度の向上: データが重複すると、様々な精度の問題が発生します。顧客のデータベース・レコードが重複すると、2つの異なる部門が同じレコードを更新し、混乱を招く可能性があります。また、分析レポートにおいても、冗長なデータが含まれることで統計の信頼性が損なわれます。
• 全体的なカスタマー・エクスペリエンスの向上: クライアントに関する正確で完全かつクリーンなデータがある場合、多くの場合、顧客満足度が向上し、ブランド認知度が向上するとともに、売上が増加します。たとえば、購入履歴が重複レコードに分散するのを防ぐことで、レコメンドエンジンの精度やマーケティング施策の的確さが向上し、よりパーソナライズされた対応が可能になります。
• 従業員の生産性の向上: 不正確なデータは、従業員の生産性を低下させる大きな要因にもなります。さまざまな部門の従業員が、レポート内の不正確さの原因を追跡しようとして時間を無駄にしたり、メンテナンスやデータ・クレンジングの労力のために追加のオーバーヘッドが必要になる場合があります。いずれにせよ、データが不正確であることは、情報を正しく取得するための手間が増えることを意味し、スケジューリング、コミュニケーション、ワークフロー、そして最終的には予算に影響を与える可能性があります。
• データへの容易なアクセスと部門やチーム間のより良い情報共有: データ重複除外の取り組みにより、組織内の部門やチーム間の情報共有を大幅に改善できます。特に、システムやアプリケーション間に存在する「データサイロ（情報の孤立）」の解消につながります。重複除外は、情報を単一のデータ・ソースに統合することで、異なるチームが正確で一貫性のある情報に簡単にアクセスして共有できるようにします。また、冗長コピーが少なく、ストレージが最適化されたため、チームは必要な情報を簡単に見つけることができます。時代遅れの可能性のある複数の場所やバージョンのデータを検索するのに時間を浪費する必要はありません。
• 正確な最新データに基づくより適切な意思決定: データに基づく意思決定は、データが正確である場合にのみ機能します。重複データを排除してデータの精度を向上させることで、組織はより適切な意思決定を行うことができます。また、データに対する信頼性が高まることで、組織全体の運用効率の向上にもつながります。
• データベースのより高速なバックアップおよびリストア: 複製解除プロセスは、ストレージ・メディアで使用されるデータ量全体を削減するのに役立ちます。これにより、バックアップやアーカイブに必要な容量が小さくなり、バックアップ・移動・復元の各プロセスが高速化されます。データ量が少ないため、転送にかかる時間も短縮され、処理に必要な計算リソースも削減されます。

Oracle HeatWaveでデータを常に最適な状態に

データの重複の問題を最小限に抑える最善の方法は、そもそも重複を発生させないことです。Oracle HeatWaveは、オンライン・トランザクション処理、データウェアハウスとデータレイクにわたるリアルタイム分析、機械学習(ML)および生成AIを1つのクラウド・サービスに統合します。これにより、お客様は以下のような多くのメリットを享受できます。

• 分析のために、データベース内のトランザクション・データを別の分析データベースに複製する必要はありません。
• チームは、追加機能やサービスなしで、オブジェクト・ストレージ、MySQL Database、またはその両方の組み合わせのデータを簡単にクエリできます。
• 同様に、MLモデルを構築するためにデータを別のMLサービスに移動する必要はありません。
• お客様は、さまざまなサービスの使用の複雑さとコストを回避し、コストのかかる抽出、変換、および負荷の重複を回避できます。
• 分離された分析用データベースでレポートが生成されるまで待つ必要がなく、意思決定者は常にリアルタイムの分析結果を取得できます。
• データ・ストア間でデータが転送されないため、データ・セキュリティおよび規制コンプライアンスのリスクが低下します。
• 自動化されたデータベース内ベクトル・ストアを含むOracle HeatWave GenAIを使用すると、お客様は、大規模言語モデルのパワーを独自のデータで活用して、データを別のベクトル・データベースに複製することなく、パブリック・データのみでトレーニングされたモデルを使用するよりも正確でコンテキスト上の関連性の高い回答を得ることができます。

データの重複排除は、情報のサイロ化を解消し、データのアクセス性を向上させ、チーム間のコラボレーションを促進します。これにより、組織全体で得られたデータインサイトを活用した、より良い意思決定が可能になります。たとえば、マーケティングチームがCRMシステムで顧客連絡先情報を管理し、営業チームが類似のデータを持つ別のリード管理システムを使っているような状況では、情報が分断されがちです。重複排除プログラムを導入することで、こうした情報を統合し、両チームが統一された顧客ビューに基づいて、連携してマーケティング施策や営業活動を展開できるようになります。

データ複製に関するFAQ

データ重複の今後のトレンドについて教えてください。

テクノロジーの進化により、ITは重複データの発生をより効果的に抑制できるようになってきています。今後の代表的な進展として、以下のようなトレンドが挙げられます。

• 重複排除を、データ送信元または保存先のいずれかで実行できる柔軟性
• インラインでのデータ重複排除
• ローカルストレージだけでなく、グローバルなデータ複製解除
• データ・リポジトリを使用した検証および変換プロセスの一部としての重複除外
• ファイル単位ではなく、ブロックやセグメント単位での重複排除の導入

データの重複をどのように監視しますか。

重複データのモニターおよび識別には、様々な戦略を使用できます。これには、データ・プロファイリング、データ照合、データ・カタログなどのツールが含まれます。受信データ・ソース用のデータ・クレンジング・ツールではある程度の識別が可能ですが、特殊なデータ重複除外ツールでは重複データを検出して排除できます。

データ複製の課題を教えてください。

データの重複は、あらゆる規模の組織にとって大きな課題となります。最も明らかな問題は、無駄なストレージ領域です。重複コピーにより、サーバー、ハード・ドライブおよびクラウド・ストレージの貴重な容量が消費されるため、コストが高くなります。システム間で重複データを管理することは、重複を識別し、プライマリ・バージョンを特定し、冗長コピーを削除する必要があるITワーカーにとっても時間がかかります。記憶域の場所に散在する重複ファイルのアクセスと取得に時間がかかるため、データの重複が過剰になると、システムも遅くなる可能性があります。

また、更新がすべてのコピーに適用されない場合は、データの不整合もあります。これにより、不正確なレポート、古い情報に基づく無駄な労力、異なるチームが競合するデータ・セットに依存している場合の混乱につながる可能性があります。さらに、正確なデータ保持や削除を求める規制要件への対応も困難になり、セキュリティの観点からは、データ量が多ければ多いほど攻撃対象が広がるリスクがあります。

重複データを持つ利点はありますか。

バックアップやアーカイブなどの意図的に複製されたデータには、ビジネス継続性やディザスタ・リカバリに関連する機能に多くの利点があります。重複データを正常に使用するには、組織が戦略的なアプローチを採用し、重複を特定の限られた量に保持して、過剰なリソースの使用やその他の問題を防ぐ必要があります。