資料湖

資料湖是適用於結構化、半結構化和非結構資料的儲存區域,可儲存任意格式和大小的資料,且規模不受限制,方便您輕鬆進行分析。透過 Oracle Cloud Infrastructure (OCI),您可以建置安全、符合成本效益且易於管理的資料湖。OCI 上的資料湖可與您偏好的資料倉儲和分析以及其他 OCI 服務 (例如資料目錄、安全性和可觀察性服務) 緊密整合。

什麼是資料湖?(0:44)
任何資料、任何來源

將您的資料分批移至或順暢地串流至 OCI 資料湖,以供分析。利用 OCI Data IntegrationOCI GoldenGateOCI Streaming 來擷取您的資料,並將其儲存在 OCI Object Storage 中。

不再有資料孤島!

OCI 上的中央資料湖可與您偏好的工具整合,包括 Oracle Autonomous Data WarehouseMySQL HeatWave 、分析和機器學習 (ML) 工具 (例如 Oracle Analytics Cloud),以及開源專案 (例如 Apache Spark)。

利用 AI 和 ML

一組全方位的 AI 和 ML 服務可讓您從資料中取得新的洞察分析、進行預測、降低營運間接成本,並改善客戶體驗。

探索並保護您的資料

使用 OCI 資料目錄對您的資料進行編目,並收集有關您資料湖的洞察分析。啟用查詢工具和資料庫,在物件存放區中探索及查詢您的資料。

搶先體驗 OCI Data Lake

今年,Oracle Cloud Infrastructure 推出了名為 OCI Data Lake 的完全受管理資料湖服務。您可以先行註冊,在公開發佈之前搶先探索其功能。

為什麼使用 OCI 上的資料湖?


現代化您的資料湖

資料湖可讓您處理更多類型的資料,但對於管理資料所需的時間和工作可能不利。透過提供完全受管理的開源資料湖服務,OCI 同時降低了成本並減少管理工作,讓您可預期有更低的營運成本、更高的可擴展性和安全性,並能夠將所有目前資料整合在一個地方。


擴展您的資料倉儲

資料倉儲和資料市集對於成功的企業來說至關重要。將這兩者與資料湖整合可進一步提升其價值。透過 Oracle 整合資料庫、資料倉儲和資料湖,意味著使用單一 SQL 查詢,就能從多個位置存取資料。目前的應用程式和工具可通透地存取所有資料,無需變更且無需學習新技能。


使用 Oracle 應用程式的進階分析

企業應用程式產生的資料極具價值,但很少充分利用。OCI 上的資料湖可簡化多個應用程式的資料存取,並啟用複雜的分析,意味著良好一季或壞一季之間的差異。

OCI 上的資料湖整合解決方案

運用內嵌的 OCI Data Integration 體驗集中管理您的資料

在不複製的情況下,從任何來源查詢任何資料

預先整合的應用軟體可即時創造價值。

具備內嵌的 OCI Data Catalog 體驗的目錄和治理

藉由微點、以角色為基礎的存取控制原則,保護資料

Oracle 資料平台可充分發揮資料的潛力

  • 結合交易和分析資料,避免資料孤島。
  • 運用 Oracle IaaS 到 Oracle SaaS,或任何介於兩者間的任何項目,請選取所需的控制數量。
  • 將任何種類的資料帶入平台,我們打破了結構化與非結構化資料之間的障礙。
  • 將任何種類的資料帶入平台,我們打破了結構化與非結構化資料之間的障礙。
  • 使用先進的 Oracle Analytics Cloud 報告或任何第三方分析應用程式 - OCI 開放。
Oracle 資料平台總覽圖表,說明如下 此圖顯示 Oracle 資料平台,其中包含資料來源、資料移動服務 (例如整合服務、Oracle 現代化資料平台的核心),以及可能的結果和應用程式開發服務。

整合 Autonomous Database 與資料湖

Oracle Autonomous Database 支援與資料湖的整合,不僅在 Oracle Cloud Infrastructure 上,還支援在 Amazon Web Services (AWS)、Microsoft Azure、Google Cloud 等等。您可以選擇將資料載入資料庫,或直接在來源物件存放區查詢資料。這兩種方法都使用相同的工具和 API 來存取資料。

此架構有時稱為湖庫一體架構。



具備資料湖圖表的 Autonomous Database,說明如下 此圖顯示運用 Oracle Autonomous Database 的資料平台架構,以及資料來源、Oracle Autonomous Database 和結果。

使用 MySQL HeatWave Lakehouse,對所有資料進行即時分析

一個 MySQL 的雲端資料庫服務,可用於跨資料倉儲和資料湖的交易、即時分析,以及機器學習,無需 ETL 複製的複雜性、延遲、風險和成本。



具備資料湖圖表的 Autonomous Database,說明如下 圖中顯示運用 Oracle MySQL HeatWave 資料平台的架構,以及資料來源 MySQL Heatwave 與結果。

使用 Oracle 管理的開源服務建置資料湖

快速建立以 Hadoop 為基礎的資料湖或以 Spark 為基礎的資料湖,以擴充您的資料倉儲,並以符合成本效益的方式輕鬆存取及管理所有資料。



具備資料湖圖表的 Autonomous Database,說明如下 該圖表顯示利用 Oracle 管理的開放原始碼服務 (例如 Hadoop、Spark 和 OpenSearch) 的資料平台架構,其核心是資料來源、Oracle 開放原始碼服務和可能的結果。

Oracle 的資料湖服務

資料移動與整合

連線分析應用程式,並利用即時一致的交易資料、有效率的批次載入及串流資料進行擴展。

  • OCI 資料整合
    使用無程式碼的資料流程設計工具,將您的複雜資料擷取、轉換及載入程序 (ETL/E-LT) 簡化到資料湖和倉儲中,以供資料科學和分析使用。
  • Oracle Data Integrator
    Data Integrator 提供擷取、轉換及載入的進階資料移轉功能。Oracle Data Integrator 已針對 Oracle 雲端資料庫和內部部署資料庫最佳化。
  • Oracle GoldenGate
    Oracle GoldenGate 提供高可用性、即時資料整合、變更資料擷取、資料複製、轉換以及營運和分析企業系統之間的驗證。
  • OCI Streaming
    Streaming 針對 DevOps、資料庫、大數據以及 SaaS 應用程式等數百種第三方產品,提供立即可用的產品整合。

資料湖

利用完全受管理的資料服務,以更低的成本和更少的工作建置資料湖。

  • OCI Data Lake
    Data Lake 透過統一的精細存取控制,為您的結構化與非結構化資料提供集中儲存和中繼資料。
  • OCI Object Storage
    Object Storage 可讓客戶以其本機格式儲存任何類型的資料。對於建置需要擴展和彈性的現代化應用程式而言,這是理想的選擇。
  • OCI 資料目錄
    資料目錄使用企業範圍內的資料資產清單協助整個組織中的資料專業人員搜尋、探索和管理資料。
  • OCI 資料流程
    資料流程是一項完全受管理的 Apache Spark 服務,無須部署或管理基礎架構,即可在極大型資料集上執行處理作業。由於程式開發人員可以專注在應用程式開發,而基礎架構管理則加快應用程式傳遞速度。
  • Oracle Big Data
    Big Data Service 是 Hadoop 型資料湖服務,用於儲存和分析大量原始客戶資料。作為託管服務,Oracle Big Data Service 隨附完全整合的堆疊,其中包括開源原始碼和 Oracle 增值工具,可簡化您的 IT 營運作業。

資料湖倉儲

利用資料湖與偏好資料倉儲的 OCI 整合,並發現新的洞察分析。

  • MySQL Heatwave Lakehouse
    MySQL HeatWave Lakehouse 可通透地連線到資料湖,讓使用者處理和查詢物件存放區中各種檔案格式的數 TB 資料,包括 CSV、Parquet 和 Aurora/Redshift 備份。
  • Autonomous Database 資料湖倉儲功能
    Autonomous Database 可啟用自助服務資料湖倉儲,讓使用者在所有物件存放區 (包括 OCI、AWS、Azure 和 Google Cloud Platform) 上載入或直接查詢檔案。整合的機器學習、空間、文字和圖表分析讓您無須移動資料,就能進行洞察分析。

AI 和機器學習

透過預先建置的 AI 模型取得資料或建立自己的洞察力。

  • OCI AI 服務
    AI 服務是一系列具有預建機器學習模型的服務,讓開發人員可以更輕鬆地將 AI 套用至應用程式和業務營運。您可自訂模型,以獲得更準確的業務成果。
  • OCI Data Science
    使用專為團隊建構的資料科學服務快速建置、訓練、部署和管理機器學習模型。
  • Oracle Database 中的機器學習
    Oracle Database 中的機器學習支援大規模的資料探索、準備和機器學習建模。
  • MySQL HeatWave AutoML
    MySQL HeatWave AutoML 包含在 MySQL HeatWave 內建置、訓練、部署及說明機器學習模型所需的一切使用者,無須額外付費。
金融服務業
Experian 運用 OCI 上的資料湖庫加速財務作業。
挖礦
MineSense 透過 OCI 上的資料湖倉儲實現查詢速度加快 5 倍。
Advertising
Beso 使用各種離線來源將 23 個線上來源的資料整合在一起,建置可擴展至 100 個來源的資料湖。
運動技術
Seattle Sounders 透過 Oracle 的資料湖庫倉儲管理資料的次數提高了 100 倍,可產生 10 倍的洞察力並減少了資料庫管理。

資料湖庫合作夥伴生態系統

Oracle 合作夥伴解決方案在 OCI 上運用及擴增資料湖庫。

  • Accenture logo
  • Capgemini 標誌
  • Deloitte 標誌
  • h2o.ai 標誌
  • qubix 標誌
  • Reply Technology 標誌
  • Sesame Software logo
  • wandisco 標誌

Informatica 是資料倉儲和湖庫解決方案資料整合和治理的首選合作夥伴。

在 Oracle Cloud Infrastructure 上採用資料湖

查看所有參考架構
Oracle Playbook 系列

我們彙集了人員、流程和系統策略的箇中奧祕。並想與您分享。

開始使用 OCI 上的資料湖

試用 Always Free 雲端服務並享有 30 天試用期

Oracle 對 Autonomous Data Warehouse、OCI 運算和 Oracle 儲存體產品等精選服務提供無時間限制的 Free Tier,以及 300 美元的免費額度,可試用其他雲端服務。取得詳細資料,並立即註冊您的免費帳戶。

  • Oracle Cloud Free Tier 包含哪些項目?

    • 永遠免費
    • 2 個自主資料庫,每個 20 GB
    • 運算 VM
    • 100 GB 區塊磁碟
    • 10 GB 物件儲存體

透過實作實驗室學習

學習的最佳方法是自行嘗試。試試這個免費的資料湖研討會,其中示範典型的使用案例,並重點介紹一些可用來建置資料湖的工具。

  • 使用 Autonomous Database 和 Data Catalog 存取資料湖

    此研討會中的實驗室將逐步介紹使用 Oracle Autonomous Database 和 OCI Data Catalog 存取使用 Oracle Object Storage 貯體建立的資料湖所需的步驟。

    開始資料湖存取實驗室
  • 開始使用 Oracle Big Data Service

    瞭解如何使用巨量資料服務和 OCI 建立及監控高可用性 Hadoop 叢集。您也將新增 Oracle Cloud SQL 至叢集並存取公用程式和主要節點,以及瞭解如何使用 Cloudera Manager 和 Hue 直接在 Web 瀏覽器中存取叢集。

    開始資料湖庫實驗室
  • 透過 Red Bull Racing 瞭解分析和機器學習

    使用分析和機器學習分析 70 年的賽車資料。瞭解為何某些賽事精彩到令人目不轉睛,而其他賽事卻不難預測結果。

    啟動資料分析實驗室
  • 開始使用 Oracle Cloud Infrastructure Anomaly Detection

    探索如何使用 OCI Anomaly Detection 建立自訂機器學習模型。您將採用使用者上傳的資料、使用特製演算法訓練模型,以及將模型部署到雲端環境以偵測異常。

    立即啟動異常偵測實驗室

聯絡業務代表

想要深入瞭解資料湖嗎?讓我們的專家助您一臂之力。

  • 我們的業務代表可以爲您解答以下問題:

    • 如何開始使用 Oracle 上的資料湖?
    • 資料湖可以處理哪些資料倉儲無法勝任的作業?
    • 我的企業如何從資料湖中獲益?