企業資料網格

資料網格是企業軟體的一個熱門主題，這是根據分散式架構思考資料以進行資料管理的新方法。其概念是透過直接連接資料擁有者、資料產生者和資料取用者，讓業務使用者更容易存取及使用資料。資料網格旨在改善以資料為中心之解決方案的業務成果，並加速採用現代化資料架構。

從業務觀點來看，資料網格引進了有關「資料產品思維」的新想法。換句話說，將資料視為一種能夠實現「待完成工作」的產品，例如為了改善決策、協助偵測詐騙或警告企業變更供應鏈條件。為了建立高價值的資料產品，公司必須因應文化和思維轉變，並採取更跨職能的方法來建立業務領域模型。

在技術方面，Oracle 對資料網格的觀點涉及資料導向架構的三大新重點領域：

1. 提供資料產品的工具，作為資料收集、資料事件和資料分析
2. 分散式 (Distributed、Decentralized) 資料架構，協助選擇從單體式架構邁向多雲和混合雲運算的組織，或必須以全球分散方式營運的組織
3. 移動中的資料，適用於無法只依賴集中式、靜態、批次導向資料，並針對即時資料事件改用事件導向資料分類帳和以串流為中心的管線以提供更及時分析的組織

其他重要考量 (例如適用於非技術使用者的自助服務工具和強大的聯合資料治理模型) 對資料網格架構的重要性，會與其他更集中且傳統的資料管理方法一樣重要。

資料網格方法是將資料視為產品的典範轉移。資料網格引進了公司必須以企業的有形資本資產形式管理資料的組織和流程變更。Oracle 的資料網格架構觀點要求整個組織和分析資料領域一致。

資料網格旨在將資料產生者直接連結至業務使用者，以盡可能從擷取、準備及轉換資料資源的專案和流程中移除 IT 中間人。

Oracle 著重於資料網格，為客戶提供了一個可解決這些新興技術需求的平台。這包括資料產品的工具、分散式事件導向架構，以及移動中資料的串流模式。對於資料產品領域建模及其他社交技術問題，Oracle 與資料網格思維領袖 Zhamak Dehghani 所提出的待完成工作一致。

可悲的是，事實上，過去的單體式資料架構既繁瑣昂貴，又欠缺靈活性。多年來，數位商業平台 (從應用到分析) 的大部分時間和成本被投入整合工作的情況變得越來越明顯。因此，大多數的平台計畫都會失敗。

雖然資料網格無法輕易解決集中式單體式資料架構問題，但資料網格的原則、實務和技術卻可解決資料導向業務計畫中一些最迫切且未解決的現代化目標。

導致資料網格即解決方案興起的一些技術趨勢包括：

思維轉變是邁向資料網格最重要的第一步。願意採用學到的創新實務，有助於成功將資料架構現代化。

這些學到的實務領域包括：

• 設計思維—一個用於解決「棘手問題」的實證方法，已應用於企業資料領域來建立最佳資料產品
• 待完成工作理論——應用以客戶為主的創新和成果導向創新流程，確保企業資料產品將解決真實業務問題

設計思維方法帶來實證技術，可協助打破經常封鎖跨功能創新的組織孤島。待完成工作理論是設計資料產品以實現特定終端取用者目標 (或待完成工作) 的關鍵基礎，定義了產品的用途。

雖然資料產品方法一開始是來自資料科學社群，但現在將應用於資料管理的所有層面。資料網格著重於資料取用者和業務成果，而不是建立單體式技術架構。

雖然資料產品思維可應用於其他資料架構，但這是資料網格不可或缺的一部分。如需如何應用資料產品思維的實用範例，Intuit 團隊根據自己的經驗撰寫了詳細的分析。

任何類型的產品 (從原始商品到您當地商店的物品) 都會以旨在供取用的有價值資產形式產生，並具有特定的待完成工作。資料產品可採用各種形式，視要解決的業務領域或問題而定，其中可能包括：

• 分析—歷史/即時報表和儀表板
• 資料集—不同型態/格式的資料集合
• 模型—領域物件、資料模型、機器學習 (ML) 功能
• 演算法—ML 模型、評分、業務規則
• 資料服務和 API—文件、有效負載、主題、REST API 等等

資料產品是為了取用所建立，通常在 IT 外部擁有，並需要追蹤其他特性，例如：

• 利害關係圖—擁有、建立及取用此產品的人是誰？
• 封裝和文件—如何取用？如何標記？
• 用途和價值—產品的隱含/明確價值為何？一段時間後是否折舊？
• 品質和一致性—使用哪些 KPI 和 SLA？是否可驗證？
• 來源、生命週期和治理—資料是否值得信任並可解釋？

分散式 IT 系統是現代事實，隨著 SaaS 應用程式和公有雲端基礎架構 (IaaS) 的崛起，應用程式和資料的分散化已成為常態。應用程式軟體架構正從過去的集中式單體轉變為分散式微服務 (服務網格)。資料架構將遵循相同的分散化趨勢，資料在各式各樣的實體網站和許多網路之間會變得越來越分散。我們將此稱為資料網格。

網格是一種網路拓樸，可讓大型非階層式節點群組以協同合作的方式共同運作。

一些常見的技術範例包括：

• WiFiMesh—許多節點共同運作以提供更好的涵蓋範圍
• ZWave/Zigbee—低能源的智慧型家庭裝置網路
• 5G 網格—更可靠且彈性的行動數據連線
• 星鏈—全球規模的衛星寬頻網格
• 服務網格—可讓您統一控制分散式微服務 (應用程式軟體) 的方式

資料網格與這些網格概念一致，並提供分散方式在虛擬/實體網路之間和遠距離分散資料。傳統資料整合單體式架構 (例如 ETL 和資料聯合工具)，甚至更近的公有雲服務 (例如 AWS Glue)，都需要高度集中的基礎架構。

完整的資料網格解決方案必須能夠在多雲架構中運作，範圍可能會從內部部署系統、多個公有雲，甚至到邊緣網路。

在資料高度分散的世界中，資訊安全的角色至關重要。與高度集中的單體不同，分散式系統必須將驗證和授權各個使用者不同存取層級所需的活動對外委派。但在網路間安全地委派信任並不容易達成。

部分考量包括：

• 靜態加密—寫入至儲存體的資料/事件
• 分散式認證—用於服務和資料存放區，例如 mTLS、憑證、SSO、密碼存放區和資料保存庫
• 動態加密—在記憶體內流動的資料/事件
• 身分管理—LDAP/IAM 類型服務，跨平台
• 分散式授權—用於隱匿資料的服務端點
  例如： Open Policy Agent (OPA) Sidecar 可將原則決策點 (PDP) 放在微服務端點處理中的容器/K8S 叢集內。LDAP/IAM 可以是任何具備 JWT 功能的服務。
• 固定式遮罩 - 以可可靠且一致的方式混淆處理 PII 資料

在任何 IT 系統中提供安全性可能很難，而在分散式系統中提供高安全性甚至更難。不過，這是可解決的問題。

資料網格的核心宗旨在於擁有權和責任的散布概念。最佳實務是將資料產品和資料領域的擁有權與組織中最接近資料的人員聯合在一起。實際上，這可能會與來源資料一致 (例如原始資料來源，像是記錄/應用程式的作業系統)，或與分析資料一致 (例如通常為方便資料取用者取用而格式化的複合或彙總資料)。在這兩種情況下，資料的生產者和取用者通常會與業務單位而非 IT 組織一致。

組織資料領域的老方法通常會落入與技術解決方案一致的陷阱，例如 ETL 工具、資料倉儲、資料湖或公司的結構組織 (人力資源、行銷及其他業務部門)。不過，對於指定的業務問題，資料領域通常會與正在解決的問題範圍、特定業務流程的相關資訊環境，或特定問題領域的應用程式系列最為一致。在大型組織中，這些資料領域通常會影響內部組織和技術佈局。

資料領域的功能分解在資料網格中已晉升為首要優先考量。用於領域建模的各種資料分解方法都可改造為資料網格架構，包括傳統資料倉儲建模 (例如 Kimball 和 Inmon) 或資料保存庫建模，但目前在資料網格架構中最常嘗試的方法是領域導向設計 (DDD)。DDD 方法來自微服務功能分解，現在將應用於資料網格相關資訊環境。

Oracle 加入資料網格討論的一個重要領域是提高移動中資料的重要性，使其成為現代化資料網格的主要組成成份。移動中的資料是讓資料網格得以從單體式集中式批次處理的傳統世界脫離出來的重要基礎。移動中的資料功能回答了幾個核心資料網格問題，例如：

• 如何即時存取來源一致資料產品？
• 哪些工具可讓您在實體分散式資料網格之間進行分散式信任資料交易？
• 如果需要以資料產品 API 形式提供資料事件，可以使用什麼？
• 對於必須持續更新的分析資料產品，如何與資料領域一致並確保值得信任且有效？

這些問題不只是「實施細節」，對於資料架構本身也至關重要。靜態資料的領域導向設計所使用的技術和工具，與相同設計的移動中動態資料流程不同。例如，在動態資料架構中，資料分類帳是資料事件的事實來源中心。

分類帳是製作分散式資料架構功能的基本元件。與會計分類帳相同，資料分類帳會記錄發生的交易。

散布分類帳時，任何位置的資料事件都會變成「可重新執行」。有些分類帳有點像飛機飛行記錄器，可用於高可用性和災難復原。

與集中式和單體式資料存放區不同，分散式分類帳是專為追蹤其他 (外部) 系統中發生的單元事件和 (或) 交易而建立。

資料網格不會是單一類型的分類帳。視使用案例和需求而定，資料網格可以利用不同類型的事件導向資料分類帳，包括下列各項：

• 一般用途事件分類帳—例如 Kafka 或 Pulsar
• 資料事件分類帳—分散式 CDC/複製工具
• 傳訊中介軟體—包括 ESB、MQ、JMS 和 AQ
• 區塊鏈分類帳—用於安全、不可變的多方交易

這些分類帳可共同作為整個企業的一種長期事件日誌，以提供記錄系統和分析系統上所發生資料事件的連續清單。

多語言資料串流比以往更為普遍。它們會因事件類型、有效負載和不同的交易語意而有所不同。資料網格應支援各種企業資料工作負載的必要串流類型。

當然，資料網格不只有這三個特性。我們著重於以上三個特性是為了指出，Oracle 認為這些特性是新興現代化資料網格方法的其中一些全新獨特層面。

其他重要的資料網格特性還包括：

• 自助服務工具— 資料網格的整體資料管理趨勢傾向自助服務，公民開發人員必須有越來越多人是來自資料擁有者的行列
• 資料治理— 資料網格也採用更正式的聯合治理模型，這是資料長、資料管理者和資料目錄供應商多年來所倡導的長期趨勢。
• 資料可用性 — 鑽研資料網格的原則，在確保資料產品高度可用方面有相當多的基礎工作。資料產品的原則涉及資料是否有價值、實用且可共用。

除了以「隨即轉移」的方式將單體式資料架構移轉雲端之外，許多組織也想淘汰過去的集中式應用程式，並改用更現代化的微服務應用程式架構。

但傳統應用程式單體通常仰賴大量的資料庫，而產生如何分段移轉計畫才能減少中斷、風險和成本的問題。資料網路可以為從單體分段轉換到網格架構的客戶，提供重要的作業 IT 功能。例如：

• 資料庫交易的子領域卸載，例如依「限定內容」篩選資料
• 分段移轉的雙向交易複製
• 跨平台同步，例如大型主機至 DBaaS

從微服務架構的觀點來看，此方法使用雙向交易寄件匣來實現 Strangler Fig 移轉模式，一次一個限定內容。

關鍵業務應用程式在復原能力和持續性方面需要非常高的 KPI 和 SLA。無論這些應用程式是單體式架構、微服務，還是介於兩者之間，都不能停止運作！

對於關鍵任務系統，通常無法接受分散式最終一致性資料模型。不過，這些應用程式必須跨多個資料中心運作。這會產生業務持續性問題：「如何跨多個資料中心執行應用程式，同時仍保證資料正確且一致」

無論單體式架構使用的是「分區資料集」，還是設定為跨網站高可用性的微服務，資料網格都能在任何距離下提供正確的高速資料。

資料網格可為跨網站的資料提供分散但 100% 正確的基礎。例如：

• 非常低延遲的邏輯交易 (跨平台)
• 具備 ACID 功能的正確資料保證
• 多個作用中、雙向和衝突的解決方法

現代化服務網格式平台使用事件進行資料交換。當應用程式或資料存放區中發生事件時，資料有效負載會持續流動，而不是依賴資料層的批次處理。

針對某些架構，微服務必須相互交換資料有效負載。其他模式則需要在單體式應用程式或資料存放區之間進行交換。這會產生問題：「如何才能在應用程式與資料存放區之間可靠地交換微服務資料有效負載？」

資料網格可為以微服務為中心的資料交換提供基礎技術。例如：

• 相關資訊環境內的微服務對微服務
• 跨相關資訊環境的微服務對微服務
• 從單體到微服務/從微服務到單體

微服務模式 (例如事件來源、CQRS 和交易寄件匣) 都是普遍瞭解的解決方案；資料網格提供工具和架構，讓這些模式可大規模可靠地重複。

除了微服務設計模式之外，企業整合的需求還延伸至其他 IT 系統，例如資料庫、業務流程、應用程式及所有類型的實體裝置。資料網格為整合移動中的資料提供基礎。

移動中的資料通常是事件導向。使用者動作、裝置事件、流程步驟或資料存放區確認都可透過資料有效負載來起始事件。這些資料有效負載對於整合物聯網 (IoT) 系統、業務流程和資料庫、資料倉儲以及資料湖至關重要。

資料網格為整個企業的即時整合提供基礎技術。例如：

• 將真實世界的裝置事件連接至 IT 系統
• 跨 ERP 系統整合業務流程
• 讓作業資料庫與分析資料存放區一致

大型組織理所當然會混合使用新舊系統、單體和微服務、作業和分析資料存放區；資料網格可協助跨不同業務和資料領域統一這些資源。

分析資料存放區可包括資料市集、資料倉儲、OLAP 立方體、資料湖及資料湖倉儲技術。

一般而言，將資料帶入這些分析資料存放區的方法只有兩種：

• 批次/微批次載入—在時間排程器上
• 串流擷取—持續載入資料事件

資料網格為串流資料擷取功能提供基礎。例如：

• 資料庫或資料存放區的資料事件
• 實體裝置遙測的裝置事件
• 應用程式事件日誌記錄或業務交易

透過串流擷取事件可降低對來源系統的影響、改善資料的真確性 (對於資料科學至關重要)，並實現即時分析。

擷取至分析資料存放區後，資料管線通常需要準備和轉換不同資料階段或資料區域的資料。下游分析資料產品通常需要此資料精簡流程。

資料網格可提供與分析資料存放區搭配運作的獨立控管資料管線層，以提供下列核心服務：

• 自助服務資料探索和資料準備
• 跨網域進行資料資源治理
• 資料準備和轉換為所需的資料產品格式
• 透過確保一致性的原則進行資料驗證

這些資料管線應該能夠跨不同的實體資料存放區 (例如市集、倉儲或湖) 運作，或是作為支援串流資料之分析資料平台內的「下推資料串流」運作 (例如 Apache Spark 和其他資料湖倉儲技術)。

事件會持續發生。串流中事件的分析對於瞭解最新動態至關重要。

這種以時間序列為基礎的即時事件串流分析，對於真實世界的 IoT 裝置資料，以及瞭解 IT 資料中心內或財務交易間的狀況 (例如詐騙監控) 可能很重要。

全功能資料網格會包含基礎功能，可分析多種不同事件時段的所有類型事件。例如：

• 簡單事件串流分析 (Web 事件)
• 業務活動監控 (SOAP/REST 事件)
• 複雜事件處理 (多串流關聯)
• 資料事件分析 (在資料庫/ACID 交易上)

與資料管線相同，串流分析可能會在已建立的資料湖倉儲基礎架構內執行，也可能會單獨作為雲端原生服務執行。

資料整合前緣領導者想從各種彈性資料存放區集合進行即時作業和分析資料整合。隨著資料架構演變為串流分析，創新已持續不斷快速發展。作業高可用性實現了即時分析，而資料工程自動化則簡化了資料準備，讓資料科學家和分析師可透過自助服務工具來達成。