資料管理
資料管理是以經濟實惠的方式，安全、有效率地收集、保存和使用資料的實務。資料管理的目標是要協助人員、組織和連網物品在政策和法規的限制內最佳化資料的使用，以便制定決策並採取讓組織享有最大效益的動作。隨著組織逐漸仰賴無形資產創造價值，健全資料管理策略的重要性變得前所未有的重要。
管理組織中的數位資料涉及廣泛的工作、政策、程序和實務範圍。資料管理的工作範圍很廣，包含以下因素：
- 建立、存取和更新橫跨不同資料層內的資料
- 儲存橫跨多個雲端與內部部署之間的資料
- 提供高可用性和災難還原
- 使用逐漸成長的各種應用程式、分析和演算法中的資料
- 確保資料隱私權和安全性
- 根據保留排程和合規性需求封存和銷毀資料
正式資料管理策略滿足使用者和管理員的活動、資料管理科技的功能、法規需求的要求，以及組織需求，以從其資料取得價值。
資料資本就是商業資本
在當今數位經濟時代，資料是一種資本，也是數位產品和服務的經濟生產要素。就像汽車製造商如果缺乏必要的金融資本，就無法製造新車款一樣，如果缺乏資料來餵養車載演算法，就無法使汽車發揮自主功能。資料此全新的角色對於競爭策略和運算未來具有深遠的含意。
鑒於資料所具有的中央和關鍵任務角色，無論規模或類型，每間組織都需要強大的管理實務和健全的管理系統。
深入了解資料資本的崛起 (PDF)現今的資料管理系統
現代企業需要一個資料管理解決方案，提供有效方式來管理不同但統一的資料層資料。資料管理系統建立在資料管理平台上，可以包括 資料庫、資料湖和倉庫、巨量資料管理系統、資料分析等。
所有這些元件會作為一個「資料公用程式」一起工作，提供組織對其應用程式所需的資料管理功能，以及使用這些應用程式所產生的資料分析和演算法。儘管目前工具有助於資料庫管理員 (DBA) 自動化許多傳統的管理工作，但由於大多數資料庫部署的規模和複雜度，仍然經常需要手動介入。每次需要手動介入時，發生錯誤的機會隨之增加。減少手動資料管理的需求是新型資料管理技術「自主資料庫」的的主要目標。
資料管理平台是收集並分析組織內大量資料的基礎系統。商業資料平台一般包括資料庫廠商或協力廠商所開發的管理軟體工具。這些資料管理解決方案可以協助 IT 團隊和 DBA 執行典型任務，例如：
- 識別、警示、診斷和解決資料庫系統或底層基礎架構內的故障
- 配置資料庫記憶體和儲存資源
- 變更資料庫設計
- 最佳化資料庫查詢的回應，以獲得更快速的應用程式效能
逐漸普遍的雲端資料平台可讓企業以經濟實惠的方式快速擴大或縮小。部分可供服務使用，甚至能讓組織節省更多成本。
自主資料庫是以雲端為基礎，使用人工智慧 (AI) 和機器學習自動化許多由 DBA 執行的資料管理工作，包括管理資料庫備份、安全性和效能調整。
自主資料庫又稱為自主驅動資料庫，為資料管理提供了巨大的優點，包括：
- 複雜度降低
- 人為錯誤的可能性降低
- 較高的資料庫可靠性和安全性
- 營運效率提升
- 降低成本
逐漸普遍的雲端資料平台可讓企業以經濟實惠的方式快速擴大或縮小。部分可供服務使用，甚至能讓組織節省更多成本。
大資料管理系統
在許多方面，巨量資料就是字面上的意思，代表大量的資料。但巨量資料的形式也比傳統資料更廣泛，而且資料的收集速度也很快。思考一下每天或每分鐘來自 Facebook 等社交媒體的所有資料。資料的數量、多樣性和速度使得其對於企業如此寶貴，但也使得管理變得非常複雜。
隨著越來越多的資料從攝影機、社交媒體、錄音檔案和 Internet of Things (IoT) 裝置等不同來源收集，巨量資料管理系統應運而生。這些系統專事於三個一般領域。
- 巨量資料整合從批量資料到流媒體資料帶來了不同類型的資料，並將其加以轉換以供使用。
- 巨量資料管理會在資料湖或資料倉庫中高效又安全可靠地儲存和處理資料，通常透過物件儲存來達成。
- 大數據分析會以分析的方式發掘新的見解，並使用機器學習和 AI 視覺化建置模型。
公司正在運用大數據改善並加速產品開發、預測性維護、客戶體驗、安全性、營運效率等等。隨著大資料擴大，商機也會擴大。
資料管理挑戰
現今資料管理的大多數挑戰都是源自於商業步調加快和資料加速擴散的緣故。組織可用的資料多樣性、速度和數量不斷擴大，組織尋求更有效的管理工具跟上腳步。組織面臨的部分主要挑戰包括以下項目：
|
不知道自己有什麼資料 |
目前收集和儲存的資料來自於許多多元的來源 (例如感應器、智慧裝置、社交媒體和攝影機)，而且資料來源和多樣性也不斷增加。但是，如果組織不知道自己擁有什麼資料，資料的位置，以及這些資料的使用方式，則這些資料都沒有用處。 |
|
隨著資料層的擴展，各組織必須維持效能等級。 |
組織隨時都在獲取、儲存和使用更多資料。為了在這不斷擴展的等級中保持峰值回應時間，組織需要持續監控資料庫正在回答的問題類型，並隨著查詢變化而更改索引，但不能影響效能表現。 |
|
他們必須滿足不斷變化的合規要求 |
合規性法規複雜、橫跨多司法管轄區，而且不斷改變。組織需要能夠輕鬆地檢閱其資料，並識別屬於全新或經修改之需求的任何內容。尤其是必須偵測、追蹤和監控個人識別資訊 (PII) 是否符合日益嚴格的全球隱私權法規。 |
|
他們不知道如何重新利用資料，並將其用於新的用途 |
收集和辨識資料本身並不能提供任何價值，組織需要處理資料。如果需要花費大量的時間和精力將資料轉換為他們需要的分析內容，那麼這類分析就不會進行。因此便會失去該資料的潛在價值。 |
|
他們必須跟上資料儲存的變化 |
在資料管理的新世界，組織會將資料儲存於多個系統中，包括將資料以任何格式儲存於單一存放庫的資料倉儲和非結構化資料湖。組織的資料科學家需要一種方法來快速、輕鬆地將資料從其原始格式轉換為他們需要的形狀、格式或模型，以便進行廣泛的分析。 |
資料管理原理和資料隱私權
歐盟於 2018 年 5 月頒布和實施的一般資料保護規範 (GDPR) 包括個人資料管理和處理的七大原則。這些原則包括合法性、公平性、透明性、目的限制、準確性、儲存線置、完整性和機密性等等。
GDPR 及其他跟隨其腳步的法律 (如加拿大消費者隱私權法，CCPA) 正在改變資料管理的面貌。這些需求提供標準化的資料保護法，讓個人可以掌控其個人資料及其使用方式。實際上，當組織未能在資料擷取時獲得知情同意、對於資料使用或地區的掌控能力不佳，或未能符合資料抹除或可移植性需求時，此法律將消費者轉變成利害關係人並具有實際的法律追索權。
資料管理最佳實務
處理資料管理的挑戰需要一套全方位、深思熟慮的最佳實務。儘管特定最佳實務會隨著相關資料類型和產業而有所不同，但以下最佳實務可以處理組織現今面臨的主要資料管理挑戰：
|
建立探索層來辨識您的資料 |
在您組織資料層上的探索層允許分析師和資料科學家搜尋和瀏覽資料集，使您的資料可用。 |
|
開發資料科學環境，有效地重新利用您的資料 |
資料科學環境會盡可能將資料轉置工作自動化，簡化資料模型的建立和評估。消除手動轉置資料需求的一組工具可以加速新模型的假設和測試。 |
|
使用自主技術在您不斷擴展的資料層中保持性能水準 |
自主資料功能使用 AI 和機器學習持續監控資料庫查詢，並隨著查詢變更最佳化索引。如此可讓資料庫維持快速反應時間，並讓 DBA 和資料科學家有時間從事費時的手動工作。 |
|
利用探索來掌握合規要求 |
新工具運用資料探索檢閱資料並識別需要偵測、追蹤和監控的連接鏈結，以達成多個司法管轄區的合規性。隨著全球的合規性需求增加，此功能對於風險和安全性人員也日趨重要。 |
|
使用通用的查詢層來管理多樣的資料儲存形式 |
新技術正讓資料管理存放庫可以共同運作，消弭之間的差異。橫跨許多種資料儲存的常見查詢層可讓資料科學家、分析師和應用程式無需了解資料的儲存位置，也無須手動將資料轉置成可用的格式，即可存取資料。 |
資料科學環境的價值
資料科學橫跨多個學科，利用各種科學方法、流程、演算法及系統從資料中萃取出價值。資料科學家將一系列技術 (包括統計、電腦科學和商業知識) 結合起來，分析從網路、智慧型手機、客戶、感測器和其他來源收集的資訊。
資料管理演進
隨著將資料作為商業資本的新角色，組織發現數位創業公司和顛覆者先前就已知道的資訊：資料是識別趨勢、制定決策並搶先競爭對手採取行動的寶貴資產。資料在價值鏈的新定位正帶領組織主動尋求從此新資本獲取價值的更好方法。
在公司內，DBA 的資料管理職責也不斷演進，減少許多日常工作，因此DBA 可以將注意力集中於更策略性問題，並提供雲端環境中關鍵資料管理支援 (PDF)，包括如資料模型和資料安全性的主要計劃。