什麼是資料管理？

資料管理是以經濟實惠的方式，安全、有效率地收集、保存和使用資料的實務。資料管理的目標是要協助人員、組織和連網物品在政策和法規的限制內最佳化資料的使用，以便制定決策並採取讓組織享有最大效益的動作。隨著組織逐漸仰賴無形資產創造價值，健全資料管理策略的重要性變得前所未有的重要。

管理組織中的數位資料涉及廣泛的工作、政策、程序和實務範圍。資料管理的工作範圍很廣，涵蓋如何進行以下供做的因素

• 建立、存取和更新橫跨不同資料層內的資料
• 儲存橫跨多個雲端與內部部署之間的資料
• 提供高可用性和災難還原
• 使用逐漸成長的各種應用程式、分析和演算法中的資料
• 確保資料隱私權和安全性
• 根據保留排程和合規性需求封存和銷毀資料

正式資料管理策略滿足使用者和管理員的活動、資料管理科技的功能、法規需求的要求，以及組織需求，以從其資料取得價值。

現今的資料管理系統

現今的組織需要能以有效率的方式管理多元但統一資料層內資料的資料管理解決方案。資料管理系統是以資料管理平台建置，可以包括資料庫、資料湖和倉儲、大數據管理系統、資料分析等等。

所有這些元件以資料公用程式的形式運作，以為組織的應用程式及使用來自這些應用程式之資料的分析和演算法，提供所需的資料管理功能。儘管目前工具有助於資料庫管理員 (DBA) 自動化許多傳統的管理工作，但由於大多數資料庫部署的規模和複雜度，仍然經常需要手動介入。每次需要手動介入時，發生錯誤的機會隨之增加。減少手動資料管理的需求是新型資料管理技術「自主資料庫」的的主要目標。

大數據管理系統

在某種程度上，大數據正如其名，—擁有許多資料。但是大數據的形式遠多於傳統資料並會以高速收集大數據。思考一下每天或每分鐘來自 Facebook 等社交媒體的所有資料。資料的數量、多樣性和速度使得其對於企業如此寶貴，但也使得管理變得非常複雜。

隨著越來越多資料從不同來源 (如攝影機、社交媒體、錄音和物聯網 (IoT) 裝置) 收集，大數據管理系統已浮現。這些系統專事於三個一般領域。

• 大數據整合帶入從批次到串流的不同資料類型——並轉置資料，以便可以取用資料。
• 大數據管理以有效率地、安全地和可靠地方式處理資料並儲存於資料湖或資料倉儲，通常是使用物件儲存體進行。
• 大數據分析會以分析的方式發掘新的見解，並使用機器學習和 AI 視覺化建置模型。

公司正在運用大數據改善並加速產品開發、預測性維護、客戶體驗、安全性、營運效率等等。隨著大數據擴大，商機也會擴大。

資料管理挑戰

現今資料管理的大多數挑戰都是源自於商業步調加快和資料加速擴散的緣故。組織可用的資料多樣性、速度和數量不斷擴大，組織尋求更有效的管理工具跟上腳步。組織面臨的部分主要挑戰包括以下項目：

• 組織不明白自己擁有哪些資料。目前收集和儲存的資料來自於許多多元的來源 (例如感應器、智慧裝置、社交媒體和攝影機)，而且資料來源和多樣性也不斷增加。但如果組織不清楚自己擁有那些資料、資料位於何處，以及如何使用資料，則該資料毫無用武之地。But none of that data is useful if the organization doesn’t know what data it has, where it is, and how to use it.
• 組織必須隨著資料層擴大維持效能水準。組織隨時都在獲取、儲存和使用更多資料。為了在此擴大的資料層內維持最高的回應時間，組織需要持續監控資料庫回應的問題類型，並隨著查詢改變而變更索引，而不會影響效能。
• 他們必須滿足不斷改變的合規性要求。合規性法規複雜、橫跨多司法管轄區，而且不斷改變。組織需要能夠輕鬆地檢閱其資料，並識別屬於全新或經修改之需求的任何內容。尤其是必須偵測、追蹤和監控個人識別資訊 (PII) 是否符合日益嚴格的全球隱私權法規。
• 他們不確定如何重新規劃資料，以便用於其新用途。資料收集和識別本身毫無任何價值—組織需要處理資料才行。如果需要投入大量時間和精力將資料轉換成分析所需的內容，並不會進行該分析。因此便會失去該資料的潛在價值。
• 他們必須跟上資料儲存的變化。在資料管理的新世界，組織會將資料儲存於多個系統中，包括將資料以任何格式儲存於單一存放庫的資料倉儲和非結構化資料湖。組織的資料科學家需要一種方法，藉以將資料快速輕鬆地從其原始格式轉換成其可用於各式各樣分析的形狀、格式或模型。

資料管理最佳實務

處理資料管理的挑戰需要一套全方位、深思熟慮的最佳實務。儘管特定最佳實務會隨著相關資料類型和產業而有所不同，但以下最佳實務可以處理組織現今面臨的主要資料管理挑戰：

• 建立探索層，以識別您的資料。組織資料層上的探索層可讓分析師和資料科學家搜尋並瀏覽資料集，以讓您的資料可用。
• 開發資料科學環境，以有效率地規劃您的資料。資料科學環境會盡可能將資料轉置工作自動化，簡化資料模型的建立和評估。消除手動轉置資料需求的一組工具可以加速新模型的假設和測試。
• 使用自主技術維持資料層擴大後的效能水準。自主資料功能使用 AI 和機器學習持續監控資料庫查詢，並隨著查詢變更最佳化索引。如此可讓資料庫維持快速反應時間，並讓 DBA 和資料科學家有時間從事費時的手動工作。
• 運用探索來滿足合規性需求。新工具運用資料探索檢閱資料並識別需要偵測、追蹤和監控的連接鏈結，以達成多個司法管轄區的合規性。隨著全球的合規性需求增加，此功能對於風險和安全性人員也日趨重要。
• 運用常見的查詢層管理多種和多元資料儲存形式。新技術正讓資料管理存放庫可以共同運作，消弭之間的差異。橫跨許多種資料儲存的常見查詢層可讓資料科學家、分析師和應用程式無需了解資料的儲存位置，也無須手動將資料轉置成可用的格式，即可存取資料。

資料管理演進

資料的新角色為商業資本，因此組織正在探索數位新創公司和創新顛覆者已知道的事情：資料是識別趨勢、制定決策並搶先競爭對手採取行動的寶貴資產。資料在價值鏈的新定位正帶領組織主動尋求從此新資本獲取價值的更好方法。

在公司內，DBA 的資料管理職責也不斷演進，減少許多日常工作，因此DBA 可以將注意力集中於更策略性問題，並提供雲端環境中關鍵資料管理支援 (PDF)，包括如資料模型和資料安全性的主要計劃。