資料管理是什麼？

資料管理能以安全、有效而且具備高成本效益的方式，來收集、保留和使用資料。資料管理功能旨在協助人員、組織和互連的事務，在策略和法規範圍內優化資料使用，以利制定決策並採取能使組織收益最高的行動。隨著組織越來越仰賴無形資產來創造價值，強大的資料管理策略將前所未有地變得更加重要。

在組織中管理數位資料，涵蓋了範圍廣大的任務、策略、流程和實行。資料管理的工作範圍很廣，涵蓋包括如何

• 在不同的資料層級中建立、存取和更新資料
• 儲存多個雲端和就地部署系統中的資料
• 提供高有效性和災難復原功能
• 在越來越多的應用程式、分析和演算法中使用資料
• 確保資料隱私及安全性
• 根據資料保留時程表和法規要求，進行封存歸檔和銷毀資料

真正的資料管理策略可處理並改善的面向包含：使用者和管理員的活動、資料管理技術的功能、法規遵循、以及組織從資料中獲取價值的需求。

現今的資料管理系統

現今’組織所需的資料管理解決方案，要能提供有效的方法跨多個、但統一的資料層級來管理資料。資料管理系統的基礎建立在資料管理平台之上，包括資料庫、資料湖和資料倉儲、大數據管理系統及資料分析等。

所有元件可併用作為“資料實用工具”，為組織提供應用程式所需的資料管理功能，還有一些分析和演算法，來對這些應用程式所產生的資料加以利用。雖然現有的工具可以幫助資料庫管理員 (DBA) 自動執行許多傳統的管理任務，但由於大多數資料庫部署的規模及高複雜度，仍然常需要進行人為操作。當需要人為操作時，出錯的機會就會增加。減少人為資料管理的需要即是新式資料管理技術的主要目標，而這種技術就是自主資料庫。

大數據管理系統

從某方面來說，大數據只是聽起來像—有很多很多資料。但是，大數據的形式也比傳統資料要廣泛得多，而且’收集的速度很快。想想難每天或每分鐘來自社群媒體 (如 Facebook) 的所有資料。資料的數量、種類和速度對企業來說都非常有價值，但也使管理變得很複雜。

隨著越來越多的資料是從攝影機、社群媒體、錄音和物聯網 (IoT) 設備等來源所收集，大數據管理系統便應運而生。大數據系統專為三大領域而設。

• 大數據整合可將不同類型的資料—從批量到串流傳輸—，並將其轉換，以利使用。
• 大數據管理通常可利用物件式儲存，有效而安全可靠地在資料湖或資料倉儲中儲存並處理資料。
• 大數據分析可透過分析找出新洞見，並運用機器學習和 AI 的視覺化來建立模型。

企業開始使用大數據來改善並加速產品開發、預測式維護、客戶體驗、安全性及營運效率等層面。隨著大數據規模越來越大，機會也越來越多。

資料管理的挑戰

現今資料管理面臨的大多數挑戰，都源自於業務發展的加速，以及資料不斷的增長。可供組織使用的資料種類、傳輸速度和數量不斷成長，促使組織尋求更有效的管理工具才不致落伍。組織面臨的主要挑戰包括：

• 無法’掌握擁有的資料。來自感測器、智慧設備、社群媒體和攝影機等越來越多來源的資料，開始被收集和儲存。但是，如果組織不知道’本身擁有什麼樣的資料、不知道這些資料在哪裡以及如何加以運用，那這些資料形同無用。
• 隨著資料層級的擴展，組織必須能維持效能水平。組織不斷擷取、儲存和使用越來越多的資料。為了在不斷擴展的層級中保持最快的回應時間，組織必須持續監控資料庫回應的問題類型，並隨著查詢的變化—而改變索引，同時不影響效能。
• 他們必須符合不斷變化的法規要求。法規遵循複雜而且跨多個司法管轄區，還會不斷變化。組織必須能輕易查閱其資料，並找出符合新的或修正後需求的所有資料。尤其必須對個人可識別資訊 (PII) 進行檢測、追蹤和監控，以遵循日益嚴格的全球隱私法規。
• 組織不’確定如何重新為資料定位，以將其用於新用途。收集和找出資料本身並不能’提供組織處理資料時真正想要的價值—。如果耗費大量時間和精力將資料轉換為分析所需的資料，這種分析是不會’成功的。也因此失去了這些資料的潛在價值。
• 組織必須跟上資料儲存變化的腳步。在資料管理的新世代中，組織可將資料儲存在多個系統內，包括資料倉儲和未結構化的資料湖，這些資料湖能將任何格式的資料全部儲存在單一儲存庫中。組織’的資料科學家必須採用一種方法，以快速、輕鬆地將資料從原來的格式轉換為他們需要進行多種分析時的形態、格式或模型。

資料管理最佳典範

處理資料管理挑戰時，需要運用一套全面而且精心設計的最佳典範。儘管某些最佳典範會根據資料類型和產業而有所不同，但以下的最佳典範可解決組織現今所面臨主要的資料管理挑戰：

• 建立資源探索層，找出您的資料。位於您的組織’資料層級最上方的資源探索層，能讓分析師和資料科學家搜尋並瀏覽資料集，讓您的資料變得可利用。
• 開發資料科學環境，以有效地重新利用資料。資料科學環境讓資料轉換工作儘可能自動化，從而簡化資料模型的建立和評估作業。一套無需手動轉換資料的工具，可加快對新模型進行假設和測試。
• 運用自主技術，為您維持擴展中資料層級的效能等級。自主資料功借助 AI 和機器學習，持續監控資料庫的查詢，並隨著查詢的變化來優化索引功能。這能讓資料庫保持快速的回應時間，並使資料庫管理員和資料科學家擺脫耗時的人工操作。
• 利用探索功能來掌握法規遵循的需求。新工具使用資料探索功能來檢視資料，並為符合多重司法管轄區合規性，找出一連串需要檢測、追蹤和監控的資料。隨著合規性需求在全球增加，這個功能對於風險和安全人員而言，將變得越來越重要。
• 使用一般查詢層，來管理多種形式的資料儲存。新式技術能讓資料管理儲存庫進行協作，進而弭除彼此之間的差異。跨多種資料儲存的一般查詢層，可使資料科學家、分析師和應用程式不必知道資料的儲存位置，也無需手動將其轉換為可用格式，就能直接存取資料。

資料管理的演進

隨著資料’作為企業資本的新角色，組織開始發現數位新創公司和顛覆者早已知悉的事實：在發現趨勢、制定決策以及面對競爭對手採取行動等方面，資料是極其珍貴的資產。資料在價值鏈中的新定位，開始引導組織積極尋求更好的方法，從這種新資本中獲取價值。

在公司內部，DBA 的資料管理職責也在不斷演進，由於 DBA 少了許多瑣碎的工作，因此得以專注於處理更具策略性的問題，並在涵蓋關鍵性計劃 (如資料建模和資料安全性) 的雲端環境中，提供重要的資料管理支援。