데이터 관리란 무엇인가?

데이터 관리는 데이터를 안전하고 효율적이며 경제적으로 수집, 보유 및 사용하는 활동을 말합니다. 데이터 관리의 목표는 사람, 조직 및 연결된 사물들이 정책 및 규정 범위 내에서 데이터 이용을 최적화하도록 도움으로써 이들이 조직의 이익을 극대화하는 의사결정을 내리고 필요한 조치를 취할 수 있도록 하는 것입니다. 조직들이 가치를 창출하는 데 있어 무형 자산에 점차 의존함에 따라 견고한 데이터 관리 전략이 그 어느 때보다 중요해지고 있습니다.

조직 내 디지털 데이터의 관리에는 광범위한 종류의 작업, 정책, 절차 및 관행이 수반됩니다. 데이터 관리 업무는 다음 항목을 포함한 넓은 범위의 업무를 포함합니다.

• 다양한 데이터 계층에서의 데이터 생성, 액세스 및 업데이트 방법
• 다수의 클라우드 및 온프레미스에서의 데이터 저장 방법
• 고가용성 및 재난 복구 기능을 제공하는 방법
• 갈수록 다양해지는 앱, 분석 및 알고리즘에서의 데이터 이용 방법
• 개인정보보호 및 보안 유지 방법
• 데이터 보유 일정 및 규정 준수 요구사항에 따라 데이터를 기록/폐기하는 방법

공식적인 데이터 관리 전략은 사용자 및 관리자의 활동, 데이터 관리 기술의 기능, 규제 요건에 대한 요구, 그리고 데이터에서 가치를 창출하기 위한 조직의 요구 등을 다룹니다.

오늘날의 데이터 관리 시스템

오늘날 조직들은 다원적이면서도 통합된 데이터 계층 전반에서 데이터를 효율적으로 관리해주는 데이터 관리 솔루션을 필요로 합니다. 데이터 관리 시스템은 데이터 관리 플랫폼에 구축되어 데이터베이스, 데이터 레이크 및 웨어하우스, 빅데이터 관리 시스템, 데이터 분석 등을 포함할 수 있습니다.

이러한 모든 구성 요소들은 “데이터 유틸리티”로서 함께 작용하여 조직이 자사의 앱을 실행하거나 이러한 앱에서 생성된 데이터를 이용하는 분석 기능과 알고리즘을 실행하는 데 필요한 데이터 관리 기능을 구현합니다. 현재 사용되는 툴들이 데이터베이스 관리자(DBA)의 기존 관리 업무를 상당수 자동화해주기는 하지만, 대부분의 데이터베이스 배포 방식이 지닌 규모와 복잡성 때문에 여전히 인적 개입이 필요합니다. 인적 개입이 필요해질수록 오류 발생 가능성도 증가하기 마련입니다. 수동 데이터 관리의 필요성을 줄이는 것이 바로 새로운 데이터 관리 기술인 자율 운영 데이터베이스의 핵심 목표입니다.

빅데이터 관리 시스템

어떤 면에서 빅데이터는 단순히 —엄청나게 많은 데이터를 의미하는 것처럼 들리기도 합니다. 그러나 빅데이터는 기존의 데이터에 비해 그 종류가 훨씬 다양하며, 매우 빠른 속도로 수집됩니다. 페이스북과 같은 소셜 미디어에서 매일, 혹은 분단위로 생성되는 데이터의 양에 대해 생각해 보십시오. 데이터의 이러한 막대한 양과 다양성, 그리고 빠른 수집 속도는 기업에게 귀중한 자산이 되지만, 한편으로는 관리의 복잡성을 야기하기도 합니다.

동영상 카메라, 소셜 미디어, 오디오 레코딩, IoT 기기와 같이 다양한 출처에서 수집되는 데이터의 양이 증가하면서 빅데이터 관리 시스템이 등장했습니다. 이 시스템들은 세 가지의 일반 영역에 특화되어 있습니다.

• 빅데이터 통합은 배치부터 스트리밍에 이르기까지 다양한 유형의 데이터를 불러와서 이를 이용 가능하도록 변환합니다.
• 빅데이터 관리는 객체 스토리지를 사용하여 데이터 레이크 또는 데이터 웨어하우스에서 데이터를 보다 효율적이고 안전하며 안정적으로 저장하고 처리합니다.
• 빅데이터 분석은 분석을 통해 새로운 인사이트를 밝혀내고 머신 러닝과 Ai 시각화를 통해 모델을 구축합니다.

기업들은 빅데이터를 활용하여 제품 개발, 예측 유지관리, 고객 경험, 보안, 운영 효율성 등을 개선합니다. 빅데이터의 규모가 커질 수록 기회도 증가할 것입니다.

데이터 관리의 해결 과제

오늘날 데이터 관리 해결 과제의 대부분은 비즈니스 속도의 증가와 데이터 급증에서 기인합니다. 조직들이 이용할 수 있는 데이터의 다양성, 속도 및 양이 끊임없이 증가하면서 기업들은 이를 보다 효율적으로 관리할 수 있는 툴을 찾고 있습니다. 조직들이 직면한 가장 시급한 과제는 다음과 같습니다.

• 조직들은 자사가 보유하고 있는 데이터에 대해 정확히 알지 못합니다. 센서, 스마트 기기, 소셜 미디어, 동영상 카메라 등 다양한 출처에서 데이터가 점점 더 많이 수집 및 저장되고 있습니다. 그러나 해당 조직이 자사가 어떤 데이터를 가지고 있고, 어디에 저장되어 있으며 이를 어떻게 활용할 것인지를 모른다면 이러한 데이터는 전혀 쓸모 없게 됩니다.
• 조직은 데이터 계층의 확장에 맞춰 성능 수준을 유지할 수 있어야 합니다. 조직들이 수집, 저장, 이용하는 데이터는 갈수록 늘고 있습니다. 이렇게 확장되는 계층 전반에서 최상의 응답 시간을 유지하기 위해서는 데이터베이스가 응답하는 질문의 유형을 지속적으로 모니터링하고, 쿼리가 변경될 때 성능에 영향을 주지 않으면서 인덱스를 변경해야 합니다.
• 조직은 지속적으로 변화하는 규제 요건을 충족해야 합니다. 규제 준수 규정은 복잡하고 다중 관할적인 성격을 가지며, 계속해서 변화합니다. 조직들은 자사의 데이터를 손쉽게 검토하고 새로운 또는 변경된 요건에 대한 위반 사항을 식별할 수 있어야 합니다. 특히, 갈수록 엄격해지는 글로벌 개인정보보호 규정을 준수할 수 있도록 개인식별정보(PII)를 반드시 감지, 추적, 모니터링해야 합니다.
• 조직은 새로운 용도로 사용하기 위해 데이터의 용도를 변경하는 방법을 확실히 알지 못합니다. 데이터를 식별하고 수집하는 것 자체는 어떠한 가치도 제공하지 않습니다. 가치를 얻기 위해서는 수집된 데이터를 가공해야 합니다. 데이터를 분석에 필요한 요소로 변환하는 데 상당한 시간과 노력이 필요하다면 이러한 분석은 제대로 이루어질 리 없습니다. 그 결과, 데이터의 잠재적 가치는 사라지게 됩니다.
• 조직은 데이터 스토리지 내 변경 사항을 지속적으로 파악해야 합니다. 오늘날의 새로운 데이터 관리 환경에서 조직들은 다양한 시스템에 데이터를 저장하는데, 가령 종류나 형식과 관계없이 모든 데이터를 단일 리포지터리에 저장하는 데이터 웨어하우스와 비정형 데이터 레이크를 들 수 있습니다. 조직의 데이터 과학자들은 데이터를 원래의 형식에서 다양한 유형의 분석에 필요한 형태, 형식 또는 모델로 쉽고 빠르게 변환할 수 있는 방법을 필요로 합니다.

데이터 관리 모범 사례

데이터 관리 과제를 해결하려면 종합적이고 세심히 계획된 모범 사례 모음이 필요합니다. 구체적인 모범 사례는 데이터의 유형과 업종에 따라 다를 수 있지만 다음 모범 사례들은 오늘날 조직들이 직면한 주요 데이터 관리 과제들을 다루고 있습니다.

• 데이터 식별을 위한 탐색 계층을 생성합니다. 조직의 데이터 계층 위에 있는 탐색 계층(discovery layer)은 애널리스트와 데이터 과학자들이 데이터를 사용 가능하게 만들기 위한 데이터세트을 검색하고 탐색하도록 해줍니다.
• 데이터 과학 환경을 개발하여 데이터 용도 변경을 효율적으로 수행합니다. 데이터 과학 환경은 데이터 변환 작업을 최대한 많이 자동화하여 데이터 모델의 생성과 평가를 간소화합니다. 데이터의 수동 변환 필요성을 없애주는 툴세트를 통해 새로운 모델의 가설 검정 및 테스트를 가속할 수 있습니다.
• 자율 운영 기술을 사용하여 확장 중인 귀사의 데이터 계층 전반의 성능 수준을 유지하십시오. 자율 운영 데이터 기능은 AI와 머신 러닝을 사용하여 데이터베이스 쿼리를 지속적으로 모니터링하고 쿼리 변경에 따라 인덱스를 최적화합니다. 이를 통해 데이터베이스는 빠른 응답 시간을 유지하고 데이터베이스 관리자와 데이터 과학자는 긴 시간이 소요되는 수작업에서 탈피할 수 있습니다.
• 탐색 기능을 통해 최신 규제 준수 요구사항을 상시 확인합니다. 새로운 툴들은 데이터 탐색 기능을 통해 데이터를 검토하고 감지, 다관할 규제 준수를 위해 감지, 추적, 모니터링되어야 할 연결 체인을 식별합니다. 전 세계적으로 규제 준수 요구가 높아짐에 따라 이 기능은 위험 관리 및 보안 담당자들에게 갈수록 더 중요해질 것입니다.
• 공통 쿼리 계층을 통해 다양한 형태의 데이터 스토리지를 관리합니다. 새로운 기술들은 여러 데이터 관리 리포지터리들이 함께 작동하게 하여 상호간 차이점을 없애줍니다. 데이터 과학자, 애널리스트 및 애플리케이션은 다양한 종류의 데이터 스토리지를 아우르는 공통 쿼리 계층을 통해 데이터의 저장 위치를 파악하거나 데이터를 사용 가능한 형식으로 직접 변환할 필요 없이 데이터에 액세스할 수 있습니다.

데이터 관리의 진화

데이터가 비즈니스 자산이라는 새로운 역할을 수행함에 따라 조직들은 디지털 신생 기업과 혁신 기업들이 이미 알고 있던 사실들을 알아가기 시작했습니다. 데이터는 동향을 파악하고 의사결정을 수행하며 경쟁사보다 먼저 조치를 취하는 데 필요한 귀중한 자산입니다. 가치 체인 속 데이터의 새로운 포지션으로 이제 조직들은 이 새로운 자산으로부터 가치를 얻기 위한 더 나은 방법을 적극적으로 찾아 나서고 있습니다.

기업 내 데이터베이스 관리자의 데이터 관리 책임도 진화하면서 일상적인 반복 작업이 줄어든 덕분에 DBAs 들은 이제 보다 전략적인 문제에 집중하고 데이터 모델링이나 데이터 보안과 같은 핵심 이니셔티브와 관련된 클라우드 환경에서 중요한 데이터 관리 지원을 제공할 수 있습니다.