데이터 관리란?

데이터 관리란 데이터를 안전하고 효율적이며 비용 효율적으로 수집, 보관 및 사용하는 관행입니다. 데이터 관리의 목표는 사람, 조직 및 연결된 사물이 정책 및 규정 범위 내에서 데이터 사용을 최적화하여 조직에 대한 이익을 극대화하는 결정을 내리고 조치를 취할 수 있도록 돕는 것입니다. 조직이 가치를 창출하기 위해 무형 자산에 점점 더 의존함에 따라 강력한 데이터 관리 전략이 그 어느 때보다 중요해지고 있습니다.

조직의 디지털 데이터 관리에는 광범위한 작업, 정책, 절차 및 관행이 포함됩니다. 데이터 관리 작업은 다음과 같은 방법에 대한 요소를 포함하여 범위가 광범위합니다.

• 다양한 데이터 계층에서 데이터 생성, 액세스 및 업데이트
• 여러 클라우드 및 온프레미스에 데이터 저장
• 고가용성 및 재해 복구 제공
• 점점 더 다양한 앱, 분석 및 알고리즘에서 데이터 사용
• 데이터 프라이버시 및 보안 보장
• 보존 일정 및 규정 준수 요구 사항에 따라 데이터 보관 및 폐기

공식 데이터 관리 전략은 사용자와 관리자의 활동, 데이터 관리 기술의 기능, 규제 요구 사항의 요구, 데이터에서 가치를 얻기 위한 조직의 요구를 다룹니다.

오늘날의 데이터 관리 시스템

오늘날의 조직은 다양하지만 통합된 데이터 계층에서 데이터를 효율적으로 관리할 수 있는 데이터 관리 솔루션이 필요합니다. 데이터 관리 시스템은 데이터 관리 플랫폼에 구축되며 데이터베이스, 데이터 레이크 및 웨어하우스, 빅 데이터 관리 시스템, 데이터 분석 등을 포함할 수 있습니다.

이러한 모든 구성 요소는 조직에서 앱에 필요한 데이터 관리 기능과 해당 앱에서 생성된 데이터를 사용하는 분석 및 알고리즘을 제공하는 “데이터 유틸리티”로 함께 작동합니다. 현재 도구는 데이터베이스 관리자(DBA)가 기존의 많은 관리 작업을 자동화하는 데 도움이 되지만 대부분의 데이터베이스 배포의 규모와 복잡성으로 인해 여전히 수동 개입이 필요한 경우가 많습니다. 수동 개입이 필요할 때마다 오류 가능성이 증가합니다. 수동 데이터 관리의 필요성을 줄이는 것은 새로운 데이터 관리 기술인 자율 운영 데이터베이스의 핵심 목표입니다.

빅 데이터 관리 시스템

어떤 면에서 빅 데이터는 말 그대로 아주 많은 데이터입니다. 그러나 빅 데이터는 기존 데이터보다 더 다양한 형태로 제공되며 빠른 속도로 수집됩니다. Facebook과 같은 소셜 미디어 소스에서 매일 또는 1분마다 들어오는 모든 데이터를 생각해 보십시오. 데이터의 양, 다양성 및 속도는 데이터를 비즈니스에 매우 중요하게 만들지만 관리하기가 매우 복잡합니다.

비디오 카메라, 소셜 미디어, 오디오 녹음 및 사물인터넷(IoT) 장치와 같이 서로 다른 소스에서 점점 더 많은 데이터가 수집됨에 따라 빅 데이터 관리 시스템이 등장했습니다. 이 시스템은 세 가지 일반 영역에 특화되어 있습니다.

• 빅 데이터 통합은 배치에서 스트리밍으로 다양한 유형의 데이터를 가져와 소비할 수 있도록 변환합니다.
• 빅 데이터 관리는 개체 스토리지를 사용하여 데이터 레이크 또는 데이터 웨어하우스에 데이터를 효율적이고 안전하며 안정적으로 저장하고 처리합니다.
• 빅 데이터 분석은 분석을 통해 새로운 통찰력을 발견하고 머신 러닝 및 AI 시각화를 사용하여 모델을 구축합니다.

기업은 빅 데이터를 사용하여 제품 개발, 예측 유지 관리, 고객 경험, 보안, 운영 효율성 등을 개선하고 가속화하고 있습니다. 빅 데이터가 커지면 기회도 커집니다.

데이터 관리 과제

오늘날 데이터 관리에서 발생하는 대부분의 문제는 비즈니스 속도가 빨라지고 데이터가 급증하는 데서 비롯됩니다. 조직에서 사용할 수 있는 데이터의 다양성, 속도 및 양이 계속해서 확장되면서 이를 따라 잡을 수 있는 보다 효과적인 관리 도구를 찾도록 압력을 가하고 있습니다. 조직이 직면한 가장 큰 과제는 다음과 같습니다.

• 조직은 자신이 어떤 데이터를 가지고 있는지 모릅니다. 센서, 스마트 장치, 소셜 미디어 및 비디오 카메라와 같은 점점 더 많은 수의 다양한 소스에서 데이터를 수집하고 저장하고 있습니다. 그러나 조직에서 어떤 데이터가 있는지, 어디에 있는지, 어떻게 사용하는지 알지 못하는 경우 해당 데이터는 유용하지 않습니다.
• 조직은 데이터 계층이 확장됨에 따라 성능 수준을 유지해야 합니다. 조직은 항상 더 많은 데이터를 캡처, 저장 및 사용하고 있습니다. 이 확장 계층에서 최대 응답 시간을 유지하려면 조직은 데이터베이스가 응답하는 질문 유형을 지속적으로 모니터링하고 쿼리가 변경될 때 인덱스를 변경해야 하며 이것이 성능에 영향을 주지 않아야 합니다.
• 끊임없이 변화하는 규정 준수 요구 사항을 충족해야 합니다. 준수 규정은 복잡하고 여러 관할 구역이 관계되며 지속적으로 변경됩니다. 조직은 데이터를 쉽게 검토하고 새로운 요구 사항이나 수정된 요구 사항에 해당하는 모든 것을 식별할 수 있어야 합니다. 특히, 점점 더 엄격해지는 글로벌 개인 정보 보호 규정을 준수하기 위해 개인 식별 정보(PII)를 탐지, 추적 및 모니터링해야 합니다.
• 조직은 데이터를 새로운 용도로 사용하기 위해 데이터를 재활용하는 방법을 모릅니다. 데이터 자체를 수집하고 식별하는 것은 조직이 데이터를 처리하는 데 필요한 가치를 제공하지 않습니다. 데이터를 분석에 필요한 데이터로 변환하는 데 많은 시간과 노력이 필요하면 해당 분석이 수행되지 않습니다. 결과적으로 해당 데이터의 잠재적 가치가 손실됩니다.
• 조직은 데이터 저장소의 변화를 따라가야 합니다. 새로운 데이터 관리 세계에서 조직은 데이터 웨어하우스와 모든 형식의 데이터를 단일 저장소에 저장하는 비정형 데이터 레이크를 포함한 여러 시스템에 데이터를 저장합니다. 조직의 데이터 과학자는 데이터를 원래 형식에서 다양한 분석에 필요한 모양, 형식 또는 모델로 빠르고 쉽게 변환할 수 있는 방법이 필요합니다.

데이터 관리 모범 사례

데이터 관리 문제를 해결하려면 포괄적이고 신중한 모범 사례 세트가 필요합니다. 특정 모범 사례는 관련 데이터 유형 및 산업에 따라 다르지만 다음 모범 사례는 오늘날 조직이 직면한 주요 데이터 관리 과제를 해결합니다.

• 데이터를 식별하는 검색 계층을 만듭니다. 조직의 데이터 계층 위에 있는 검색 계층을 사용하면 분석가와 데이터 과학자가 데이터를 사용할 수 있도록 데이터 세트를 검색하고 찾아 볼 수 있습니다.
• 데이터를 효율적으로 재활용할 수 있는 데이터 과학 환경을 개발합니다. 데이터 과학 환경은 가능한 많은 데이터 변환 작업을 자동화하여 데이터 모델의 생성 및 평가를 간소화합니다. 데이터를 수동으로 변환할 필요가 없는 도구 세트는 새 모델의 가설과 테스트를 신속하게 처리할 수 있습니다.
• 자율 운영 기술을 사용하여 확장되는 데이터 계층에서 성능 수준을 유지합니다. 자율 운영 데이터 기능은 AI 및 머신 러닝을 사용하여 데이터베이스 쿼리를 지속적으로 모니터링하고 쿼리가 변경됨에 따라 인덱스를 최적화합니다. 이를 통해 데이터베이스는 빠른 응답 시간을 유지하고 DBA와 데이터 과학자는 시간이 많이 걸리는 수동 작업에서 벗어날 수 있습니다.
• 검색을 사용하여 규정 준수 요구 사항을 파악합니다. 새로운 도구는 데이터 검색을 사용하여 데이터를 검토하고 다중 관할 구역 규정 준수를 위해 검색, 추적 및 모니터링해야 하는 연결 체인을 식별합니다. 전 세계적으로 규정 준수 요구가 증가함에 따라 이 기능은 위험 및 보안 담당자에게 점점 더 중요해질 것입니다.
• 공통 쿼리 레이어를 사용하여 다양한 형태의 데이터 저장소를 관리합니다. 새로운 기술은 데이터 관리 리포지토리가 함께 작동할 수 있도록 하여 이들 간의 차이를 사라지게 합니다. 다양한 종류의 데이터 스토리지에 걸쳐 있는 공통 쿼리 계층을 통해 데이터 과학자, 분석가 및 애플리케이션은 데이터가 저장된 위치를 알 필요 없이 사용 가능한 형식으로 수동으로 변환할 필요없이 데이터에 액세스할 수 있습니다.

진화하는 데이터 관리

비즈니스 자본으로서 데이터의 새로운 역할을 통해 조직은 디지털 스타트업과 파괴자가 이미 알고 있는 것을 발견하고 있습니다. 데이터는 트렌드를 식별하고, 결정을 내리고, 경쟁사보다 먼저 조치를 취하는 데 있어 귀중한 자산입니다. 가치 사슬에서 데이터의 새로운 위치는 조직이 이 새로운 자본에서 가치를 창출하는 더 나은 방법을 적극적으로 모색하도록 이끌고 있습니다.

기업 내에서 DBA의 데이터 관리 책임도 진화하여 일상적인 작업의 수를 줄여 DBA가 보다 전략적인 문제에 집중하고 데이터 모델링 및 데이터 보안과 같은 주요 이니셔티브와 관련된 클라우드 환경에서 중요한 데이터 관리 지원을 제공(PDF)할 수 있도록합니다.