데이터 관리란?
데이터 관리, 정의
데이터 관리란 데이터를 안전하고 효율적이며 비용 효율적으로 수집, 보관 및 사용하는 관행입니다. 데이터 관리의 목표는 사람, 조직 및 연결된 사물이 정책 및 규정 범위 내에서 데이터 사용을 최적화하여 조직에 대한 이익을 극대화하는 결정을 내리고 조치를 취할 수 있도록 돕는 것입니다. 조직이 가치를 창출하기 위해 무형 자산에 점점 더 의존함에 따라 강력한 데이터 관리 전략이 그 어느 때보다 중요해지고 있습니다.
조직의 디지털 데이터 관리에는 광범위한 작업, 정책, 절차 및 관행이 포함됩니다. 데이터 관리 작업은 다음과 같은 방법에 대한 요소를 포함하여 범위가 넓습니다.
- 다양한 데이터 계층에서 데이터 생성, 액세스 및 업데이트
- 여러 클라우드 및 온프레미스에 데이터 저장
- 고가용성 및 재해 복구 제공
- 점점 더 다양한 앱, 분석 및 알고리즘에서 데이터 사용
- 데이터 프라이버시 및 보안 보장
- 보존 일정 및 규정 준수 요구 사항에 따라 데이터 보관 및 폐기
공식적인 데이터 관리 전략은 사용자와 관리자의 활동, 데이터 관리 기술의 기능, 규제 요구 사항의 요구, 데이터에서 가치를 얻기 위한 조직의 요구를 다룹니다.
데이터 자본은 곧 비즈니스 자본
오늘날의 디지털 경제에서 데이터는 일종의 자본이자 디지털 상품 및 서비스 생산과 관련된 경제적 요소입니다. 자동차 제조업체가 필요한 금융 자본이 부족하면 새 모델을 제조할 수 없는 것처럼, 온보드 알고리즘을 제공할 데이터가 없으면 자동차를 자율적으로 만들 수 없습니다. 데이터에 대한 이 새로운 역할은 컴퓨팅의 미래뿐만 아니라 경쟁 전략에도 영향을 미칩니다.
이렇게 데이터의 중심적이고 미션 크리티컬한 역할을 감안할 때 강력한 관리 관행과 강력한 관리 시스템은 규모나 유형에 관계 없이 모든 조직에 필수적입니다.
오늘날의 데이터 관리 시스템
오늘날 조직에는 다양하지만 통합된 데이터 계층에서 데이터를 효율적으로 관리할 수 있는 데이터 관리 솔루션이 필요합니다. 데이터 관리 시스템은 데이터 관리 플랫폼에 구축되며, 데이터베이스, 데이터 레이크 및 데이터 웨어하우스, 빅 데이터 관리 시스템, 데이터 분석 등을 포함할 수 있습니다.
이러한 모든 구성 요소는 조직에서 앱에 필요한 데이터 관리 기능과 해당 앱에서 생성된 데이터를 사용하는 분석 및 알고리즘을 제공하는 "데이터 유틸리티"로 함께 작동합니다. 현재 도구는 데이터베이스 관리자(DBA)가 기존의 많은 관리 작업을 자동화하는 데 도움이 되지만 대부분의 데이터베이스 배포의 규모와 복잡성으로 인해 여전히 수동 개입이 필요한 경우가 많습니다. 수동 개입이 필요할 때마다 오류 가능성이 증가합니다. 수동 데이터 관리의 필요성을 줄이는 것은 새로운 데이터 관리 기술인 Autonomous Database의 핵심 목표입니다.
데이터 관리 플랫폼
소프트웨어의 지속적 제공을 위한 가장 중요한 단계는 지속적 통합(CI)입니다. CI는 개발자가 일련의 자동화 빌드 및 테스트를 시작하는 중앙 집중식 소스 리포지토리로 코드 변경을 커밋하는(일반적으로 조금씩 점진적으로) 개발 관행입니다. 이 리포지토리를 통해 개발자는 프로덕션에 전달되기 전에 조기에 자동으로 버그를 찾아낼 수 있습니다. 지속적 통합 파이프라인에는 일반적으로 코드 커밋에서 기본 자동화 린팅(linting)/ 정적 분석, 종속성 캡처, 소프트웨어 빌드, 빌드 아티팩트를 만들기 전 몇 가지 기본 단위 테스트에 이르는 일련의 단계가 포함됩니다. Github, Gitlab 등과 같은 소스 코드 관리 시스템은 Jenkins 같은 CI 도구를 구독하여 각 코드 체크인 후 자동화된 빌드 및 테스트 실행을 시작할 수 있는 웹훅 통합을 제공합니다.
데이터 관리 플랫폼은 조직 전체에서 대량의 데이터를 수집하고 분석하기 위한 기본 시스템입니다. 상용 데이터 플랫폼에는 일반적으로 데이터베이스 공급업체 또는 타사 공급업체에서 개발한 관리용 소프트웨어 도구가 포함됩니다. 이러한 데이터 관리 솔루션은 IT 팀과 DBA가 다음과 같은 일반적인 작업을 수행하는 데 도움이 됩니다.
- 데이터베이스 시스템 또는 기반 인프라의 결함 식별, 경고, 진단 및 해결
- 데이터베이스 메모리 및 스토리지 리소스 할당
- 데이터베이스 디자인 변경
- 더 빠른 애플리케이션 성능을 위해 데이터베이스 쿼리에 대한 응답 최적화
점점 더 많이 사용되는 클라우드 데이터 플랫폼을 통해 기업은 빠르고 비용 효율적으로 확장 또는 축소할 수 있습니다. 일부는 서비스로 제공되므로 조직에서 더 많은 비용을 절약할 수 있습니다.
자율 운영 데이터베이스(Autonomous Database)란
클라우드를 기반으로 하는 자율 운영 데이터베이스는 인공 지능(AI) 및 머신 러닝을 사용하여 데이터베이스 백업 관리, 보안 및 성능 튜닝을 포함하여 DBA가 수행하는 많은 데이터 관리 작업을 자동화합니다.
자율 운영 데이터베이스라고도 하는 Autonomous Database는 다음과 같은 데이터 관리에 상당한 이점을 제공합니다.
- 복잡성 감소
- 인적 오류 가능성 감소
- 더 높은 데이터베이스 안정성 및 보안
- 운영 효율성 향상
- 저렴한 비용
점점 더 많이 사용되는 클라우드 데이터 플랫폼을 통해 기업은 빠르고 비용 효율적으로 확장 또는 축소할 수 있습니다. 일부는 서비스로 제공되므로 조직에서 더 많은 비용을 절약할 수 있습니다.
빅 데이터 관리 시스템
어떤 면에서 빅 데이터는 말 그대로 아주 많은 데이터를 뜻합니다. 그러나 빅 데이터는 기존 데이터보다 다양한 형태로 제공되며 빠른 속도로 수집됩니다. Facebook과 같은 소셜 미디어 소스에서 매일 또는 1분마다 들어오는 모든 데이터를 생각해 보십시오. 데이터의 양, 다양성 및 속도는 데이터를 비즈니스에 매우 중요하게 만들지만 관리하기가 매우 복잡합니다.
비디오 카메라, 소셜 미디어, 오디오 녹음 및 사물인터넷(IoT) 장치와 같이 서로 다른 소스에서 점점 더 많은 데이터가 수집됨에 따라 빅 데이터 관리 시스템이 등장했습니다. 이 시스템은 세 가지 일반 영역에 특화되어 있습니다.
- 빅 데이터 통합은 배치(batch)에서 스트리밍까지 다양한 유형의 데이터를 가져와서 소비할 수 있는 형태로 변환합니다.
- 빅 데이터 관리는 개체 스토리지를 사용하여 데이터 레이크 또는 데이터 웨어하우스에 데이터를 효율적이고 안전하며 안정적으로 저장하고 처리합니다.
- 빅 데이터 분석은 그래프 분석을 포함한 분석을 통해 새로운 인사이트를 발견하고 머신 러닝 및 AI 시각화를 사용하여 모델을 구축합니다.
기업은 빅 데이터를 사용하여 제품 개발, 예측 유지 관리, 고객 경험, 보안, 운영 효율성 등을 개선하고 가속화하고 있습니다. 빅 데이터가 커지면 기회도 커집니다.
데이터 관리 과제
오늘날 데이터 관리에서 발생하는 대부분의 문제는 비즈니스 속도가 빨라지고 데이터가 급증하는 데서 비롯되고 있습니다. 조직에서 사용할 수 있는 데이터의 다양성, 속도 및 양이 계속해서 확장되면서 이를 따라 잡을 수 있는 보다 효과적인 관리 도구를 찾도록 압력을 가하고 있습니다. 조직이 직면한 가장 큰 과제는 다음과 같습니다.
|
데이터 인사이트 부족 |
센서, 스마트 장치, 소셜 미디어 및 비디오 카메라와 같은 점점 더 많은 수의 다양한 소스에서 데이터를 수집하고 저장하고 있습니다. 그러나 조직에서 어떤 데이터가 있는지, 어디에 있는지, 어떻게 사용하는지 알지 못하는 경우 해당 데이터는 유용하지 않습니다. 데이터 관리 솔루션은 적시에 의미 있는 인사이트를 제공하기 위해 규모와 성능이 필요합니다. |
|
데이터 관리 성능 수준 유지의 어려움 |
조직은 항상 더 많은 데이터를 캡처, 저장 및 사용하고 있습니다. 이러한 확장 계층에서 최대 응답 시간을 유지하려면 조직이 데이터베이스가 응답 중인 질문 유형을 지속적으로 모니터링하여 쿼리 변경에 따라 인덱스를 변경해야 하며, 성능에 영향을 미치지 않아야 합니다. |
|
변화하는 데이터 요구 사항을 준수하기 위한 도전 |
준수 규정은 복잡하고 여러 관할 구역이 관여하며 계속해서 바뀝니다. 조직은 데이터를 쉽게 검토하고 새로운 요구 사항이나 수정된 요구 사항에 해당하는 모든 것을 식별할 수 있어야 합니다. 특히, 점점 더 엄격해지는 글로벌 개인 정보 보호 규정을 준수하기 위해 개인 식별 정보(PII)를 탐지, 추적 및 모니터링해야 합니다. |
|
데이터를 쉽게 처리하고 변환할 필요성 |
데이터를 수집하고 식별하는 것만으로는 조직이 데이터를 처리해야 할 가치가 없습니다. 데이터를 분석에 필요한 데이터로 변환하는 데 많은 시간과 노력이 필요하면 분석이 이루어지지 않습니다. 결과적으로 해당 데이터의 잠재적 가치가 손실됩니다. |
|
데이터를 효율적으로 저장해야 할 지속적인 필요성 |
데이터 관리라는 새로운 세계에서는 조직이 데이터 웨어하우스와 모든 형식의 데이터를 단일 저장소에 저장하는 비정형 데이터 레이크를 포함한 여러 시스템에 데이터를 저장합니다. 조직의 데이터 과학자는 데이터를 원래 형식에서 다양한 분석에 필요한 모양, 형식 또는 모델로 빠르고 쉽게 변환할 수 있는 방법이 필요합니다. |
|
지속적인 IT 민첩성 및 비용 최적화에 대한 수요 |
클라우드 데이터 관리 시스템을 사용하는 것으로 이제 온프레미스 환경, 클라우드 또는 이 둘을 혼합한 하이브리드 환경에서 데이터 유지 및 분석을 진행하도록 선택할 수 있습니다. IT 조직은 IT 민첩성을 최대화하고 비용을 낮추기 위해 온프레미스 환경과 클라우드 환경 간의 동일성 수준을 평가해야 합니다. |
데이터 관리 원칙 및 데이터 프라이버시
유럽 연합에서 제정하고 2018년 5월에 시행된 GDPR(일반 데이터 보호 규정)에는 개인 데이터의 관리 및 처리에 대한 7가지 핵심 원칙이 포함되어 있습니다. 이러한 원칙에는 목적 제한, 정확성, 저장 제한, 무결성 및 기밀성 등 합법성, 공정성 및 투명성이 포함됩니다.
GDPR 및 캘리포니아 소비자 개인 정보 보호법(CCPA)과 같이 그 발자취를 따르는 기타 법률은 데이터 관리의 면모를 바꾸고 있습니다. 이러한 요구 사항은 개인이 자신의 개인 데이터 및 사용 방법을 제어할 수 있는 표준화된 데이터 보호법을 제공합니다. 실제로, 조직이 데이터 캡처 시 정보에 입각한 동의를 얻지 못하거나, 데이터 사용 또는 지역에 대한 통제력을 제대로 발휘하지 못하거나, 데이터 삭제 또는 이동성 요구 사항을 준수하지 못하는 경우 소비자를 실제 법적 의지로 데이터 이해 관계자로 전환합니다.
데이터 관리 모범 사례
데이터 관리 문제를 해결하려면 포괄적이고 신중한 모범 사례 세트가 필요합니다. 특정 모범 사례는 관련 데이터 유형 및 산업에 따라 다르지만 다음 모범 사례는 오늘날 조직이 직면한 주요 데이터 관리 과제를 해결합니다.
|
데이터를 식별하는 검색 계층 생성 |
조직의 데이터 계층 위에 있는 검색 계층을 사용하면 분석가와 데이터 과학자가 데이터를 사용할 수 있게 해주는 데이터 세트를 검색하고 찾아 볼 수 있습니다. |
|
데이터를 새로운 용도로 사용할 수 있는 데이터 과학 환경 개발 |
데이터 과학 환경은 가능한 많은 데이터 변환 작업을 자동화하여 데이터 모델의 생성 및 평가를 간소화합니다. 데이터를 수동으로 변환할 필요가 없는 도구 세트는 새 모델의 가설과 테스트를 신속하게 처리할 수 있습니다. |
|
자율 운영 기술을 사용하여 확장 중인 데이터 계층에서 성능 수준 유지 |
자율 운영 데이터 기능은 AI 및 머신 러닝을 사용하여 데이터베이스 쿼리를 지속적으로 모니터링하고 쿼리가 변경됨에 따라 인덱스를 최적화합니다. 덕분에 데이터베이스는 빠른 응답 시간을 유지할 수 있고, DBA와 데이터 과학자는 시간이 많이 걸리는 수동 작업에서 벗어날 수 있습니다. |
|
검색을 사용하여 규정 준수 요구사항 준수 |
새로운 도구는 데이터 검색을 사용하여 데이터를 검토하고 다중 관할 구역 규정 준수를 위해 검색, 추적 및 모니터링이 필요한 연결 체인을 식별합니다. 전 세계적으로 규정 준수 요구가 증가함에 따라 이 기능은 위험 및 보안 담당자에게 점점 더 중요해질 것입니다. |
|
컨버지드 데이터베이스 사용 여부 확인 |
컨버지드 데이터베이스는 모든 모던 데이터 유형과 최신 개발 모델을 하나의 제품에 기본적으로 지원하는 데이터베이스입니다. 최고의 컨버지드 데이터베이스는 그래프, IoT, 블록체인 및 머신 러닝을 포함하여 다양한 종류의 워크로드를 실행할 수 있습니다. T |
|
데이터베이스 플랫폼이 비즈니스를 지원하기 위한 성능, 확장성 및 가용성 여부 확인 |
데이터를 모으는 목적은 데이터를 분석하여 보다 적절하고 시기적절한 결정을 내리기 위함입니다. 확장 가능한 고성능 데이터베이스 플랫폼을 통해 기업은 고급 분석 기능 및 머신 러닝을 사용하여 여러 소스의 데이터를 신속하게 분석하여 더 나은 비즈니스 의사 결정을 내릴 수 있습니다. T |
|
공통 쿼리 계층을 사용해 다양한 형태의 여러 데이터 저장소를 관리 |
새로운 기술은 데이터 관리 리포지토리가 함께 작동할 수 있도록 하여 리포지토리 간의 차이를 없애줍니다. 다양한 종류의 데이터 저장소를 아우르는 공통 쿼리 계층을 통해 데이터 과학자, 분석가 및 애플리케이션은 데이터가 저장된 위치를 모르더라도 사용 가능한 형식으로 수동 변환할 필요 없이 데이터에 액세스할 수 있습니다. |
데이터 과학 환경의 가치
데이터 과학은 과학적 방법, 프로세스, 알고리즘 및 시스템을 사용하여 데이터에서 가치를 추출하는 학제간 분야입니다. 데이터 과학자는 통계, 컴퓨터 과학, 비즈니스 지식을 포함한 다양한 기술을 결합하여 웹, 스마트폰, 고객, 센서 및 기타 소스에서 수집된 데이터를 분석합니다.
진화하는 데이터 관리
데이터가 비즈니스 자본으로서 새로운 역할을 하게 되면서 조직은 디지털 스타트업과 디지털 파괴자가 이미 알고 있는 정보를 검색할 수 있게 되었습니다. 데이터는 트렌드를 식별하고, 결정을 내리고, 경쟁사보다 먼저 조치를 취하는 데 있어 귀중한 자산입니다. 가치 사슬에서 데이터의 새로운 위치는 조직이 이 새로운 자본에서 가치를 창출하는 더 나은 방법을 적극적으로 모색하도록 이끌고 있습니다.
클라우드에서의 자율 운영 전략(PDF) 및 확장 가능한 고성능 데이터베이스 클라우드 기능의 이점을 포함한 최고의 데이터 관리 기능이 무엇을 할 수 있는지 자세히 알아보십시오.