데이터 레이크하우스란 무엇인가요?

데이터 레이크하우스, 데이터 레이크, 데이터 웨어하우스 비교해 보기

데이터 레이크하우스란 현재 사용되는 다양한 데이터 저장소 플랫폼의 통합적 사용 방식을 의미하는 표현입니다.

• 데이터 레이크(레이크하우스의 '레이크'에 해당): 데이터 레이크는 주로 데이터 과학자들이 사용하는 저비용 스토리지 저장소이지만, 비즈니스 분석가, 제품 관리자 및 기타 유형의 최종 사용자들에게도 사용됩니다. 데이터 레이크는 빅데이터 개념이라고 볼 수 있습니다. 다양한 소스로부터 얻은 비정형 원시 데이터는 레이크로 들어가 종종 데이터 웨어하우스 및 데이터 세트 구축 전에 스테이징을 위해 사용됩니다.
  
  
  데이터 레이크 살펴보기
  
  
• 데이터 웨어하우스(레이크하우스의 '하우스'에 해당): 데이터 웨어하우스는 특정 목적을 위해 선별되고 특정한 형식으로 저장된, 처리 및 정형화된 데이터를 저장한다는 점에서 데이터 레이크와는 다른 종류의 스토리지 저장소입니다. 이 데이터는 보통 분석 도구에 준비된 데이터를 보고 및 예측 목적으로 활용하는 비즈니스 사용자들에 의해 쿼리됩니다. 데이터 웨어하우스에는 일반적으로 데이터 클렌징, ETL(추출/로드/변환)과 같은 데이터 관리 기능이 포함됩니다.
  
  
  데이터 웨어하우스 살펴보기

그렇다면, 데이터 레이크하우스는 이 두 가지 아이디어를 어떻게 결합할까요? 일반적으로 데이터 레이크하우스는 데이터 레이크와 데이터 웨어하우스 사이의 사일로를 제거합니다. 다시 말해, 데이터가 데이터 레이크의 유연한 저비용 스토리지와 데이터 웨어하우스 사이를 손쉽게 이동할 수 있어, 종종 데이터 클렌징을 위해 머신러닝과 인공지능이 구동하는, 스키마 및 거버넌스 구현을 위한 데이터 웨어하우스의 관리 도구에도 쉽게 액세스할 수 있다는 뜻입니다. 그 결과 데이터 레이크의 경제적인 비정형 컬렉션과 데이터 웨어하우스의 강력한 준비도를 통합한 데이터 저장소가 생성됩니다. 데이터 레이크하우스는 선별된 데이터 소스로부터 데이터를 수집할 공간을 제공하는 동시에 해당 데이터를 비즈니스에 유용하게 사용할 수 있도록 전환해 주는 도구와 기능을 사용해 프로세스를 가속화해 줍니다. 어떻게 보면 데이터 레이크하우스는 현재의 모던 데이터 중심 세계를 위해 재부팅된 데이터 웨어하우스(1980년대에 처음 개념화됨)라고 할 수 있습니다.

데이터 레이크하우스의 특징

데이터 레이크하우스의 일반적인 개념에 대한 이해를 바탕으로 관련된 특정 요소들을 좀 더 자세히 살펴보겠습니다. 데이터 레이크하우스는 역사적으로 잘 알려진 데이터 레이크 및 데이터 웨어하우스의 개념에 가까운 다양한 요소들을 제공합니다. 하지만 데이터 레이크하우스는 이 개념들을 오늘날의 디지털 세상을 위해 새롭고 보다 효과적인 방식으로 병합했습니다.

데이터 관리 기능

데이터 웨어하우스는 보통 데이터 클렌징, ETL 및 스키마 적용과 같은 데이터 관리 기능을 제공합니다. 이 기능들은 신속한 데이터 준비를 위한 방법으로써 데이터 레이크하우스에 도입되었으며, 소스로부터 선별된 데이터가 자연스럽게 호환되고, 추가 분석 및 BI 도구 사용을 위해 준비되도록 합니다.

오픈 스토리지 형식

표준화된 오픈 스토리지 형식을 사용한다는 것은, 선별된 데이터 소스로부터 수집한 데이터가 서로 호환되고, 분석 또는 보고를 위한 준비를 갖추는 데 있어 매우 유리한 지점에 서게 된다는 의미입니다.

유연한 스토리지

컴퓨트를 스토리지 리소스와 분리할 수 있게 하는 이 기능 덕분에 필요에 따라 간편하게 스토리지를 확장할 수 있습니다.

스트리밍 지원

많은 데이터 소스가 기기에서 직접 실시간 스트리밍을 사용합니다. 데이터 레이크하우스는 표준 데이터 웨어하우스에 비해 이러한 유형의 실시간 수집을 더 잘 지원하도록 구축되었습니다. 세계가 다양한 IoT(Internet of Things) 기기들과 더욱 통합됨에 따라 실시간 지원이 점점 더 중요해지고 있습니다.

다양한 워크로드

데이터 레이크하우스는 데이터 웨어하우스와 데이터 레이크의 기능을 통합하기 때문에 다양한 워크로드에 이상적인 솔루션입니다. 비즈니스 보고서 작성은 물론 데이터 과학 팀, 분석 도구에 이르기까지 데이터 레이크하우스에 내재된 품질은 조직 내 다양한 워크로드를 지원할 수 있습니다.

데이터 레이크하우스의 이점: 모던 데이터 플랫폼

데이터 레이크하우스를 구축하면 통합 데이터 플랫폼을 활용하여 기업의 전반적인 데이터 관리 프로세스를 간소화할 수 있습니다. 데이터 레이크하우스는 여러 저장소 간의 사일로를 허물어 개별 솔루션을 대체할 수 있습니다. 이 통합은 선별된 데이터 소스에 대한 훨씬 효율적인 엔드 투 엔드 프로세스를 생성합니다. 결과적으로 다음과 같이 다양한 이점을 누릴 수 있습니다.

• 관리 필요성 감소: 데이터 레이크하우스를 사용하면, 데이터 레이크하우스에 연결된 모든 소스에 내 데이터에 액세스할 수 있고, 사용을 위해 데이터를 통합할 수 있습니다. 이는 원시 데이터에서 데이터를 추출해 데이터 웨어하우스 내에서 작업을 준비하는 방식과는 반대됩니다.
• 데이터 거버넌스 개선: 데이터 레이크하우스는 리소스와 데이터 소스를 통합하여 거버넌스를 단순화 및 개선하고, 표준화된 개방형 스키마로 구축되어 보안, 지표, 역할 기반 액세스 및 기타 중요한 관리 요소에 대한 제어를 강화할 수 있습니다.
• 간소화된 표준: 데이터 웨어하우스의 개념이 처음 등장한 1980년대에는 연결이 매우 제한적이었습니다. 다시 말해 조직 내, 심지어 부서 내에서도 국소적인 스키마 표준이 만들어지곤 했다는 뜻이죠. 다양한 유형의 데이터를 위한 개방형 스키마 표준들이 혼재하는 상황에서 데이터 레이크하우스는 중복된 표준 스키마를 보유한 여러 데이터 소스를 수집하는 방식으로 개방형 표준의 이점을 활용하여 프로세스를 간소화합니다.
• 비용 효율성 향상: 데이터 레이크하우스는 컴퓨트 및 스토리지가 따로 관리되는 인프라 상에 구축되므로 컴퓨트 성능을 함께 강화할 필요 없이 스토리지 용량만을 간편히 추가할 수 있습니다. 그 결과 단순한 저비용 데이터 스토리지를 사용한 비용 효율적인 확장이 가능해 집니다.

데이터 레이크하우스를 직접 구축하는 기업도 있고, 데이터 레이크하우스 클라우드 서비스를 구매하는 기업도 있습니다.

OCI가 레이크하우스 구축을 위한 최고의 장소인 이유

매일같이 점점 더 많은 데이터 소스가 점점 더 많은 양의 데이터를 전 세계로 전송하고 있습니다. 어떤 조직에게든 이러한 정형 데이터와 비정형 데이터의 조합은 여전히 어려운 과제입니다. 데이터 레이크하우스는 이 다양한 결과물들을 하나의 관리 가능한 시스템으로 연결, 상관 및 분석합니다.