구조화된 데이터 유형과 구조화되지 않은 데이터 유형
구조적 및 비구조적 데이터 유형의 차이점 학습
구조적 데이터와 비구조적 데이터의 차이점은 무엇이며, 왜 신경 써야 합니까? 많은 기업과 조직의 경우 이러한 차이는 빅 데이터를 처리하는 IT 부서에만 속해 있다고 느낄 수 있습니다.
그 점에 대한 몇 가지 진실이 있지만 모든 사람이 그 차이를 이해하는 것은 합리적입니다. 왜냐하면 일단 정형 데이터와 비구조적 데이터의 정의(데이터가 어디에 보관되고 이를 처리하는 방법과 함께)를 파악하면 데이터 기반 프로세스를 개선하는 데 어떻게 사용될 수 있는지 알 수 있기 때문입니다.
영업, 마케팅, 운영, 인적 자원 등 모든 그룹이 데이터를 생성합니다. 물리적 재고와 로컬 고객 기반을 갖춘 오프라인 매장 등 소규모 기업에서도 이메일, 신용 카드 거래, 재고 구매 및 소셜 미디어와 같은 구조화된 비정형 데이터를 생성합니다. 기업이 생성하는 데이터를 활용하는 것은 이 두 가지와 함께 작동하는 방식을 이해하는 것입니다.
구조화된 데이터란 무엇인가?
구조화된 데이터는 미리 정의된 예상 형식을 사용하는 데이터입니다. 이것은 많은 다른 소스에서 올 수 있지만 일반적인 요인은 필드가 고정되어있는 방식 (따라서 , 구조화)입니다. 이 사전 결정된 데이터 모델을 통해 손쉽게 입력, 쿼리 및 분석할 수 있습니다.
예를 들어 온라인 구매의 트랜잭션 데이터를 고려해 보십시오. 이 데이터에서 각 레코드에는 시간 기록, 구매 금액, 연계된 계정 정보(또는 고객 계정), 구매 품목, 지불 정보 및 확인 번호가 있습니다. 각 필드에는 정의된 용도가 있으므로 이 데이터를 수동으로 질의(Excel 스프레드시트에서 CTRL+F를 누르는 것과 동일)할 수 있습니다. 또한 머신 러닝 알고리즘이 패턴을 손쉽게 식별하고, 대부분의 경우 이러한 패턴 외부의 이상 징후를 식별할 수 있습니다.
구조화된 데이터는 설정되고 예상되는 요소로 드릴 다운합니다. 시간 기록은 정의된 형식으로 도착합니다. 구조 밖에 있기 때문에 단어로 기술된 시간 기록을 전송하지 않거나 전송할 수 없습니다. 사전 정의된 형식을 사용하면 궁극적으로 수동 레벨에서 처리되더라도 쉽게 확장 및 처리할 수 있습니다.
소스가 구조를 정의하는 동안에는 구조화된 데이터를 사용할 수 있습니다. CRM 양식, 온라인 거래, 주식 데이터, 기업 네트워크 모니터링 데이터 및 웹 사이트 양식 등 가장 일반적인 비즈니스 용도 중 일부입니다.
비구조적 데이터란 무엇인가?
정형 데이터가 정의와 함께 제공되는 것처럼 비정형 데이터는 정의가 없습니다. 구조화되지 않은 데이터는 특수 형식의 사전 정의된 필드가 아닌 모든 모양과 크기로 제공될 수 있습니다. 일반적으로 양식의 열린 텍스트 필드와 같은 텍스트이지만 구조화되지 않은 데이터는 이미지, 오디오, 비디오, 문서 파일 및 기타 파일 형식과 같은 객체로 저장될 수 있습니다. 구조화되지 않은 모든 데이터가 있는 공통 스레드는 정의가 부족합니다.
구조화되지 않은 데이터는 보다 일반적으로 사용할 수 있으며(아래에 자세히 설명) 필드에는 구조화된 데이터와 동일한 문자 또는 공간 제한이 없을 수 있습니다. 구조화되지 않은 데이터로 구성된 다양한 형식을 고려할 때 이 유형이 일반적으로 조직 데이터의 약 80%를 차지한다는 것은 놀라운 일이 아닙니다.
매체 파일은 구조화되지 않은 데이터의 예입니다. 팟캐스트처럼 컨텐츠에 구조가 없습니다. 팟캐스트의 MP3 파일 검색은 기본적으로 쉽지 않습니다. 파일 이름, 시간 기록 및 수동으로 지정된 태그와 같은 메타데이터는 검색에 도움이 될 수 있지만 오디오 파일 자체에는 추가 분석 또는 관계 없이 컨텍스트가 없습니다.
이는 비디오 파일에도 적용됩니다. 비디오 자산은 소셜 미디어의 짧은 클립에서 전체 웹 세미나 또는 토론을 보여주는 큰 파일에 이르기까지 요즘 어디에나 있습니다. 팟캐스트 MP3 파일과 마찬가지로 이 데이터의 콘텐츠는 메타데이터 외부의 특성이 부족합니다. 데이터베이스의 실제 내용을 기반으로 특정 비디오 파일을 검색할 수는 없습니다.
구조적 데이터와 비구조적 데이터는 어떻게 함께 작동합니까?
오늘날의 데이터 중심 비즈니스 환경에서 구조적 데이터와 비구조적 데이터를 모두 사용하는 것은 통찰력을 개발하는 좋은 방법입니다. 회사의 소셜 미디어 게시물, 특히 미디어 첨부의 일부 형태로 게시의 예로 돌아가자. 조직은 마케팅 참여에 대한 통찰력을 어떻게 개발할 수 있습니까?
먼저 구조화된 데이터를 사용하여 가장 높은 참여율을 기준으로 소셜 미디어 게시물을 정렬한 다음 마케팅과 관련이 없는 해시태그를 필터링합니다(예: 고객 서비스와 관련된 해시태그를 사용하여 상위 참여 게시물을 제거). 여기에서 관련 비정형 데이터(메시징, 미디어 유형, 톤 및 게시물이 생성된 이유에 대한 통찰력을 제공할 수 있는 기타 요소)를 검토할 수 있습니다.
이것은 많은 수작업이 관련된 것처럼 들릴 수 있으며, 그것은 몇 년 전에 사실이었습니다. 그러나 머신 러닝과 인공 지능의 발전으로 자동화 수준이 높아졌습니다. 예를 들어 음성-텍스트 출력을 생성하기 위해 자연어 처리를 통해 오디오 파일이 실행되는 경우 키워드 패턴 또는 양/음수 메시징에 대해 텍스트를 분석할 수 있습니다. 이러한 통찰력은 빅 데이터가 점점 커지고 있으며 해당 빅 데이터의 대부분이 구조화되지 않았다는 사실 때문에 최첨단 도구 덕분에 더욱 중요해지고 있습니다.
데이터 출처 및 위치
오늘날 데이터는 다양한 소스에서 생성됩니다. 표준 전자상거래 설정을 갖춘 중견 기업을 살펴보겠습니다. 이 경우 데이터는 다음 영역에서 발생할 수 있습니다.
- 거래 데이터
- 고객 계정 데이터
- 재고 구매
- 물류 추적
- 소셜 미디어 참여
- 내부 HR 데이터
- 검색 엔진에서 키워드 검색
또한 더 많은 데이터 소스가 있을 수 있습니다. 실제로 요즘 어느 기업에서나 당겨낸 데이터의 양은 엄청나게 많습니다. 빅 데이터 혁신에 참여하기 위해 대기업이 될 필요는 없습니다. 그러나 이러한 데이터를 처리하는 방법은 데이터를 활용하는 데 매우 중요합니다. 대부분의 경우 최상의 솔루션은 데이터 레이크입니다.
데이터 레이크는 정형 및 비정형 데이터를 수신하는 저장소입니다. 여러 데이터 입력을 단일 소스로 통합하는 기능은 데이터 레이크를 모든 빅 데이터 인프라의 필수적인 부분으로 만듭니다. 데이터가 데이터 레이크에 들어가면 원시 데이터가 되도록 내재된 구조가 제거되므로 쉽게 확장 가능하고 유연하게 사용할 수 있습니다. 데이터를 읽고 처리하면 필요에 따라 구조와 스키마가 제공되어 볼륨과 효율성의 균형을 유지합니다.
Oracle Big Data 살펴보기
Powered by Oracle Cloud, Oracle Big Data 서비스는 원시 데이터의 관리 및 처리를 가속화합니다. Oracle은 블록 스토리지에서 데이터 레이크에 이르기까지 구조적 데이터와 비구조적 데이터를 모두 처리할 수 있는 유연한 솔루션을 제공합니다.