데이터 마이닝이란 무엇인가요?

데이터 마이닝 정의

데이터 마이닝이란 무엇인가요? 간단히 말해, 이는 대량의 데이터를 처리하는 과정에서 인사이트를 확보하는 프로세스입니다. 이 데이터는 여러 소스 또는 단일 데이터베이스에서 제공될 수 있으며, 인사이트은 수동 검색 또는 자동화를 통해 생성될 수 있습니다. 리소스, 머신러닝/인공지능 기능, 데이터 복잡성, 데이터 양, 직원의 교육 및 경험 등의 변수에 따라 인사이트를 생성하기 위한 다양한 경로가 존재합니다. 이 프로세스에는 패턴 및 기본 요소를 발견하기 위한 데이터의 심층 분석이 포함되며, 모두 결론을 내리고 정보에 기반한 의사결정을 내릴 수 있습니다.

빅 데이터의 데이터 마이닝

데이터 마이닝의 사용은 지난 20년 동안 크게 증가했습니다. 더 많은 데이터 소스가 빅 데이터 환경을 제공했기 때문입니다. 빅 데이터는 대용량 데이터를 의미하며, 대개 여러 소스의 연속 스트림과 고속의 데이터를 의미합니다. 비즈니스 인텔리전스 초기에 데이터 테이블은 종종 장치에서 내보내고 인사이트를 얻기 위해 수동으로 준비되었습니다. 그러나 전 세계가 점점 더 많이 연결됨에 따라, 특히 정형 데이터와 비정형 데이터가 혼합되어 있을 때 데이터 볼륨이 너무 방대해지는 경우가 발생하고 있습니다.

데이터 마이닝은 빅 데이터가 작동하는 프로세스입니다. 데이터 마이닝이 없다면 기업은 Internet of Things(IoT) 장치, 데이터베이스, 기업 소셜 미디어, 마케팅 이메일, 센서, 웹 사이트 사용 등 다양한 소스별로 테라바이트급의 데이터를 축적하고 각자 고유한 메타데이터 세트를 사용하게 될 것입니다. 광범위한 데이터 볼륨을 서로 결합하는 것은 물리적으로 불가능합니다. 데이터 마이닝 기술은 알고리즘을 사용하여 이 방대한 레코드 집합을 통해 패턴을 식별한 다음 팀이 조치를 취할 수 있는 일련의 권장 사항을 출력합니다.

이에 대한 간단한 예는 리테일 업체를 위한 온라인 쇼핑입니다. 이러한 상황에서는 고객 기록이 모두 대규모 데이터베이스로 컴파일됩니다. 알고리즘은 이러한 데이터를 통해 상관관계를 찾아냅니다. 예를 들어 특정 브랜드의 개 사료만 구매하는 사람들도 있습니다. 이 알고리즘은 보충제 또는 간식 브랜드와 같은 관련 구매에 대한 정보를 찾습니다. 패턴이 나타나면 이 정보를 마케팅 팀에 제공하여 이 특정 브랜드와 관련된 프로모션을 생성할 수 있습니다.

데이터 마이닝 작동 방식

위의 섹션에서는 큰 그림 수준의 데이터 마이닝에 대해 설명했습니다. 데이터 마이닝의 실제 프로세스를 살펴보겠습니다. 자동화된 처리와 인간 분석은 모두 데이터 마이닝을 최대한 활용하는 데 사용되며, 직원들은 지침을 수립하고 머신러닝과 인공지능은 대용량 데이터를 분석합니다. 일반적으로 다음과 같은 워크플로가 사용됩니다.

1. 목표: 데이터 마이닝의 목표는 무엇입니까? 모든 이해관계자 간에 이를 설정하는 것이 이 과정의 가장 중요한 부분입니다. 목표가 명확하고 신중하게 설정되지 않은 경우 전체 노력을 폐기하고 다시 시작해야 할 수 있습니다.
2. 데이터 준비: 데이터 소스 추출, 형식 설정, 이상 및 소음을 배제하기 위한 데이터 세트 정제 등 데이터 준비에는 다양한 프로세스가 포함될 수 있습니다.
3. 모델 구축: 다음으로 데이터 과학자는 모델을 구축하고 반복을 통해 모델을 개발하고 교육합니다. 대부분의 경우 여러 모델이 구축되고 테스트되어 목표에 가장 적합한 경로를 찾습니다. 이 평가 과정은 유효성 검증을 위해 광범위한 접근 방식이 필요하며, 교차 검증 및 수신자 작동 특성(ROC) 곡선 분석과 같은 기술이 포함됩니다.

데이터 마이닝 모델이 구축되면 데이터 세트에 배포해야 합니다. 모델을 조정하고 세분화할 수 있는 예상치나 이유가 없도록 하려면 활성 모니터링이 필요합니다. 모든 것이 계획대로 작동하는 경우 결과 데이터의 유효성 및 유용성에 대한 표준을 명확히 해야 하며, 결과적으로 비즈니스 사용자가 데이터 기반 의사 결정을 검토할 준비가 되어 있어야 합니다.

데이터 마이닝 사용 사례

이상의 리테일 업계의 사례 외에도 데이터 마이닝은 여러 산업에 대한 혁신적인 프로세스가 될 수 있습니다. 데이터 마이닝이 산업별 요구에 적용될 수 있는지 설명하는 예시들은 다음과 같습니다.

보건의료를 위한 데이터 마이닝

데이터 마이닝은 의료 기관과 환자 모두의 경험을 개선하고 가속화하여 의료 산업을 혁신할 수 있습니다. 의료 기관은 데이터 마이닝을 사용하여 연구를 가속화하고 참여시키고, 운영 데이터를 이해하여 인력 배치 요구를 지원하고, 보험 및 기록 사기 징후를 식별할 수 있습니다. 환자의 경우 데이터 마이닝은 예방 치료 옵션을 유도하는 패턴을 식별하여 치료가 필요하기 전에 대화를 시작할 수 있도록 합니다. 또한 부작용과 같은 숨겨진 패턴을 식별하여 환자의 구체적이고 고유한 상태에 의해 치료가 영향받을 수 있는 가능성을 더 잘 이해할 수 있습니다.

제조를 위한 데이터 마이닝

제조 산업의 경우 자재 조달, 조립 물류, 품질 관리, 배송 일자 및 제조 결함에 따른 반품 등 전체 프로세스에 걸친 데이터가 생성되고 있습니다. 데이터 마이닝은 프로세스의 개별 단계와 더 큰 그림을 모두 검사할 수 있습니다. 이를 통해 팀은 마이크로 뷰와 매크로 뷰 모두의 문제를 해결할 수 있습니다.

예를 들어, 데이터 마이닝을 통해 특정 공급업체의 배송 시간이 더 길지만 전체적인 결함은 더 적다는 것을 파악할 수 있습니다. 따라서 관리자는 지연의 영향을 완화하기 위해 여러 단계를 동시에 진행할 수 있으므로 위험을 감수할 가치가 있다고 판단할 수 있습니다. 반면, 한 공급업체는 배송은 일관적이지만 결함률이 높아 프로세스에 더 큰 영향을 미치고 있다는 사실도 알 수 있습니다. 데이터 마이닝은 이러한 연결을 생성하여 의사 결정이 진공 상태에서 이루어지지 않고 전체 제조 프로세스를 최적화할 수 있도록 합니다.

금융 서비스를 위한 데이터 마이닝

데이터 마이닝은 내부 운영 및 고객 경험 모두를 위해 금융 서비스 제공자에게 다양한 이점을 제공합니다. 운영 측면에서 데이터 마이닝은 인적 자원에서 마케팅에 이르기까지 모든 것에 영향을 줄 수 있습니다. 특히 데이터 마이닝은 IT 위험을 최소화할 수 있습니다. 가용성 및 보안이 재무와 관련된 모든 분야의 최우선 과제이기 때문입니다.

고객 측에서 데이터 마이닝은 보호 요소와 더 나은 고객 경험을 모두 제공합니다. 트랜잭션 패턴 전반의 데이터 마이닝은 지역, 시간, 구매 범주 또는 이 모든 항목별로 비정상적으로 보이는 항목을 식별하고 플래그를 지정할 수 있습니다. 이후 사기 방지팀에 결과를 전달하여 후속 조치가 필요한지 확인할 수 있습니다. 최종 사용자의 경우 데이터 마이닝 패턴은 재융자 또는 HELOC 대출과 같은 특수 판촉에 대한 마케팅 트리거를 생성할 수 있습니다.

기업을 위한 데이터 마이닝

기업의 모든 조직은 내부 운영에서 고객 서비스에 이르기까지 데이터 마이닝의 이점을 누릴 수 있습니다. 성공적인 데이터 마이닝은 여러 고속 데이터 소스를 활용할 수 있는 강력한 인프라를 확보하는 것에서 시작됩니다. 무료로 Oracle Cloud Infrastructure(OCI) 체험하기를 통해 데이터 마이닝의 토대를 구축하는 방법을 알아보세요.