머신러닝 및 분석: 전문가 가이드

머신러닝과 분석은 데이터로부터 가치 있는 인사이트를 확보하고자 하는 기업들에게 필수적인 도구가 되었습니다. 기업은 강력한 알고리즘과 통계 모델을 활용해 데이터의 숨겨진 패턴을 발견하고, 데이터 기반 의사 결정을 강화하고, 급변하는 오늘날의 시장에서 경쟁 우위를 확보할 수 있습니다.

머신러닝 없이도 데이터를 분석할 수는 있지만, 그 결과는 기대에 미치지 못할 수 있습니다. ML은 분석 플랫폼의 기능을 크게 향상시킵니다.

머신러닝이란 무엇인가요?

머신러닝은 인공지능의 하위 분야로서, 대규모 데이터 세트로 훈련된 알고리즘을 사용해 추세를 인식하고 패턴 및 관계를 식별한 뒤 해당 정보를 활용해 예측을 수행하거나 의사 결정을 지원합니다. 모든 과정은 명시적인 프로그래밍 없이 최소한의 인적 개입만으로 이루어집니다.

머신러닝 기술은 의료, 금융, 마케팅, 사이버 보안 등 다양한 산업 분야에서 활용됩니다. 정확도 향상, 커스터마이제이션 추가, 모델 오류 감소에 중점을 둔 반복적 학습 과정을 통해 결과를 개선할 수 있습니다.

분석이란 무엇인가요?

분석(analytics)은 데이터에서 인사이트를 도출하고 그를 활용해 결론을 도출하거나 의사 결정을 수행하는 과정입니다. 분석 과정에는 데이터 수집, 정리, 조직화를 통해 추세, 상관관계, 패턴을 식별하는 작업이 포함됩니다. 분석은 기업이 다양한 통계 및 수학적 기법을 활용해 더 나은 정보에 기반한 의사 결정을 수행하고, 성과를 개선하고, 운영을 최적화하는 데 도움을 줍니다.

분석은 통계와 관련되어 있습니다. 통계는 기업이 데이터를 이해하고 성장 및 성공을 위해 데이터를 활용하는 데 기여하는 기본 개념을 제공합니다. 비즈니스에서 분석이라는 용어는 소프트웨어를 사용해 데이터를 분류하고, 독특한 관계성을 찾고, 찾아낸 정보를 시각화를 통해 접근하기 쉬운 방식으로 제시하는 작업을 의미하는 경우가 많습니다.

핵심 요점

• 머신러닝과 분석은 상호 보완적인 기술입니다.
• 머신러닝은 다른 방법으로는 놓칠 수도 있었던 패턴과 인사이트를 식별하는 것과 같은 방법으로 분석 역량을 가속화하고 확장할 수 있습니다.
• 분석은 적절한 맥락에서 데이터를 처리해 실용적인 인사이트를 확보함으로써 기업을 위한 가치를 창출합니다.
• 머신러닝 및 분석 프로젝트 모두 숨겨진 편향성과 부정확성을 확인하기 위한 지속적인 모니터링을 고려해 보아야 합니다.

머신러닝 및 분석 알아보기

머신러닝 및 기타 AI 기술은 분석 작업에 상당한 이점을 제공합니다. 머신러닝을 사용하지 않는 분석 도구는 정적 알고리즘을 사용합니다. 정적 알고리즘으로는 데이터에 숨겨져 있는 중요한 패턴을 발견하지 못할 수 있습니다. 반면 머신러닝은 이러한 패턴을 발견할 수 있고, 필요한 경우 기존 분석 도구보다 더 크고 다양한 데이터 세트를 검토할 수 있습니다.

머신러닝은 분석의 필수 요소인가요?

분석에 머신러닝이 반드시 필요한 것은 아닙니다. 여러 해 동안 기업들은 통계 분석 기반 도구를 활용해 데이터 트렌드를 분석하고, 미래 성과를 예측하고, 전략의 효과를 평가해 왔습니다. 머신러닝을 사용하지 않고도 다음과 같은 질문에 답을 구하기 위해 해당 도구를 사용했습니다. '우리 회사의 휴일 할인 전략은 얼마나 효과적이었나요?' '이 고객 세그먼트에서 가장 인기 있는 제품이나 서비스는 무엇인가요?' '가장 수익성이 높은 것은 무엇인가요?' 기존 방식으로도 답을 도출할 수는 있었지만 머신러닝 없이 진행할 경우 분석 범위와 활용 가능한 데이터 포인트 수가 제한적이었습니다.

온라인 분석 처리(OLAP)는 지난 수십 년간 거래 데이터의 일부를 추출해 고전적 통계 분석을 통해 분석함으로써 기업이 원하는 답을 찾는 데 사용되어 왔습니다. 관계형 데이터베이스처럼 데이터가 구조화되어 있는 경우 OLAP은 매우 효과적입니다. 그러나 정형 및 비정형 데이터가 섞여 있고 비수치적 비즈니스 정보가 포함되어 있는 경우 통계 분석은 동일한 수준의 인사이트를 제공하지 못합니다. 반면 ML은 분석가가 비정형 데이터 소스로부터 더 복잡한 비선형 패턴을 식별할 수 있도록 만들어 줍니다.

오늘날에는 기업들이 데이터 웨어하우스에 더 많은 비정형 데이터를 저장하고 있으므로 해당 데이터를 모두 분석하는 과정에서 ML의 중요성은 갈수록 커질 것입니다.

머신러닝 및 분석이 비즈니스에 중요한 이유는 무엇인가요?

머신러닝과 분석을 함께 사용하면 다양한 데이터에서 가치 있는 인사이트와 예측을 도출할 수 있습니다. 이는 기업에 경쟁 우위를 제공할 수 있습니다. 오늘날의 데이터는 어디서든, 경우에 따라서는 언제든 생성되기 때문입니다. 내부 운영 메트릭, 공급업체 및 벤더 재고, 마케팅 캠페인 성과, 고객 앱 데이터, 공개 출처의 관련 데이터, 재무 데이터, 사물인터넷(IoT) 기기에서 생성된 데이터 등이 그 예입니다. 현대 기술 생태계에서는 거의 모든 상호작용에서 데이터가 생성되고 데이터 웨어하우스, 데이터 레이크 등의 클라우드 기반 저장소로 공급됩니다.

이는 방대한 정보량으로서 기업이 운영, 마케팅, 공급망 등 다양한 분야에서 유용한 인사이트를 발견할 수 있는 풍부한 기회를 제공합니다. 단, 방대한 양의 다양한 데이터를 분석할 능력을 갖춘 기업만이 가능합니다. 여기서 머신러닝이 등장합니다. 머신러닝을 사용하면 비즈니스 분석의 전체 프로세스가 더 관리하기 용이해지고 분석 대상의 범위도 넓어집니다. 그 이유는 다음과 같습니다.

• 머신 러닝을 통한 자동화는 데이터 정제 및 데이터 품질 문제 파악과 같은 데이터 변환 프로세스의 효율성을 강화합니다.
• 분석 도구에 내장된 머신러닝은 비즈니스 사용자의 간단한 쿼리에 기반해 영감을 제공하는 인사이트를 생성할 수 있습니다.
• 머신러닝 기반 분석 도구는 복잡한 데이터에서 숨겨진 패턴을 식별해 새로운 기회의 씨앗이 될 수도 있는 새로운 아이디어 및 논의의 시발점을 제공할 수 있습니다.

현재 머신러닝 기반 분석에 대한 기대감을 더하는 것은 클라우드 기반 데이터 웨어하우스 및 분석 도구가 제공하는 확장성과 유연성입니다. 방대한 양의 데이터와 복잡한 머신러닝 알고리즘은 효율적인 분석을 위한 막대한 컴퓨팅 파워를 요구합니다. 또한 관련 분야들이 현재 빠르게 발전 중이므로 새로운 모델을 구축하고 배포하려는 개발자 및 데이터 과학자들은 머신러닝 및 분석을 위해 특별히 설계된 온라인 도구와 서비스의 혜택을 누릴 수 있습니다. 클라우드는 기업이 혁신적인 데이터 분석 기술을 활용할 수 있도록 지원하고, 시스템 사용 권한이 있는 기업의 모든 구성원에게 손쉬운 접근성을 제공합니다.

비즈니스 분석에 머신러닝 사용하기

기업이 다양한 출처로부터 입력물을 저장소에 수집하면 머신러닝 시스템은 기업의 전략적 이니셔티브를 지원하기 위해 방대한 양의 데이터를 처리합니다. 관련 이니셔티브는 운영, 마케팅, 물류, 심지어 소셜 미디어에서의 대중 참여도 분석에까지 사용될 수 있습니다.

다음은 비즈니스 분석에 머신러닝을 사용하는 주요 사례입니다.

• 고객 세분화: 머신러닝은 고객 세분화 방정식의 양측 모두에 유용합니다. 머신러닝은 어떤 구매자 프로필이 어떤 고객 세그먼트에 속하는지 판단하기 위해 구매 이력과 참여 데이터를 분석해 분류할 수 있습니다. 다른 한편으로는 머신러닝이 특정 세그먼트별 캠페인의 효과를 신속하게 판단해 주므로 마케팅 팀은 메시지나 기타 캠페인 요소를 조정할 여유를 가질 수 있습니다.
• 사기 감지: 머신러닝은 지리적 위치, 구매 빈도, 구매 유형, 지출 금액 및 개별 거래의 다른 세부 사항들을 고려해 잠재적 사기 패턴을 식별하고 이를 고객 프로필과 비교할 수 있습니다. 시스템의 이상 감지 기능을 활용해 비정상적인 활동을 신속하게 표시하고 불법일 가능성이 있는 거래를 추가 조사를 위해 전송할 수 있습니다.
• 공급망 관리: 공급망에는 전 세계의 다양한 파트너사, 도매업체, 물류 제공업체 등이 포함될 수 있습니다. 필요한 상품의 흐름이 방해받게 되면 타국에서 발생한 사건이라도 수천 마일 떨어진 제조업체와 리테일 업체에게 영향을 미치게 됩니다. 머신러닝은 공급업체 및 물류 기업으로부터 데이터를 수집하고 분류해 잠재적인, 그리고 현재 발생 중인 문제를 식별할 수 있습니다. 또한 ML 시스템은 데이터를 제조 일정 관리와 연계해 일시적인 문제를 파악하고, 부품 고장이나 납기 지연이 잦은 공급업체를 식별하는 것을 비롯해 비용 및 프로세스 최적화로 이어질 수 있는 추세를 발견할 수 있습니다.
• 감성 분석: 감정 분석은 메시지, 대화록, 리뷰 등으로부터 텍스트를 추출해 전반적인 어조를 판단한 뒤 데이터를 추가 분석해 마케팅 및 영업 인사이트를 확보하는 작업입니다. 머신러닝은 다양한 출처의 방대한 텍스트 데이터를 신속하게 처리해 제품에 핵심 부품이 자주 누락되거나 서비스 담당자에게 문제가 있을 경우 신속히 대응할 수 있도록 지원합니다.
• 예측 분석: 머신러닝의 도움 없이 수행되는 예측 분석은 기업이 원장을 작성하기 시작한 이래로 언제나 비즈니스 분석의 핵심 요소였습니다. 관련 분석은 전년 매출과 당해 연도 매출을 비교한 단순한 그래프로부터 시작되었고, 통계학자들은 과거 데이터를 바탕으로 미래를 예측하는 학문을 크게 발전시켰습니다. 머신러닝은 더 많은 데이터를 더 정확하게 처리하고 더 복잡한 방법론을 활용함으로써 이러한 전통을 더욱 발전시킵니다. 또한 머신러닝은 경영진의 의사 결정을 돕는 가정(what-if) 시나리오 분석에도 기여합니다.
• 가격 최적화: 이익이 최대화되는 가격은 얼마일까요? 너무 비싸면 구매자가 줄어듭니다. 너무 저렴하면 마진이 악화됩니다. 고객의 소비 습관 외에도 경쟁사들의 가격, 계절성, 날씨, 재고 부족 등의 다양한 요소가 복잡하고 동적인 가격 알고리즘을 형성합니다. 머신 러닝 및 데이터 분석은 이 모든 데이터를 분류해 최적의 가격 시나리오를 생성할 수 있습니다.

분석 이해하기

최상의 결과를 달성했는지 판단하기 위해 과거에 취한 조치를 검토하는 작업은 언제나 유용합니다. 과거의 성과를 되돌아보는 일은 미래 활동의 개선으로 이어지는 경우가 많습니다. 분석 과정에서도 항상 그러한 종류의 목표를 설정해야 합니다. 데이터로부터 실용적인 인사이트를 확보하면 그것을 활용해 무엇을 달성할 수 있을까요?

수치 데이터의 통계적 분석은 가치있는 출발점입니다. 그러나 이 방법은 많은 데이터를 분석하지 못한 채 남겨두거나, 결과가 느리게 도출됨에 따른 인적 오류의 가능성을 열어둘 수 있습니다. ML은 분석 범위를 넓혀 다른 방법으로는 간단히 파악하기 어려운 인사이트를 찾는 데 도움을 줍니다.

분석의 유형

기업은 다양한 분석 유형과 기법을 선택적으로 사용할 수 있으며, 각 프로젝트에 가장 적합한 방법은 팀이 데이터로부터 무엇을 얻고자 하는지에 따라 달라집니다. 다음은 분석의 4가지 범주입니다.

• 기술적 분석(descriptive analytics). 기술적 분석 시스템은 과거 데이터를 활용해 패턴과 메트릭을 파악함으로써 상황 분석을 위한 인사이트를 도출합니다. 예를 들어, 재무 모델은 영업, 마케팅, 인사, 경비 부서의 데이터들을 통합해 기업의 분기별 분석을 생성할 수 있습니다. 대시보드는 설명적 분석을 시각화하는 일반적인 수단입니다.
• 진단 분석(diagnostic analytics). 진단 분석 시스템은 과거 데이터를 활용해 상황, 추세 또는 관계의 근본 원인을 찾습니다. 예를 들어, 특정 제품의 품질에 대한 불만이 급증하는 경우, 공급망부터 제품 배송까지의 데이터를 고려하는 진단 분석 도구를 사용해 그 근본 원인이 특정 재료, 제조 공정인지 또는 다른 원인이 있는지 판단할 수 있습니다.
• 예측 분석(predictive analytics). 예측 분석 시스템은 관련있는 현재 및 과거 데이터를 기반으로 미래의 성과를 예측합니다. 날씨, 최적 재고 수준, 마케팅 캠페인 내 고객 행동 등 무엇이든 예측 대상으로 삼을 수 있습니다. 데이터가 많을수록 예측 인사이트를 확보하기 위한 상황 프로필을 더 잘 생성할 수 있습니다.
• 처방적 분석(prescriptive analytics). 처방적 분석은 예측 분석과 유사하지만, 한 걸음 더 나아가 발견된 문제에 대한 해결책을 함께 제안합니다. 예를 들어, 예측 분석 시스템은 다음 분기의 매출이 정체될 것이라고 예측할 수 있습니다. 처방적 분석은 그에 더해 과거 데이터와 시장 분석을 결합해 약화된 매출 전망을 극복하기 위한 처방적 조치를 함께 도출합니다.

분석 프로세스의 단계

일반적으로 분석 프로세스는 데이터 수집 및 정리, 기법 선택, 결과 해석, 이해관계자에게 인사이트 전달하기 순으로 진행됩니다. 데이터 분석가, 분야 전문가, 의사 결정권자 간의 협업은 생성된 인사이트의 관련성 및 영향력을 보장하는 데 도움을 줍니다.

1. 문제 식별. 모든 분석은 비즈니스 문제를 해결하기 위한 것입니다. 마케팅 데이터를 분석하려고 하나요? 직원의 이직을 유발하는 요인을 파악하고자 하나요? 공급망의 취약점을 발견하고자 하나요? 문제를 식별하면 분석 프로젝트의 출발점을 마련할 수 있습니다.
2. 데이터 수집 및 정제. 프로젝트 목표가 설정되면 분석 플랫폼에 필요한 데이터 소스가 무엇인지 파악합니다. 관련 옵션으로는 데이터 소스를 연결하는 iPaaS 시스템 사용하기, 데이터 레이크 또는 데이터 웨어하우스와 같은 저장소에 연결하기 등이 있습니다. 데이터의 호환성과 정확성을 보장하기 위해서는 데이터 처리를 위한 적절한 형식 지정 작업도 필요합니다. 일반적인 데이터 정제 작업으로는 중복 항목 제거 및 분석 전 데이터 비정규화 작업 등이 있습니다. 반복 가능한 데이터 소스의 경우 머신러닝을 활용하면 정제 및 변환 과정의 일부를 자동화해 효율성을 높일 수 있습니다.
3. 데이터 탐색 및 시각화. 분석 도구를 사용해 데이터 시각화를 작성하고 초기 인사이트를 생성할 수 있습니다. 이 과정에서 데이터 모델의 근간이 될 데이터 기반 가설의 매개변수를 설정할 수 있는 일반적인 결과가 도출됩니다. 개중에는 어떤 데이터 세트가 가장 큰 가치를 제공하는지도 포함됩니다.
4. 데이터 모델링. 데이터 엔지니어는 분석 목표 및 이용 가능한 데이터 소스에 대한 기본적인 이해를 바탕으로 데이터를 구조화, 조직화하기 위한 모델을 구축합니다. 이는 원시 데이터와 분석 애플리케이션이 저장 및 검색할 수 있는 상태의 데이터 사이의 간극을 메우는 역할을 합니다.
5. 모델 평가. 본격적인 분석이 이루어지는 단계입니다. 데이터 모델이 준비되면 팀은 프로젝트의 초기 목표를 달성하기 위한 분석 프로세스를 시작할 수 있습니다. 데이터 분석 작업에는 프로그래밍 언어 및 분석 도구의 사용을 비롯한 다양한 형태의 통계 분석이 포함될 수 있습니다.
6. 배포 및 모니터링. 분석 결과에 기반한 조치를 취하는 단계입니다. 보고서 및 시각화 자료가 준비되면 사용자는 분석 결과를 이해관계자들에게 제시하고 중요한 의사결정에 대한 논의를 시작할 수 있습니다. 분석을 통해 도출된 권고사항은 데이터에서 발견된 증거에 기반하며 시각화를 통해 명확하게 제시됩니다. 많은 경우 기존의 수동 평가 기법보다 더 깊은 인사이트를 제공합니다.

주요 분석 기법

분석 작업은 통계학 분야에서 확립된 여러 기법에 기반해 수행된 뒤 머신러닝 기술을 통해 확장됩니다. 분석에 사용되는 가장 일반적인 기법은 다음과 같습니다.

• 회귀 분석. 회귀 분석은 데이터 및 통계 모델링의 주요 기법 중 하나입니다. 머신러닝 모델은 회귀 분석을 통해 데이터를 분석하여 어떤 변수가 결과에 영향을 미치는지, 그 영향의 정도는 어느 정도인지 파악합니다. 회귀 분석은 선형 회귀, 비선형 회귀, 로지스틱 회귀 등 다양한 기법을 포괄합니다.
• 클러스터링. 클러스터링은 비지도 머신러닝 모델에 사용되는 분석 유형입니다. 머신러닝 모델은 클러스터링을 통해 데이터 세트를 탐색하여 관련성이 높은 소규모 데이터 그룹을 찾은 뒤, 소규모 그룹들로부터 연결 관계와 패턴을 도출해 더 깊은 이해를 이끌어냅니다.
• 시계열 분석. 통계 및 데이터 모델링에 사용되는 시계열 분석은 특정 시간 범위 내에서 수집된 데이터 포인트들의 패턴, 변화, 변수의 영향을 분석해 예측 모델을 생성합니다. 시계열 분석의 가장 일반적인 예시 중 하나는 계절적 패턴을 예측하기 위한 연간 기상 데이터 분석입니다.
• 연관 규칙 마이닝. 가장 심오한 데이터 인사이트는 대규모 데이터 세트 내에서 패턴을 식별하고 흥미로운 관계를 발견함으로써 얻을 수 있습니다. 이는 그래프 분석의 핵심 개념 중 하나입니다. 연관 규칙 마이닝은 다양한 관계들로부터 숨겨진 연결과 공통점을 찾아내는 머신러닝의 한 유형입니다. 예를 들어, 패스트푸드 체인은 연관 규칙 마이닝을 활용해 함께 주문되는 품목을 찾아내고 할인된 묶음으로 함께 제공해 더 많은 고객을 유치할 수 있습니다.
• 텍스트 마이닝. 텍스트 마이닝은 이메일, 웹사이트 댓글, 소셜 미디어 게시물 등의 출처에서 유입되는 텍스트를 가져온 뒤 자연어 처리 기술을 활용해 의미 있는 패턴을 도출하는 비지도 머신러닝의 한 형태입니다. 도출한 패턴을 참여 메트릭이나 판매 데이터와 같은 다른 변수와 연계해 화자의 의도 및 감정을 더 잘 이해할 수 있습니다.

머신러닝 이해하기

머신러닝의 핵심은 데이터 내에서 연결 및 패턴을 찾는 것입니다. 머신러닝에는 의사 결정 트리처럼 직관적인 기법부터 데이터의 비선형적 관계를 파악할 수 있는 심층 신경망처럼 복잡한 기법까지 두루 활용됩니다. 그러나 어떤 기법을 사용하든 머신러닝은 기업이 번거로운 프로세스를 개선하고 데이터를 심층 분석해 생산성 및 의사 결정을 향상시키는 데 기여합니다.

머신러닝의 유형

프로젝트의 자원, 목표, 제약 조건에 따라 다양한 머신러닝 모델을 사용할 수 있습니다. 다양한 머신러닝 기법의 유형을 이해하면 프로젝트에 가장 적합한 선택이 무엇인지 알 수 있습니다. 일반적인 머신러닝 유형은 다음과 같습니다.

• 지도. 지도 학습의 목적은 머신러닝 알고리즘을 라벨링된 데이터 세트로 훈련해 알려진 패턴을 식별하고 출력물의 정확도를 반복적으로 개선하는 것입니다. 이 과정은 알려진 매개변수들로 모델의 개선도를 명확하게 측정할 수 있으므로 '지도' 학습으로 분류됩니다.
• 비지도. 비지도 학습은 머신러닝 모델이 별도의 목표나 메트릭 없이 라벨링되지 않은 데이터 세트를 처리하도록 합니다. 비지도 접근법은 패턴 탐지, 관계 탐지 또는 다른 형태의 생성된 인사이트를 활용해 유기적으로 학습할 수 있는 샌드박스를 제공합니다. 비지도 학습을 성공적으로 마친 모델은 데이터 세트가 제시하는 환경을 적절히 모방해 정확한 예측을 수행할 수 있습니다.
• 반지도. 반지도 학습은 지도 학습과 비지도 학습 기법을 결합해 머신러닝 과정을 가속화합니다. 반지도 학습에서는 모델이 소량의 라벨링된 데이터를 활용하여 초기 학습을 진행합니다. 해당 데이터셋 처리가 완료되면, 모델은 더 큰 규모의 라벨링되지 않은 데이터셋을 탐색하며 첫 단계에서 습득한 기초 지식을 적용한 뒤, 유기적이고 비지도적인 방식으로 예측을 정교화합니다.
• 강화 학습. 강화 학습이란 특정한 결과를 달성하기 위해 모델이 데이터 세트를 탐색하도록 만드는 과정을 의미합니다. 탐색 과정 중 모델이 내린 각 결정은 긍정적 또는 부정적 강화 형태의 피드백을 생성하고, 이는 모델이 상황을 예측해 적절히 대응할 수 있도록 지속적으로 결정을 수정하는 데 활용됩니다.

머신러닝 프로세스의 단계

머신러닝 모델의 목표와 매개변수에 관계없이 관련 프로젝트는 표준 프로세스를 따르는 경우가 많습니다. 프로젝트를 시작하기에 앞서 해당 프로세스를 이해하면 머신러닝 수명 주기 전반에 걸친 자원 할당과 예산 편성을 위한 로드맵을 얻을 수 있습니다.

머신러닝 모델의 일반적인 개발 단계는 다음과 같습니다.

1. 문제 식별. 이 머신러닝 모델의 목적은 무엇인가요? 더 중요한 것은, 해당하는 작업에 대한 모델을 이미 이미 다른 이들이 개발했나요? 만약 이미 개발했다면, 그 모델을 사용해 귀하의 목표를 달성할 수 있나요? 모든 프로젝트는 문제를 해결하기 위한 것이고, 솔루션은 프로젝트의 시작점부터 성공을 가늠하기 위한 메트릭에 이르는 다양한 매개변수를 제시해야 합니다.
2. 데이터 수집 및 정제. 머신러닝 프로젝트를 진행하려면 데이터가 필요합니다. 훈련된 모델이 실제 사용 시 접하게 될 데이터와 유사한 훈련 데이터 소스를 식별한 뒤, 중복 및 오류가 없는 통일된 호환 형식으로 데이터를 수집하고 변환해야 합니다. 이 단계를 소홀히 하면 프로젝트를 방해하거나 심지어 좌초시킬 수 있는 편향이 발생할 수도 있습니다. 프로젝트의 데이터 세트를 신중하게 관리하는 데 시간을 투자하는 것은 성공을 보장하기 위한 투자입니다.
3. 피처 엔지니어링. 머신러닝 모델 훈련에 데이터 세트의 모든 요소가 필요한 것은 아닙니다. 머신러닝의 중요한 초기 단계는 프로젝트에 중요한 매개변수를 식별한 뒤, 해당 매개변수 주변의 다양한 특성(feature)이 반영되도록 데이터셋을 선별하는 것입니다. 피처 엔지니어링은 전문가가 반복적으로 수행하는 작업으로서 더 풍부한 맥락을 제공해 정확도를 높이기 위해 데이터를 추가, 제거, 또는 결합하는 변환 작업이 이루어집니다.
4. 모델 선택 및 훈련. 프로젝트 목표에 따라 사용할 머신러닝 기법의 후보군을 나열합니다. 컴퓨팅 자원, 프로젝트 일정, 양질의 데이터 소스 확보 가능성, 팀원 경험 등 실용적 제약 조건을 적용해 선택지를 좁히고 궁극적으로 프로젝트에 가장 적합한 기법을 결정합니다. 선택한 모델에 선별된 훈련 데이터 세트를 반복적으로 학습시키고, 일관적인 정확도를 달성할 때까지 결과물을 정제합니다.
5. 모델 평가. 성공적으로 훈련된 모델은 반복 가능하고, 설명 가능하고, 정확한 결과를 제공합니다. 훈련된 모델을 실제 데이터를 활용해 평가해 훈련 데이터 세트 외부의 성능을 측정합니다. 평가 결과를 통해 프로젝트가 초기 목표를 얼마나 달성했는지 파악할 수 있습니다.
6. 배포 및 모니터링. 모델이 실제 테스트 데이터를 지속적이고 성공적으로 처리한다면 운영 환경에 배포할 준비가 된 것입니다. 배포는 특정 벤치마크를 충족한 뒤에만 이루어져야 하지만, 모델의 진화가 거기서 끝난다는 의미는 아닙니다. 팀은 모델의 결과물을 지속적으로 모니터링해 정확성, 일관성 및 다른 원하는 결과값들이 유지되는지 확인해야 하고, 결과값이 기대를 벗어날 경우 그 원인을 파악해야 합니다.

주요 머신러닝 기법

많은 머신러닝 기법들이 사용되고 있지만, 개별 프로젝트의 목표나 제약 조건에 모든 기법을 반드시 적용해야 하는 것은 아닙니다. 성공적인 머신러닝의 핵심은 개별 프로젝트 매개변수에 가장 적합한 기법이 무엇일지 파악하는 데 있습니다.

널리 사용되는 머신러닝 기법은 다음과 같습니다.

• 의사 결정 트리(decision trees): 의사 결정 트리는 지도 학습을 활용해 항목들이 워크플로를 통과할 때 고려해야 할 다양한 옵션을 파악하는 기법입니다. 예를 들어, 새로운 청구서가 접수되면 청구 금액을 지급하기에 앞서 특정한 결정들을 내려야 합니다. 회귀 분석 및 클러스터링을 지원하는 의사 결정 트리는 완전한 청구서와 사기일 가능성이 있거나 지급에 필요한 데이터가 누락된 청구서를 비교해 청구서의 유효성을 판단하는 등의 작업에 도움을 줄 수 있습니다.
• 랜덤 포레스트(random forests). 단일 의사 결정 트리는 상황에 대한 제한된 시각만을 제공합니다. 반면 랜덤 포레스트는 여러 의사 결정 트리(즉, 숲)를 결합해 더 넓은 관점의 종합적 결과를 생성하는 기법입니다. 랜덤 포레스트는 의사 결정 트리의 많은 한계를 극복하고 기능과 범위 양쪽 모두에서 더 큰 유연성을 제공합니다. 예를 들어 사기 감지 과정에서 거래의 적법성 여부는 거래의 발생지, 특정 고객이 전형적으로 구입하는 상품 구성인지 여부, 구매 규모가 비정상적인지 여부 등 여러 요소에 따라 달라질 수 있습니다. 포레스트를 구성하는 다양한 의사 결정 트리가 각 평가 매개변수를 처리합니다.
• 서포트 벡터 머신(support vector machine). 데이터가 명확하든 그렇지 않든 자연스럽게 클러스터로 나뉘는 경우가 있습니다. 서포트 벡터 머신(SVM)은 두 데이터 클러스터 간의 차이 또는 거리를 극대화하는 방법을 찾는 지도 학습의 한 유형입니다. 데이터 그룹 간에 선형 분할선이 뚜렷한 경우도 있고, 분할 함수가 비선형인 경우도 있습니다. 2차원 뷰에서 뚜렷한 클러스터링이 없는 경우, SVM은 고차원 분석을 사용해 데이터를 클러스터링하는 방법을 찾을 수 있습니다.
• 신경망(neural networks): 신경망은 우리의 뇌의 신경망과 유사한 방식으로 컴퓨팅 노드를 배열합니다. 신경망 내 각 계층은 고유한 함수를 적용해 입력 데이터를 어떻게 분류해야 하는지, 입력 데이터로부터 예측이 가능한지를 결정합니다.
• 그라디언트 부스팅(gradient boosting): 모든 머신러닝 모델의 예측에는 신뢰도 수준이 뒤따릅니다. 예를 들어, 1.0이 완벽한 확신을 의미하는 구조에서 0.8의 신뢰도로 특정 거래가 사기일 가능성이 있다고 예측한 경우를 가정해 보겠습니다. 이 예측의 신뢰도는 매우 높은 편에 속합니다. 모델이 평가를 수행할 때 일부 계산은 예측에 크게 기여하는 반면 일부는 거의 기여하지 않습니다. 많은 모델에서 기여도가 낮은 요소들은 노이즈로 간주되어 무시됩니다. 그라디언트 부스팅은 기여도가 낮은 요소들을 결합해 예측에 더 크게 기여하도록 함으로써 오류율을 낮추고 신뢰도 수준을 높이는 방식입니다.

분석 및 머신러닝의 도전 과제

머신러닝과 분석은 동일한 기법을 사용하는 경우가 많습니다. 따라서 두 작업이 별도로 진행되든, '머신러닝 기반 분석' 프로젝트로 통합되든 유사한 도전 과제를 직면하게 됩니다. 프로젝트 팀이 흔히 마주하는 도전 과제는 다음과 같습니다.

• 데이터 품질: 머신러닝을 위해서는 대량의 데이터가 필요합니다. 그러나 데이터에 형식 불일치, 중복 및 다른 문제가 만연할 경우 모델 훈련 과정을 왜곡시킬 수 있습니다. 데이터 품질은 효과적인 모델을 구축하는 과정에서의 주요 도전 과제 중 하나입니다. 다만 머신러닝 데이터의 '품질'이란 데이터가 적절히 형식화되어 실제 시나리오에서 모델이 접하게 될 상황을 반영한다는 의미라는 점에 유의해야 합니다. 훈련 데이터가 지나치게 정제되어 실제 운영 환경에서 모델이 경험할 현실 세계의 변동성을 반영하지 못하면 모델이 훈련 데이터에 과적합될 수 있습니다. 즉, 실제 데이터 세트에 존재하는 변동성과 복잡성을 처리하지 못하게 될 수 있습니다. 기업은 데이터 소스 검증, 적절한 변환 기법 선택, 정기적인 중복 데이터 제거 등 데이터의 품질을 유지하기 위한 전략을 적용해야 합니다. 그러나 노이즈 및 오류를 제거할 만큼 데이터를 충분히 정제하면서도 다양성을 유지한다는 균형을 맞출 필요가 있습니다.
• 알고리즘 선택 및 최적화: 모든 프로젝트에는 특정한 요구 사항이 있으며 프로젝트 목표에 따라 서로 다른 기법과 알고리즘이 최적의 선택이 될 수 있습니다. 때로는 선택지가 명백한 경우도 있습니다. 당면한 문제의 범위 및 특성에는 구조화된 의사결정 트리가 적합하다는 사실을 알고 있는 경우를 예로 들 수 있습니다. 반면 어떤 모델을 선택할지 명확하지 않은 경우도 있습니다. 데이터의 크기, 유형, 복잡성 등의 특성을 문서화한 뒤 해결하고자 하는 문제를 고려해야 합니다. 모델을 훈련하고 사용하는 데 필요한 프로세싱 파워는 어느 정도이고, 데이터 처리를 위해 프로세싱 파워를 확장할 수도 있을까요? 단순하게 시작하고 복잡성을 점차 높여가는 방식이 가장 좋습니다. AutoML과 같은 도구는 프로젝트에 가장 적합한 알고리즘의 테스트 및 선택을 자동화하는 데 도움을 줍니다.
• 과적합과 저적합: 훈련 데이터가 데이터의 종류 및 품질 사이에서 적절한 균형을 잡지 못할 경우 모델의 과적합 또는 저적합이 발생할 수 있습니다. 과적합은 훈련 데이터에 특정 유형의 데이터만 포함될 때 발생합니다. 노래 제목과 가수를 식별할 수 있는 앱을 개발하는 과정에서 모델 훈련 시 컨트리 음악만 제공한다면, 록이나 R&B에 대해서는 제대로 작동하지 못할 것입니다. 저적합은 그 반대 개념입니다. 모델이 충분히 광범위하게 훈련되지 않아 명백한 쿼리나 입력에 대한 결과도 도출하지 못하는 경우입니다.
• 해석 가능성과 설명 가능성: 해석 가능성(interpretability)과 설명 가능성(explainability)은 유사하지만 서로 구분되는 AI 모델의 속성입니다. AI 모델의 출력이 설명 가능하다는 것은 그 결과물이 무엇을 의미하는지, 그리고 그 답이 어디서 비롯되었는지 높은 수준에서 이해할 수 있다는 의미입니다. 생성형 AI가 이사회 회의록을 4단락으로 요약하면, 회의록 전문을 읽음으로써 시스템이 요약본을 어떻게 작성했는지 이해할 수 있습니다. 또는 모델이 올해 제품 판매량이 3% 증가할 것이라고 예측하면, 판매 보고서를 보고 그 수치가 어디서 나왔는지 이해할 수 있습니다. 이것이 설명 가능성입니다.
  
  반면 해석 가능성은 모델이 결과물 중 특정 요소를 도출하기 위해 수행한 과정을 이해할 수 있다는 의미입니다. 생성형 AI 시스템이 이사회 회의록의 요약본을 작성할 때 특정 단어들을 선택하고, 특정 순서로 배열한 이유는 무엇일까요? 판매량 3% 증가라는 예측을 도출하기 위해 어떤 계산법을 사용했을까요? AI가 결과물의 출처를 인용하면 설명 가능성은 향상됩니다. 그러나 모델이 복잡해질수록 해석 가능성은 낮아져 가고 있습니다.

분석 및 머신러닝 모범 사례

분석과 머신러닝은 공통적인 데이터 소스, 알고리즘, 평가 메트릭 등을 공유합니다. 다음은 분석과 머신러닝 모두에 적용되는 일반적인 모범 사례입니다.

1. 문제 정의 및 성공 메트릭 설정: 이 분석 프로젝트의 목적은 무엇인가요? 이 간단한 질문이 이후 모든 작업의 기초가 됩니다. 해결하려는 문제를 명확히 파악해야 알고리즘 및 데이터 소스 선택과 같은 결정이 자연스럽게 이어집니다. 이는 시작점을 설정하지만, 목표 지점 역시 정의해야 합니다. 성공 여부는 어떻게 측정할 수 있을까요? 이상의 두 가지 질문이 프로젝트의 광범위한 틀을 제공하며 팀은 이를 바탕으로 세부 사항을 채워나갈 수 있습니다.
2. 고품질의 다양한 데이터 세트 활용: 프로젝트 결과는 원본 데이터의 품질에 좌우됩니다. 중복되거나 비현실적으로 균일한 데이터 소스와 같은 문제가 있는 저품질의 데이터 세트는 결과를 왜곡할 수 있고, 최악의 경우에는 기업의 시간, 비용, 고객 손실을 초래하는 잘못된 결론으로 이어지기도 합니다. 분석 및 AI 모두 반드시 현실 조건이 반영된 최신 데이터 세트를 사용해야 하고, 관련성이 있으면서도 다양한 관점을 제공하는 데이터를 사용해야 합니다.
3. 올바른 알고리즘 및 모델 아키텍처 선택: 머신러닝 기법은 특정 목적을 위해 개발되었습니다. 이상 감지 시스템은 계층적 클러스터링이나 객체 식별 시스템과는 다릅니다. 일부 머신러닝 방법은 더 많은 처리 능력을 요구하며 단순한 애플리케이션에는 부적합할 수 있습니다. 마찬가지로 각각의 분석 모델 역시 최적의 활용 영역이 서로 다릅니다. 데이터에 여러 알고리즘을 적용해 성능을 비교해 보는 것도 가치 있는 시도입니다.
4. 모델 정규화 및 최적화: 머신러닝에서 과적합은 모델의 훈련 데이터 세트가 실제 운영 환경에서 나타날 다양성을 갖추지 못했을 경우 발생합니다. 제한된 데이터 세트로 모델을 고도로 훈련하면 훈련용 세트와 다른 입력은 해석하지 못할 수 있습니다. 정규화의 목표는 과적합을 제거하고 모델의 범용성을 높이는 것입니다. 최적화는 높은 정확도를 보장하기 위해 모델을 반복적으로 미세 조정하는 것입니다.
5. 결과를 명확하게 전달하기: 위에서 언급한 작업들은 프로젝트의 기술적 요소를 다룹니다. 그러나 종종 간과되는 가장 중요한 성공 요소는 결과를 전달하는 것입니다. 팀은 모델 미세 조정이나 데이터 소스 감사에 집중하다 주요 이해관계자들이 프로젝트 진행 상황을 알아야 한다는 사실을 간과할 수 있습니다. 이를 위해서는 실용적인 메트릭과 '진행 상황은 어떤가요?'라는 질문에 대한 간결한 평가로 이루어진 명확한 커뮤니케이션이 필요합니다.

분석 및 머신러닝의 사용 사례 및 적용 분야

분석 및 머신러닝은 현실 세계에서 어떻게 적용될까요? 데이터가 존재하는 한, 모든 산업 분야의 모든 기업은 분석 및 머신러닝을 운영에 통합할 수 있습니다. 엔지니어링, 운영, 마케팅, 영업 등 다양한 부서에서 각기 다른 방식으로 이를 활용하고 있습니다. 다양한 산업 및 부서 전반에 걸친 분석 및 머신러닝의 이점을 보여주는 사용 사례(PDF)는 다음과 같습니다.

• 마케팅: 마케팅 부서는 이메일 및 소셜 미디어 게시물의 참여도 추적, 구매 이력, 앱 사용 현황, 브라우징 행동 등 다양한 경로에서 데이터를 수집합니다. 이토록 많은 정보를 어떻게 활용할 수 있을까요? 머신러닝 시스템은 수집한 정보를 취합해 특정 패턴을 탐색하고, 비즈니스 사용자를 위해 개별 고객 및 세그먼트에 대한 분석 기반 프로필을 구축할 수 있습니다. 해당 정보를 활용한 데이터 기반 의사결정을 통해 인구통계학적 특성에 따른 마이크로 타기팅 제안이나 계절별 참여 유도 등의 추가 전략을 실행할 수도 있습니다.
• 재무: 기업 전반의 데이터가 통합되면 재무 부서는 머신러닝을 활용해 방대한 데이터를 취합하고 분석을 통해 해독할 수 있습니다. 결과적으로 도출된 데이터 기반 인사이트는 현금 흐름, 급여 동향, 자산 구매 패턴과 같은 핵심 요소를 더 깊이 있게 파악하는 데 기여합니다. 분석은 추세 감지 및 모델 기반 예측을 통한 새로운 차원의 인사이트 확보, 사기 감지 등도 지원합니다.
• 보건의료: 머신러닝과 분석은 의료 기관이 전자 의료 기록, 연결된 기기, 시설 운영 메트릭 등을 활용해 운영을 최적화하고 환자별 맞춤형 치료를 제공하는 과정을 지원합니다. 운영 측면에서는 계절이나 날씨 같은 요인으로 유발되는 검증된 인력 사용 주기에 따라 인력을 유연하게 조정할 수 있습니다. 개별 환자들에게는 데이터 기반 인사이트를 통해 특정 검진을 예약해야 하는 시기, 새로운 치료법의 적용 시점 등을 안내할 수 있습니다.
• 로봇공학: 제조 사이클부터 생산 현장에서 사용되는 최종 제품에 이르기까지 로봇과 관련된 모든 작업에서는 데이터가 생성됩니다. 후자의 경우 데이터는 온도 센서, CPU 사용량, 기계 관절, 모터 등 다양한 출처에서 수집됩니다. 이 방대한 데이터를 활용해 제조 소싱 및 모터 유지보수 등 생산의 모든 측면을 최적화함으로써 궁극적으로 유지보수 비용을 절감하는 데 분석을 활용할 수 있습니다.
• 경제학: 머신러닝은 다양한 방식으로 경제 연구 및 분석에 기여합니다. 가장 기본적으로는 방대한 데이터를 처리하고 시각화 모델을 구축하는 데 사용될 수 있습니다. 그러나 경제 분석가들은 텍스트 기반 감정 분석과 같은 관련 데이터 포인트를 연구하기 위해 머신러닝을 활용하기도 하며, 이는 특정 연구 결과의 배경과 원인을 더 깊이 이해하는 데 도움을 줍니다.

Oracle은 분석 및 머신러닝을 활용한 귀사의 비즈니스 개선을 지원합니다

데이터 과학자에게는 탁월한 성능을, 비즈니스 사용자에게는 직관적인 사용 방법을 제공하는 Oracle Analytics 시스템에는 머신러닝과 통합된 강력한 기능들이 탑재되어 있습니다. Oracle Analytics 제품을 통해 자연어 처리로 데이터를 탐색하고, No-Code 인터페이스로 시각화를 구축하고, 원클릭 AI 기반 인사이트를 활용할 수 있습니다. Oracle 제품은 사용자가 맥락에 부합하는 정보를 활용할 수 있도록 지원하고 No-Code 및 AutoML 관련 기능을 비롯해 데이터 접근성 및 AI/ML 접근성을 향상시켜주는 다양한 기능을 제공합니다.

머신러닝 및 분석은 기업이 비즈니스를 재편하고 혁신을 추구할 수 있는 엄청난 잠재력을 제공합니다. 기업은 데이터의 잠재력을 이끌어내고 고급 기술을 적용함으로써 가치 있는 인사이트를 확보하고, 데이터 기반 의사 결정을 내리고, 경쟁에서 앞서나갈 수 있습니다. 관련 기술들이 계속해서 발전해 나가고 있으므로 분석에 적용되는 머신러닝의 활용 범위도 갈수록 확대되고 모든 규모의 모든 기업에게 흥미로운 기회를 제공할 것입니다.

머신러닝 및 분석 FAQ

ML과 분석의 차이점은 무엇인가요?

머신러닝은 대규모 데이터 세트를 평가하여 패턴을 식별하고 예측 모델을 구축하는 과정으로서 단순한 자동화 작업부터 비판적 사고가 필요한 더 크고 복잡한 프로세스까지 두루 적용됩니다. 분석은 데이터와 통계를 체계적으로 분석하는 과학을 의미합니다. 분석은 머신 러닝을 통합하여 데이터 모델을 생성함으로써 이점을 얻을 수 있지만 의도적으로 함께 사용하지 않는 한 두 개념은 별도의 개념으로 보아야 합니다. 기업은 머신러닝과 분석을 결합해 오늘날의 비즈니스 환경에서 성공하기 위한 기반을 마련할 수 있습니다.

머신러닝을 활용한 분석 유형은 무엇인가요?

일반적으로 분석 플랫폼이 머신러닝을 지원하고 데이터 저장소와 적절히 연결되어 있다면 모든 유형의 분석에 머신러닝을 적용할 수 있습니다. 기능적으로 거의 모든 분석 프로젝트는 데이터 처리 과정을 가속화하는 데 머신러닝을 활용할 수 있습니다.

비즈니스 예측에 머신러닝과 분석을 어떻게 활용할 수 있나요?

분석은 과거 데이터를 처리하고 판매 주기, 시장 동향, 고객 행동, 나아가 제조 공정 등으로부터 패턴을 식별해 기업의 비즈니스 예측을 위한 인사이트를 제공할 수 있습니다. 기업은 해당 요소들에 대한 예측적 인사이트를 바탕으로 발견한 내용을 최대한 활용해 더 나은 비즈니스 성과를 달성하기 위한 결정을 내릴 수 있습니다.

기업이 머신러닝 및 분석 프로젝트를 성공적으로 수행하기 위해 필요한 것은 무엇인가요?

머신러닝 및 분석 프로젝트의 성공에 기여하는 관행은 다음과 같습니다.

• 양쪽 모두: 고품질 데이터 소스 사용하기.
• 분석: 모델링 및 데이터를 사용하기 전 관련 기준을 충족하는지 데이터 엔지니어를 통해 확인하기.
• 분석: 프로젝트 목표와 가용 자원에 가장 잘 부합하는 기법 선택하기.
• 머신러닝: 과적합 및 저적합 등의 문제 해결하기.
• 머신러닝: 배포 후 모델을 지속적으로 모니터링해 추가적인 수정 및 조정이 필요한지 확인하기.