죄송합니다. 검색 내용과 일치하는 항목을 찾지 못했습니다.

원하시는 정보를 찾는 데 도움이 되도록 다음을 시도해 보십시오.

  • 검색에 사용하신 키워드의 철자가 올바른지 확인하십시오.
  • 입력한 키워드에 동의어를 사용하십시오. 예를 들어 “소프트웨어” 대신 “애플리케이션”을 사용해 보십시오.
  • 새로운 검색을 시작하십시오.

A/B 테스트는 무엇인가요?

A/B 테스트의 정의

분할 테스트 또는 버킷 테스트라고도 하는 A/B 테스트는 두 가지 콘텐츠를 비교하여 방문자/뷰어가 더 높은 관심을 보이는 버전을 확인합니다. 주요 측정지표를 기반으로 가장 성공적인 버전을 측정하기 위해 변형(B) 버전과 비교하여 컨트롤(A) 버전을 검증합니다. B2B 마케팅 또는 B2C 마케팅을 수행하는 디지털 마케팅 실무자가 선택 가능한 A/B 테스트의 수행 옵션은 다음과 같습니다.

  • 웹 사이트 A/B 테스트(텍스트, 이미지, 색상 설계, CTA(call to action))는 A와 B 두 버전 사이의 트래픽을 분리합니다. 방문자 활동을 모니터링하여 어느 버전에서 1) 전환한 숫자가 가장 높거나 2) 원하는 작업을 수행한 방문자의 숫자가 가장 많은가를 파악합니다.
  • 이메일 마케팅의 A/B 테스트(이메일 제목, 이미지, CTA)는 수신자를 두 세그먼트로 세분화하여 더 높은 오픈율(open rate)을 보여준 그룹을 결정합니다.
  • 편집자가 선택한 콘텐츠와 사용자 행동 기반의 알고리즘에 의해 선택된 콘텐츠 가운데 참여가 더 많은 쪽을 확인합니다.

주안점과 상관없이 A/B 테스트를 통해 최적의 CX(고객 경험)를 제공하는 방법을 결정할 수 있습니다.

A/B 테스트 외에도 A/B/N 테스트도 있습니다. 여기서 "N"은 "알 수 없음"을 나타냅니다. A/B/N 테스트는 변수가 두 개 이상인 유형입니다.

A/B 테스트가 필요한 시기와 이유

A/B 테스트는 지속적으로 운영할 때 가장 큰 이점을 제공합니다. 정기적으로 이어지는 테스트는 미세한 성능 조정 방법을 위한 권장 사항을 지속적으로 제공할 수 있습니다. 또한 테스트에 사용할 수 있는 옵션이 거의 무제한이므로 지속적인 테스트를 수행할 수 있습니다.

위에서 언급한 바와 같이 A/B 테스트를 이용해 다음과 같은 디지털 마케팅 자산을 평가할 수 있습니다.

  • 이메일
  • 뉴스레터
  • 광고
  • 문자 메시지
  • 웹 페이지
  • 웹 페이지의 구성 요소
  • 모바일 앱

A/B 테스트는 효과가 있는 것과 그렇지 않은 것을 결정하는 경우 도움을 주기 때문에 캠페인 관리에서 중요한 역할을 차지합니다. 이는 잠재고객이 무엇에 관심을 갖고 반응하는지 보여줍니다. A/B 테스트에서는 마케팅 전략의 어떤 요소가 가장 큰 효과를 갖고 있는지, 개선이 필요한 요소는 무엇인지, 어떤 요소가 불필요한지 모두 확인할 수 있습니다.

이제 A/B 테스트를 수행해야 하는 이유를 설명했으므로 테스트 시기를 결정하는 두 가지 기준을 살펴보겠습니다.

  • 성과가 최적의 수준에 도달하지 못하는 기대 이하의 디지털 마케팅 캠페인이나 요소가 있다고 가정해보겠습니다. A/B 테스트를 사용하면 성능 문제를 분리하여 이를 향상할 수 있습니다.
  • 새로운 무언가(웹 페이지, 이메일 캠페인)를 시작하려고 할 때 어떤 접근 방법(예: 메시지)이 가장 좋은 성과를 보여줄 지 확실하지 않습니다. A/B 테스트의 선제적인 사용으로 두 가지 다른 접근 방법의 성과를 비교 및 대조하여 더 나은 것을 파악할 수 있습니다.

웹 사이트에서 A/B 테스트 실행 시의 이점

웹 사이트 A/B 테스트를 통해 웹 사이트 방문자에 가장 적합한 전술을 정량적으로 판별할 수 있습니다. 간단히 예측을 검증하거나 예측 오류가 입증될 수도 있습니다. 그러나 효과가 없는 작업을 고집하지 않아도 된다는 점에서 여전히 유리한 점이 있습니다. 더 많은 시간을 사이트에서 체류하고 더 많은 링크를 클릭하는 방문객을 더 많이 불러모을 수 있을 것입니다.

널리 사용되는 웹 사이트 구성 요소/섹션을 테스트함으로써 테스트 페이지뿐만 아니라 기타 유사한 페이지도 개선할 수 있는 의사 결정이 가능합니다.

A/B 테스트의 수행 방법

A/B 테스트는 어렵지 않지만 마케터들은 잘 정의된 프로세스를 따라야 합니다. 9가지 기본 단계는 다음과 같습니다.

A/B 테스트를 계획하고 실행하는 기본 단계

  • 1. 성과 기준 측정 및 검토
  • 2. 성과 기준을 사용하여 테스트 목표 결정
  • 3. 테스트에서 성과를 개선할 수 있는 방법에 대한 가설을 개발
  • 4. 테스트 대상 또는 위치 식별
  • 5. 테스트할 A, B 버전 생성
  • 6. QA 도구를 활용하여 설정 검증
  • 7. 테스트 실행
  • 8. 웹 및 테스트 분석을 사용하여 결과 추적 및 평가
  • 9. 결론을 적용하여 고객 경험 개선

명확한 목표와 확고한 가설을 갖고 위의 단계를 따르면 일반적인 A/B 테스트 실수를 방지할 수 있습니다.

테스트는 성과 개선과 향상에 도움이 되는 데이터 및 경험적 증거를 제공합니다. A/B 테스트에서 배운 내용을 활용하면 효과를 확대하고, 더욱 많은 고객이 참여할 수 있는 고객 경험(CX)을 설계하며, 더 설득력 있는 텍스트와 매력적인 비주얼을 구성하는 데 도움이 됩니다. 지속적인 최적화로 마케팅 전략이 더욱 효과적으로 개선되어 ROI가 증가하고 매출도 증대됩니다.

A/B 테스트 예시

테스트할 수 있는 디지털 마케팅 요소의 목록에는 아래 항목 가운데 하나 이상을 포함합니다.

  • 탐색 링크
  • CTA(calls to action)
  • 디자인/레이아웃
  • 광고 문안
  • 콘텐츠 제안
  • 헤드라인
  • 이메일 제목
  • 우호적인 이메일 "발신자" 주소
  • 이미지
  • 소셜 미디어 버튼(또는 기타 버튼)
  • 로고와 슬로건/로그인

현 시점의 비즈니스 목표, 성과 지표 및 기준, 마케팅 캠페인의 구성은 테스트할 최적의 후보를 결정하는 데 도움이 됩니다.

웹 사이트 A/B 테스트에서 분석의 역할

A/B 테스트의 수명 주기 전반에서 분석은 계획, 실행, 추천 성과의 핵심 요소입니다.

테스트 가설을 개발하려면 강력한 기반의 분석이 필요합니다. 해당 시점의 성과와 트래픽 수준을 이해해야 합니다. 예를 들어 웹 분석의 경우 계획 단계에서 분석 시스템이 제공하는 주요 데이터 포인트에는 다음이 포함됩니다.

  • 테스트 시나리오를 위해 검토 중인 페이지, 구성요소 또는 기타 요소의 트래픽(페이지 뷰, 고유 방문자)
  • 참여(방문당 체류 시간, 방문당 페이지 수, 이탈률)
  • 전환(클릭, 등록, 포기)
  • 시간 경과에 따른 성과 추이

이와 같은 분석기술의 바탕이 없으면 모든 테스트 시나리오 또는 성능 평가는 개인적 선호도나 인상에 기초하게 됩니다. 테스트에서는 이러한 가정이 부정확한 것으로 입증되는 경우가 많습니다.

A/B 테스트를 시작하면 분석 또한 중심적인 역할을 수행합니다. 대시보드는 성능 측정지표를 실시간으로 모니터하고, 테스트가 예상대로 작동하는지 검증하며 이례적 또는 예기치 않은 결과에 대응하는 데 사용됩니다. 여기에는 테스트 중지, 조정 및 재시작, 변경 사항의 성능 데이터 반영 여부와 변경 시점의 보장 등이 포함됩니다. 성능 대시보드는 테스트 수행 기간을 확인하고 통계적 유의도(statistical significance)를 보장하는 데 도움을 줍니다.

테스트가 절차에 따라 수행된 후 다음 단계를 결정하는 기준은 분석입니다. 예를 들어 테스트에서 성공할 경우 이를 웹 페이지에 기준으로 제시하는가의 여부, 그리고 이를 표준으로 지속하는가의 여부를 결정하는 데 사용할 수 있습니다. 마케터는 테스트 결과를 전달하기 위해 재사용 가능한 분석 템플리트를 개발하고 주어진 테스트의 특정 요소를 반영하기 위해 해당 템플리트를 조정해야 합니다.

이메일 A/B 테스트에 대해 자세히 알아보기

A/B 테스트 결과의 해석 방법

테스트를 계획하는 동안 목표를 설정하는 것이 중요한 이유는 결과를 평가하고, 성공 여부를 판별하며, 마케팅 캠페인 및/혹은 웹사이트를 갱신하여 성공적인 테스트 결과를 반영할 수 있기 때문입니다. 많은 경우 성공한 버전의 테스트 결과 메시지를 수신하게 될 그룹별로 잠재고객을 미리 세분화 해둡니다. 이 사항은 앞에서 이미 다루었으나 다시 살펴볼 것입니다.

테스트 결과는 다음과 같이 측정하기로 결정한 항목을 바탕으로 다른 요소에 비교한 특정 요소의 성공을 나타냅니다.

  • 방문자 수
  • 오픈율
  • 클릭률
  • 등록(뉴스레터 등)
  • 구독

테스트가 진행되는 동안 두 개의 요소를 통계적으로 유의미한 측정치에 도달할 때까지 모니터링합니다.

매출 측면에서 전환율을 측정할 수도 있습니다. 변경에 따른 판매 수익의 실제 효과와 판매 수치를 함께 고려할 수 있습니다. 전자상거래 사이트와 판매 뿐 아니라 측정 가능한 모든 활동에서 전환율을 수집할 수 있다는 점을 기억할 필요가 있습니다. 이는 다음을 포함합니다.

  • 판매
  • 생성된 리드/제출된 등록
  • 뉴스레터 등록
  • 배너 광고 클릭
  • 사이트 체류 시간

A/B 테스트에서 주목해야 할 지표는 무엇입니까?

이 질문에 대한 답은 가설과 목표에 따라 달라집니다. 하지만 잠재고객이 마케팅 콘텐츠에 얼마나 참여하고 있는지를 나타내는 측정지표에 집중해야 합니다.

웹 페이지 테스트의 경우 고유 방문자 수, 방문자 회귀율, 페이지에 머무른 시간, 이탈 및 종료율을 확인해야 합니다. 이메일 마케팅의 경우 누가 이메일을 열어 CTA까지 클릭하는지 확인하고자 할 것입니다.

다변량 테스트란 무엇인가요? A/B 테스트와 차이점은 무엇입니까?

다변량 테스트는 A/B 테스트와 함께 밀접하게 논의되는 경우가 많으므로 다변량 테스트는 무엇이고 A/B 테스트와 어떻게 다른지 이해하는 것이 중요합니다. 두 항목은 관련 분야이지만 분명한 차이가 있습니다.

다변량 테스트는 하나 이상의 웹 사이트 페이지 또는 이메일 마케팅 캠페인에서 여러 요소(예: A/B 테스트의 단일 요소)에 대해 서로 다른 콘텐츠를 테스트하여 전환율이 가장 높은 조합을 식별합니다.

다변량 테스트는 통계 모델을 적용하여 전체적인 성공 이력과 웹사이트 최적화를 유도하는 변경 사항 사이의 조합을 테스트합니다. 다음은 다변량 테스트의 몇 가지 주요 특성입니다.

1

다양한 요소

다변량 테스트는 웹사이트와 이메일 변경 사항을 대상으로 폭넓게 수행되며 여기에는 랜딩 페이지 혹은 체크 아웃과 같은 절차를 위한 콘텐츠 및 레이아웃과 더불어 이미지, 텍스트, 색상, 폰트, 링크, CTA 버튼 등 비즈니스 제안에 포함된 모든 부분이 포함됩니다. 다변량 테스트는 50개 이상의 조합을 초과하는 경우가 많습니다.

2

가설에서부터 결과까지

다변량 테스트는 전환율을 향상시킬 수 있는 콘텐츠 변경에 대한 가설에서 출발합니다. 다변량 테스트를 이용해 콘텐츠 변경사항을 여러 개별 요소로 분리하여 가장 높은 전환율을 제공하는 조합을 결정할 수 있습니다. 이러한 변화가 사용자 경험에서 작은 변화이든 큰 변경 사항이든 상관없이 전체 결과에 영향을 줄 수 있습니다.

3

전환율

전환율은 방문자가 기대하는 작업(예: 제안 클릭 또는 장바구니에 제품 추가)을 수행하는 비율입니다. 추가 측정지표는 주문당 수익 또는 클릭률과 같이 테스트를 평가하는 데 사용됩니다. 분석은 정의한 측정 지표의 전환율 또는 상승을 기준으로 최상의 결과를 얻을 수 있는 변경사항의 조합을 알려줍니다.

4

지속적인 최적화

방문자를 위한 최상의 경험으로 테스트에서 결정된 사항을 비즈니스 목표로 정의하는 것이 가능하다면, 소프트웨어가 테스트를 위해 자동으로 환경을 최적화하는 옵션을 고려할 수 있습니다.

iOS 및 Android에서 A/B 혹은 다변량 테스트가 가능합니까?

2020년 모바일 앱은 전자상거래 지출에서 2조 9천억 달러를 차지했습니다. 2021년 말까지 이 숫자는 1조 이상 증가할 것으로 예상됩니다. 이러한 성장은 소매와 전자상거래를 넘어 확장됩니다. 대부분의 국가에서 노트북보다 더 쉽게 휴대 전화에 접근할 수 있기에 전체 온라인 트래픽에서 모바일이 차지하는 비중은 데스크탑보다 훨씬 빠르게 성장하고 있습니다. 이에 따라 고객 구매 여정의 시작과 끝이 iOS 또는 Android 앱인 사례는 더욱 더 증가하고 있습니다. 그러나 작은 화면으로 인해 장바구니 포기율은 데스크탑/노트북(73%)보다 모바일(87%)에서 더 높습니다.

모바일 환경의 최적화는 그 어느 때보다 중요하지만 iOS 및 Android 앱의 한계로 인해 올바른 도구가 필요합니다.

자세한 내용은 아래 비디오를 시청하십시오.

다변량 테스트의 방문자 세분화 및 세그먼트 클러스터링

한 가지 경험이 어떤 방문자/수신자에게는 적합하지 않을 수도 있습니다. 다변량 테스트의 중요한 강점은 방문자 세그먼트와 이에 따라 서로 다른 경험을 수행/상호 작용하는 방법을 이해한다는 점입니다 예를 들어, 신규 방문자가 반복 방문자와 비교해 다른 경험을 더 선호하는지 확인할 수 있으며 이 경우 전체 결과를 향상할 수 있습니다. 보다 정교한 시스템은 수백 개의 방문자 속성에 대해 테스트 결과를 분석하는 데 필요한 시간을 줄이기 위해 방문자 세분화를 자동으로 제안합니다.

방문자별 세그먼트를 대상으로 서로 다른 경험을 목표로 설정하면 전환율이 크게 증가합니다. 풍부한 방문자 속성을 바탕으로 타겟팅이 필요하며 여기에는 환경적 특성에서 행동분석에 이르기까지, CRM 시스템과 같은 여타 시스템에 존재하는 고객 특성까지 포함됩니다.

A/B 테스트인가 다변량 테스트인가. 그것이 문제.

A/B 테스트는 유용한 도구이지만 "최상의 경험"을 확인하기 위해 테스트해야 하는 옵션이 두 개 이상인 경우 A/B 테스트 대신 다변량 테스트를 수행하고자 할 것입니다.

두 개 이상의 옵션을 사용한 테스트는 실행에 오랜 시간이 걸리며 단일 페이지에서는 변수 간 상호 작용에 대해 어떤 내용도 표시하지 않습니다. 그러나 A/B 테스트는 이해가 매우 쉬우며 회의적 시각을 가진 이들을 위한 웹사이트 콘셉트와 캠페인 최적화를 소개하거나, 디자인 변경 및 수정에 따라 측정 가능한 영향을 보여주기에 좋은 방법입니다.

웹 페이지나 이메일처럼 여러 가지 요소를 비교해야 하는 자산, 예를 들어 서로 다른 이미지 조합, 눈길을 사로잡는 제목의 경우 다변량 테스트가 매우 유용합니다. 하지만 옵션이 많을수록 트래픽이 상승합니다. 따라서 페이지의 모든 항목을 테스트하지 않습니다. 너무 많은 페이지 요소가 변경될 경우 이로 인해 감당하기 어려울 정도로 많은 수의 조합이 발생합니다. 예를 들어, 10개의 다른 요소에 대해 테스트를 실행하면 350만 이상의 조합이 발생할 수 있습니다. 대부분의 웹사이트와 이메일 캠페인은 이를 지원하기 위한 트래픽을 확보하는 데 어려움을 겪고 있습니다.