Testowanie porównawcze

Czym są testy porównawcze?

Definicja testowania porównawczego

Testy porównawcze (A/B testing, split testing, bucket testing) służą do porównania efektywności dwóch wersji treści, aby sprawdzić, która z nich bardziej przemawia do osób odwiedzających strony internetowe / wyświetlających określone informacje. W ramach tych testów porównywana jest wersja oryginalna (A) z wersją wariantową (B), aby określić na podstawie określonych wskaźników, która z nich jest lepsza. Wśród przeznaczonych dla specjalistów ds. marketingu cyfrowego zajmujących się marketingiem B2B lub marketingiem B2C opcji testowania porównawczego można wyróżnić:

  • Testy porównawcze witryn internetowych (teksty, obrazy, kolorystyka, wezwania do działania), w ramach których ruch jest rozdzielany na dwie wersje A i B. Monitorowane są tu działania odwiedzających, aby określić, która wersja przynosi największą liczbę 1) konwersji lub 2) odwiedzających, którzy wykonali pożądane działanie.
  • Testy porównawcze w zakresie marketingu e-mailowego (tematy, obrazy, wezwania do działania), w ramach których odbiorcy są rozdzielani na dwa segmenty w celu określenia, która wersja przynosi większą liczbę otwarć wiadomości e-mail.
  • Testy porównawcze treści wybranych przez redaktorów lub treści wybranych przez algorytm na podstawie zachowań użytkowników, w ramach których wskazuje się treści wywołujące większe zaangażowanie.

Niezależnie od przedmiotu zainteresowania, testy porównawcze pomagają określić, w jaki sposób zapewnić klientom najlepsze doświadczenia.

Oprócz testów porównawczych typu A/B, istnieją również testy porównawcze typu A/B/N, gdzie „N” oznacza „element nieznany”. Test A/B/N to test porównawczy z większą liczbą wariantów niż dwa.

Kiedy i dlaczego warto przeprowadzać testy porównawcze

Testy porównawcze przynoszą najwięcej korzyści, gdy są przeprowadzane w sposób ciągły. W rezultacie mogą zapewniać stały strumień rekomendacji co do sposobu poprawiania efektywności testowanych elementów. Warto zauważyć, że ciągłe testowanie jest możliwe, ponieważ dostępne opcje testowania są prawie nieograniczone.

Jak wspomniano powyżej, testy porównawcze mogą być stosowane do oceny prawie każdego elementu marketingu cyfrowego, w tym:

  • wiadomości e-mail,
  • biuletynów informacyjnych,
  • reklam,
  • wiadomości tekstowych,
  • stron internetowych,
  • elementów na stronach internetowych,
  • aplikacji na urządzenia przenośne.

Testy porównawcze odgrywają ważną rolę w zarządzaniu kampanią, ponieważ pomagają określić zarówno elementy dobrze w jej ramach funkcjonujące, jak i elementy wymagające poprawy. Ponadto pokazują, czym odbiorcy się interesują i na co reagują. Testy porównawcze pozwalają na sprawdzenie, który element realizowanej strategii marketingowej w największym stopniu oddziałuje na odbiorców, który wymaga poprawy, a który powinien zostać całkowicie zarzucony.

Wiemy już, dlaczego warto testować, rozważmy zatem dwa kryteria dotyczące tego, kiedy powinno się takie testy przeprowadzać.

  • Podczas realizacji kampanii w ramach marketingu cyfrowego pojawia się element, który nie funkcjonuje na optymalnym poziomie i w związku z tym nie spełnia oczekiwań. Testy porównawcze mogą być tu użyte do zidentyfikowania i wyeliminowania wspomnianego problemu.
  • Podczas rozważań dotyczących uruchomienia nowej kampanii (internetowej, e-mailowej) nie wiadomo, które podejście (np. sposób komunikacji) przyniesie najlepsze efekty. Proaktywne zastosowanie testów porównawczych pozwoli na porównanie i zestawienie efektywności dwóch odmiennych podejść w celu wybrania lepszego z nich.

Korzyści z przeprowadzania testów porównawczych A/B w odniesieniu do witryny internetowej

Testy porównawcze witryny internetowej to świetny sposób na ilościowe określenie działań, które najlepiej sprawdzą się w odniesieniu do odwiedzających daną witrynę. Mogą na przykład pomóc w pozytywnym lub negatywnym zweryfikowaniu posiadanego przeczucia. Negatywna weryfikacja to także zaleta, ponieważ będzie wiadomo, co nie przynosi zamierzonych efektów. W rezultacie możliwe będzie przyciągnięcie większej liczby odwiedzających, którzy spędzą więcej czasu w danej witrynie i klikną więcej łączy.

Testując powszechnie używane elementy witryny, można dokonać ustaleń, które przyczynią się do poprawy nie tylko strony testowej, ale także innych, podobnych stron.

Jak przeprowadzić test porównawczy?

Przeprowadzenie testu porównawczego nie jest trudne, ale wymaga trzymanie się ściśle określonego procesu. Dziewięć podstawowych etapów tego procesu zostało przedstawionych poniżej:

Podstawowe etapy planowania i przeprowadzania testów porównawczych

  • 1. Pomiar i weryfikacja bazowego poziomu efektywności
  • 2. Określenie celu testu na podstawie bazowego poziomu efektywności
  • 3. Sformułowanie hipotezy dotyczącej sposobu, w jaki test przyczyni się do zwiększenia efektywności
  • 4. Określenie osób poddawanych testowi i miejsc testowania
  • 5. Utworzenie na potrzeby testu wersji A i B
  • 6. Weryfikacja jakości parametrów testu przy użyciu wybranego narzędzia
  • 7. Przeprowadzenie testu
  • 8. Śledzenie i ocena wyników testu za pomocą odpowiednich narzędzi analitycznych.
  • 9. Praktyczne wykorzystanie zdobytej wiedzy w celu poprawy doświadczeń klienta.

Zastosowanie się do powyższych etapów, pod warunkiem wyznaczenia jasnych celów i postawienia dobrej hipotezy, pomoże uniknąć typowych błędów popełnianych podczas testów porównawczych.

Testy są źródłem danych i dowodów empirycznych pomocnych w zwiększaniu efektywności. Dzięki zdobytej wiedzy o testach porównawczych, można przygotowywać efektywniejsze kampanie, zapewniać lepsze doświadczenia klienta, formułować ciekawsze przekazy oraz tworzyć lepsze materiały wizualne. Dzięki nieustannej optymalizacji realizowane strategie marketingowe staną się efektywniejsze, przynosząc większy zwrot z inwestycji i większe przychody.

Przykłady testów porównawczych

Lista elementów składowych marketingu cyfrowego, które mogą być testowane obejmuje m.in.

  • łącza nawigacyjne,
  • wezwania do działania,
  • projekt/układ,
  • treść,
  • ofertę dotyczącą treści,
  • nagłówek,
  • temat wiadomości e-mail,
  • przyjazny adres nadawcy wiadomości e-mail,
  • obrazy,
  • przyciski prowadzące do serwisów społecznościowych (lub inne przyciski);
  • Logos i slogany

Najlepszych kandydatów do przetestowania można wskazać na podstawie celów biznesowych, celów efektywnościowych, sytuacji wyjściowej oraz aktualnej kompozycji marketingowej.

Rola analityki w testach porównawczych witryn internetowych

W kontekście testów porównawczych analityka jest kluczowym elementem planowania, wdrażania odpowiednich działań i rekomendacji dotyczących efektywności testowanych elementów.

Sformułowanie hipotezy badawczej wymaga dobrej znajomości analityki. Trzeba też znać bieżącą efektywność i poziom ruchu w witrynie. W kontekście analizy stron WWW (na przykład), istnieje kilka kluczowych informacji, które system analityczny dostarczy podczas procesu planowania, w tym informacje dotyczące:

  • ruchu (odsłony, unikatowi odwiedzający) dotyczącego strony, składnika lub innego elementu analizowanego pod kątem scenariuszy testowych,
  • zaangażowania (czas spędzony na stronie, liczba strony odwiedzonych podczas wizyty, liczba odwiedzin witryny zakończonych po otworzeniu tylko jednej strony),
  • konwersji (kliknięcia, rejestracje, nieudane konwersje),
  • efektywności w czasie.

Bez skorzystania z podstaw analityki każdy scenariusz testowy lub każda ocena wydajności będą prawdopodobnie oparte na osobistych preferencjach lub wrażeniach. Tymczasem testy często udowadniają, że takie preferencje lub wrażenia są błędne.

Po rozpoczęciu testu porównawczego, analityka również odgrywa w nim centralną rolę. Na potrzeby monitorowania mierników wydajności w czasie rzeczywistym, weryfikacji poprawności działania testu oraz reagowania na wszelkie anomalie lub nieoczekiwane wyniki stosuje się pulpit nawigacyjny. Za jego pomocą można zatrzymać test, wprowadzić do niego poprawki i ponownie go uruchomić, a także upewnić się, że dane dotyczące efektywności uwzględniają wprowadzone zmiany oraz czas ich wprowadzenia. Pulpit dotyczący efektywności pomaga określić, jak długo przeprowadzać test, i upewnić się, że osiągnięta została istotność statystyczna.

Po zakończeniu testu podstawą do określenia kolejnych działań będzie analiza danych. Wyniki tej analizy mogą na przykład posłużyć do podjęcia decyzji, czy wariant, który w teście okazał się lepszy, stanie się standardem prezentacji na testowanej stronie i czy taka strona również stanie się standardem. Marketerzy powinni zatem przygotować szablon analityczny wielokrotnego użytku do przekazywania wyników testów i dostosować go do konkretnych elementów danego testu.

Dowiedz się więcej o testach porównawczych w zakresie marketingu e-mailowego

Jak interpretować wyniki testów porównawczych

Przed rozpoczęciem testu ważne jest ustalenie jego celów, aby móc odpowiednio ocenić jego wyniki, wyłonić najlepszy wariant oraz zaktualizować na tej podstawie kampanię marketingową lub witrynę internetową. W wielu sytuacjach odbiorcy są wstępnie podzieleni na grupy i wyłoniony najlepszy wariant otrzyma ta grupa, która nie została włączona do testu.

Przewaga testowanego elementu nad drugim testowanym elementem będzie ustalana na podstawie wartości, które miały być zmierzone, na przykład na podstawie:

  • liczby odwiedzających,
  • liczby otwartych wiadomości e-mail,
  • klikalności,
  • liczby rejestracji (na przykład w celu otrzymywania biuletynu informacyjnego),
  • liczby subskrypcji.

Podczas testu oba te elementy będą monitorowane do momentu uzyskania statystycznie istotnego pomiaru.

Wartość współczynnika konwersji może być również mierzona w kategoriach przychodów. Można na przykład sprawdzić liczbę transakcji sprzedaży oraz wpływ zmiany na rzeczywiste przychody ze sprzedaży. Warto pamiętać, że współczynniki konwersji mogą być obliczane dla każdego wymiernego działania i nie są ograniczone do witryn e-commerce ani wartości sprzedaży. Współczynniki konwersji mogą zatem dotyczyć:

  • sprzedaży,
  • liczby znalezionych potencjalnych klientów / dokonanych rejestracji,
  • liczby zapisów na biuletyn informacyjny,
  • liczby kliknięć w banery reklamowe,
  • czasu spędzonego w witrynie internetowej.

Na jakie metryki należy zwrócić uwagę w przypadku testów porównawczych?

Odpowiedź na to pytanie zależy od postawionej hipotezy i założonych celów. Niemniej jednak należy skupić się na metrykach, które wskazują na zaangażowanie odbiorców wynikające ze skierowanych do nich treści marketingowych.

Jeśli testowana jest strona internetowa, należy zwrócić uwagę na liczbę unikatowych odwiedzających i powracających odwiedzających, czas, jaki spędzają na stronie, a także liczby rezygnacji z wyświetlania strony. W przypadku marketingu e-mailowego ważne będą informacje o tym, kto otwiera wiadomości e-mail i kto klika wezwania do działania.

Czym jest testowanie wielowariantowe? Czym się różni od testowania porównawczego?

Testy wielowariantowe są często omawiane razem z testami porównawczymi, warto zatem wiedzieć, czym są i czym się od testów porównawczych różnią. Oba rodzaje testów są ze sobą powiązane, ale występują między nimi wyraźne różnice.

Testy wielowariantowe sprawdzają różne treści pod kątem wielu elementów (w testach porównawczych jest to jeden element) na co najmniej jednej stronie internetowej lub w ramach co jednej marketingowej kampanii e-mailowej, aby zidentyfikować kombinację, która przynosi najwyższą wartość współczynnika konwersji.

W testach wielowariantowych stosuje się model statystyczny służący do znalezienia kombinacji zmian, których efektem jest ogólna poprawa doświadczeń klienta i optymalizacja witryny internetowej. Poniżej przedstawiono kilka kluczowych cech testów wielowariantowych:

1

Szeroki zakres testowanych elementów

Testy wielowariantowe są wykonywane dla szeregu zmian w witrynie internetowej lub w wiadomości e-mail, w tym dla wszystkich elementów oferty, takich jak obrazy, tekst, kolor, czcionki, łącza i przyciski wzywające do działania, a także dla treści i układu stron startowych lub procesów, takich jak na przykład finalizacja transakcji. Nierzadko zdarza się, że test wielowariantowy obejmuje nawet ponad pięćdziesiąt kombinacji.

2

Od hipotezy do wyniku

Testy wielowariantowe rozpoczynają się od postawienia hipotezy dotyczącej zmian w treści, które mogłyby poprawić wartość współczynnika konwersji. W ramach testów wielowariantowych zmiany treści mogą zostać rozbite na wiele pojedynczych elementów, aby określić kombinacje, które zapewniają najwyższą wartość współczynnika konwersji. Niezależnie od tego, czy są to zmiany niewielkie, czy znaczące, każda z nich może mieć wpływ na końcowy wynik.

3

Współczynniki konwersji

Współczynnik konwersji to wartość, przy której odwiedzający wykonują pożądane działanie, takie jak kliknięcie łącza do oferty lub dodanie produktu do koszyka. W teście używane są też dodatkowe metryki, takie jak przychód na zamówienie lub współczynnik klikalności. Na podstawie analizy danych można stwierdzić, która kombinacja zmian przynosiła najlepsze rezultaty w kontekście współczynnika konwersji lub wzrostu wartości innych współczynników.

4

Ciągła optymalizacja

Zważywszy na fakt, że można zdefiniować cel biznesowy, w przypadku którego test określa najlepsze doświadczenia odwiedzających w kontekście realizacji tego celu, warto rozważyć, czy nie pozwolić oprogramowaniu na automatyczną optymalizację doświadczeń dla danego testu.

Czy można wykonywać testy porównawcze A/B i wielowariantowe w odniesieniu do aplikacji na systemy iOS i Android?

W 2020 r. aplikacje na urządzenia przenośne będą odpowiadać za wydatki rzędu 2,9 bln USD w handlu elektronicznym. Oczekuje się, że do końca 2021 r. liczba ta wzrośnie o kolejny bilion. Wzrost ten wykracza jednak poza handel detaliczny i elektroniczny. Udział urządzeń przenośnych w całkowitym ruchu online nadal rośnie dużo szybciej niż udział komputerów stacjonarnych, ponieważ w wielu krajach telefony komórkowe są bardziej dostępne niż komputery stacjonarne. W coraz większej liczbie przypadków aplikacja na system iOS lub Android stanowi punkt początkowy i punkt końcowy procesu zakupowego klienta. Ze względu na mały wyświetlacz, wskaźnik porzucania koszyka jest jednak wyższy w przypadku urządzeń przenośnych (87%) niż w przypadku komputerów stacjonarnych/laptopów (73%).

Optymalizacja doświadczeń klienta na urządzeniach przenośnych jest zatem ważniejsza niż kiedykolwiek, ale biorąc pod uwagę ograniczenia związane z aplikacjami na iOS i Androida, w celu jej przeprowadzenia niezbędne są odpowiednie narzędzia.

Aby dowiedzieć się więcej, obejrzyj poniższy film.

Segmentacja odwiedzających i grupowanie segmentów w testach wielowariantowych

Jedno doświadczenie może nie być odpowiednie dla wszystkich odwiedzających lub odbiorców. Ważną zaletą testów wielowariantowych jest możliwość zidentyfikowania segmentów osób odwiedzających i ich zachowań/interakcji w obliczu różnych doświadczeń. Na przykład można stwierdzić, że nowi odwiedzający preferują inne doświadczenia niż odwiedzający powtarzający się, co może przełożyć się na poprawę wyników sprzedaży. Bardziej zaawansowane systemy automatycznie zasugerują segmentację odwiedzających, aby skrócić czas analizy wyników testów w odniesieniu do setek atrybutów odwiedzających.

Targetowanie różnych doświadczeń dla różnych segmentów odwiedzających znacznie zwiększy wartość współczynnika konwersji. Targetowanie powinno uwzględniać bogactwo atrybutów odwiedzających, od atrybutów środowiskowych po atrybuty behawioralne, a także atrybuty klientów z innych systemów, takich jak system CRM.

Test porównawczy albo test wielowariantowy? Oto jest pytanie.

Test porównawczy jest świetnym narzędziem, ale jeśli są dostępne do wyboru więcej niż dwie opcje, które muszą być przetestowane w celu określenia najlepszych doświadczeń odbiorcy, prawdopodobnie lepsze będzie wykonanie testu wielowariantowego.

Testy dotyczące większej liczby opcji niż dwie zajmują więcej czasu i nie ujawniają żadnych informacji na temat interakcji między zmiennymi na pojedynczej stronie. Testy porównawcze są jednak bardzo łatwe do zrozumienia i mogą być dobrym sposobem na przedstawienie koncepcji optymalizacji stron internetowych i kampanii sceptykom lub na pokazanie wymiernego wpływu zmian w projekcie.

Testy wielowariantowe są niezwykle przydatne w przypadku zasobów (strona internetowa lub wiadomość e-mail), w przypadku których należy porównać kilka elementów, na przykład różne kombinacje obrazów i chwytliwych tytułów. Im jednak więcej opcji, tym potrzebny jest większy ruch. Czasami zatem nie warto testować wszystkich elementów na stronie. Gdy zbyt wiele elementów na stronie ulega zmianom, powstaje ogromna liczba możliwych kombinacji. Na przykład wykonanie testu na dziesięciu różnych elementach może prowadzić do ponad 3,5 mln permutacji. Większość witryn internetowych i kampanii e-mailowych nie będzie zdolna do wygenerowania ruchu potrzebnego do pomyślnego wykonania takiego testu.