A/B Testing

Was sind A/B-Tests?

Definition von A/B-Tests

A/B-Tests – auch Split-Tests oder Bucket-Tests genannt – vergleichen die Leistung von zwei Inhaltsversionen, um zu ermitteln, welche Version die Besucher/Zuschauer mehr anspricht. Es testet eine Kontrollversion (A) gegen eine Variante (B), um zu messen, welche basierend auf Ihren Schlüsselkennzahlen am erfolgreichsten ist. Als Praktiker des digitalen Marketings, der entweder B2B-Marketing oder B2C-Marketing betreibt, stehen Ihnen folgende Optionen für die Durchführung von A/B-Tests zur Verfügung:

  • Website-A/B-Tests (Copy, Bilder, Farbdesigns, Handlungsaufrufe), die den Seiten-Traffic auf zwei Versionen aufteilen – A und B. Sie überwachen Besucheraktionen, um festzustellen, welche Version die höchste Anzahl von 1) Konvertierungen oder 2) Besuchern liefert, die die gewünschte Aktion ausgeführt haben.
  • E-Mail-Marketing-A/B-Tests (Betreffzeile, Bilder, Handlungsaufrufe), die Empfänger in zwei Segmente aufteilen, um festzustellen, welche Version eine höhere Öffnungsquote generiert.
  • Von Editoren oder von einem Algorithmus basierend auf dem Benutzerverhalten ausgewählte Inhalte, um zu sehen, welcher zu mehr Engagement führt.

Unabhängig worauf der Fokus gelegt wird, können Sie mit A/B-Tests ermitteln, wie Sie die beste Customer Experience (CX) bieten.

Außerdem gibt es neben A/B-Tests auch A/B/N-Tests, wobei das „N“ für „unbekannt“ steht. Allerdings gibt es bei A/B/N-Tests mehr als nur zwei Varianten.

Wann und warum sollten Sie A/B-Tests durchführen

A/B-Tests bieten die meisten Vorteile, wenn sie kontinuierlich ausgeführt werden. Regelmäßige Tests liefern eine Reihe von Empfehlungen zur Feinabstimmung der Performance. Und kontinuierliches Testen ist möglich, denn die verfügbaren Testmöglichkeiten sind nahezu unbegrenzt.

Wie schon oben erwähnt, können A/B-Tests verwendet werden, um nahezu jedes digitale Marketing-Asset zu bewerten, einschließlich:

  • E-Mails
  • Newsletter
  • Werbung
  • Textnachrichten
  • Seiten von Websites
  • Komponenten auf Webseiten
  • Mobile Apps

A/B-Tests spielen im Kampagnenmanagement eine bedeutende Rolle, da Sie mit ihnen feststellen können, was funktioniert und was nicht. Dies zeigt, was Ihre Zielgruppe interessiert und worauf sie reagiert. Mithilfe von A/B-Tests können Sie sehen, welches Element Ihrer Marketingstrategie die größte Auswirkung hat, welches verbessert werden muss und welches Element vollständig gelöscht werden muss.

Nachdem wir nun darüber gesprochen haben, warum Sie A/B-Tests durchführen sollten, betrachten wir nun zwei Kriterien in Bezug auf die Frage, wann Sie diese Tests einsetzen sollten.

  • Sie haben eine digitale Marketingkampagne oder ein Element, das nicht optimal funktioniert und daher die Erwartungen nicht erfüllt. Mithilfe von A/B-Tests können Sie das Performanceproblem isolieren und die Performance steigern.
  • Sie sind im Begriff, etwas Neues zu starten (Webseite, E-Mail-Kampagne) und sind sich nicht sicher, welcher Ansatz (z. B. Messaging) am besten funktioniert. Der proaktive Einsatz von A/B-Tests ermöglicht es Ihnen, die Performance von zwei verschiedenen Ansätzen zu vergleichen und gegenüberzustellen, sodass Sie den besseren identifizieren können.

Vorteile der Ausführung von A/B-Tests auf Ihrer Website

Website-A/B-Tests bieten eine hervorragende Möglichkeit, quantitativ die Taktiken zu bestimmen, die bei den Besuchern Ihrer Website am besten funktionieren. Möglicherweise validieren Sie einfach nur nach Gefühl, oder Ihre Vermutung könnte sich als falsch erwiesen haben. Hier gibt es jedoch immer noch eine positive Seite, denn Sie werden nicht an etwas festhalten, das nicht funktioniert. Sie werden mehr Besucher anziehen, die mehr Zeit auf Ihrer Website verbringen und auf mehr Links klicken.

Durch das Testen weitverbreiteter Website-Komponenten/-Abschnitte können Sie Bestimmungen treffen, die nicht nur die Testseite, sondern auch andere ähnliche Seiten verbessern.

Vorgehensweise bei A/B-Tests

Das Ausführen von A/B-Tests ist nicht schwer, jedoch müssen Marketingspezialisten einem klar definierten Prozess folgen. Hier sind diese neun grundlegenden Schritte:

Die grundlegenden Schritte zur Planung und Durchführung eines A/B-Tests

  • 1. Performancebaseline messen und prüfen
  • 2. Testziel anhand der Performancebaselinie festlegen
  • 3. Hypothese darüber entwickeln, wie Ihr Test die Performance steigern wird
  • 4. Testziele bzw. -orte identifizieren
  • 5. A- und B-Versionen zum Testen erstellen
  • 6. QS-Tool zur Validierung des Setups verwenden
  • 7. Test ausführen
  • 8. Ergebnisse mithilfe von Web- und Testanalysen verfolgen und bewerten
  • 9. Erkenntnisse anwenden, um die Kundenerfahrung zu verbessern

Wenn Sie die obigen Schritte mit klaren Zielen und einer soliden Hypothese befolgen, können Sie häufige Fehler bei A/B-Tests vermeiden.

Tests liefern Daten und empirische Beweise, mit denen Sie die Performance verfeinern und verbessern können. Mit dem, was Sie aus A/B-Tests gelernt haben, können Sie eine größere Wirkung erzielen, eine ansprechendere Customer Experience (CX) schaffen, überzeugendere Copy schreiben und fesselndere Grafiken erstellen. Durch die kontinuierliche Optimierung werden Ihre Marketingstrategien effektiver, steigern die Kapitalrendite (ROI) und den Umsatz.

Beispiele für A/B-Tests

Hier finden Sie eine Liste digitaler Marketingelemente, die getestet werden können, umfasst eines oder mehrere der folgenden Elemente:

  • Navigationslinks
  • Handlungsaufrufe (CTAs)
  • Design/Layout
  • Copy
  • Inhaltsangebot
  • Überschrift
  • E-Mail-Betreffzeile
  • Freundliche E-Mail-„Von“-Adresse
  • Bilder
  • Social Media-Schaltflächen (oder andere Schaltflächen)
  • Logos und Taglines/Slogans

Ihre Geschäftsziele, Performanceziele und Baseline sowie der aktuelle Mix aus Marketingkampagnen helfen Ihnen dabei, die besten Kandidaten zum Testen zu ermitteln.

Die Rolle von Analysen in Website-A/B-Tests

Während des gesamten Lebenszyklus eines A/B-Tests bilden Analysen das Kernstück von Empfehlungen zur Planung, Ausführung und Performance.

Die Entwicklung einer Testhypothese erfordert eine starke Grundlage für Analysen. Hierfür müssen Sie die aktuelle Performance und die aktuelle Traffic-Menge verstehen. In Bezug auf (z. B.) Webanalyse gibt es einige wichtige Datenpunkte, die Ihr Analysesystem während des Planungsprozesses bereitstellt, einschließlich:

  • Traffic (Seitenansichten, eindeutige Besucher) zur Seite, Komponente oder einem anderen Element, das für Testszenarien geprüft wird
  • Engagement (aufgewendete Zeit, Seiten pro Besuch, Absprungrate)
  • Konvertierungen (Klicks, Registrierungen, Fallout)
  • Performance im Zeitverlauf

Ohne diese Grundlage in Analysen wird jedes Testszenario oder jede Performancebewertung wahrscheinlich auf persönlichen Vorlieben oder Eindrücken basieren. Tests beweisen oft, wie falsch Sie mit diesen Annahmen liegen.

Nach dem Start eines A/B-Tests spielt die Analyse ebenso eine zentrale Rolle. Mit einem Dashboard werden Performancekennzahlen in Echtzeit überwacht, um zu prüfen, ob der Test wie erwartet ausgeführt wird und um auf Anomalien oder unerwartete Ergebnisse zu reagieren. Dies kann das Stoppen, Anpassen und das Neustarten des Tests umfassen. Außerdem können Sie so sicherstellen, dass die Leistungsdaten alle Änderungen sowie den Zeitpunkt dieser Änderungen widerspiegeln. Mit dem Performance-Dashboard können Sie bestimmen, wie lange der Test ausgeführt wird und ob die statistische Signifikanz erreicht wird.

Nach Abschluss des Tests sind Analysen die Grundlage für die Bestimmung der nächsten Schritte. Sie können beispielsweise verwendet werden, um zu entscheiden, ob der Testsieger zur Standarddarstellung auf der getesteten Website-Seite wird und ob dies zu einem permanenten Standard wird. Marketingspezialisten sollten eine wiederverwendbare Analysevorlage entwickeln, um Testergebnisse zu übermitteln, und diese Vorlage so anpassen, dass sich spezifische Elemente eines bestimmten Tests widerspiegeln.

Erfahren Sie mehr über E-Mail-A/B-Tests

Interpretation von A/B-Testergebnissen

Bei der Planung eines Tests müssen Sie Ziele festlegen, damit Sie die Ergebnisse bewerten, einen Gewinner bestimmen und Ihre Marketingkampagne und/oder Website aktualisieren können, um das Gewinnerergebnis widerzuspiegeln. In vielen Situationen wird eine Zielgruppe mit einer Kontrollgruppe vorsegmentiert, die die Gewinnerversion einer Botschaft erhält.

Die Testergebnisse geben den Erfolg eines Elements über ein anderes an, je nachdem, was Sie messen möchten, wie z. B.:

  • Anzahl der Besucher
  • Öffnungsquote
  • Click-Through-Quote
  • Registrierungen (für Newsletter usw.)
  • Abonnements

Während des Tests werden die beiden Elemente überwacht, bis ein statistisch signifikanter Messwert erreicht wird.

Konvertierungsraten können auch in Bezug auf den Umsatz gemessen werden. Sie können Verkaufszahlen zusammen mit den Auswirkungen einer Änderung auf den tatsächlichen Umsatzerlös berücksichtigen. Denken Sie daran, dass Konvertierungsraten für jede messbare Aktion erfasst werden können und nicht nur auf E-Commerce-Seiten und Verkäufe beschränkt sind. Sie können Folgendes umfassen:

  • Verkäufe
  • Generierte Leads/eingereichte Registrierungen
  • Newsletter-Registrierungen
  • Klicks auf Banneranzeigen
  • Verbrachte Zeit auf der Seite

Welchen Kennzahlen sollten Sie bei A/B-Tests Aufmerksamkeit schenken?

Die Antwort auf diese Frage hängt von Ihrer Hypothese und Ihren Zielen ab. Sie sollten sich jedoch auf Kennzahlen konzentrieren, die angeben, wie stark sich Ihre Zielgruppe mit Ihren Marketinginhalten beschäftigt.

Sehen Sie sich beim Test einer Webseite die Anzahl der einzelnen Besucher, wiederkehrenden Besucher, die Zeit, die sie auf der Seite verbringen, sowie die Absprung- und Ausstiegsraten an. Für E-Mail-Marketing möchten Sie sehen, wer die E-Mail öffnet und auf Ihre Handlungsaufrufe (CTAs) klickt.

Was ist multivariates Testen? Wie unterscheiden Sie sich von A/B-Tests?

Multivariate Tests werden oft Hand in Hand mit A/B-Tests diskutiert, daher ist es wichtig zu verstehen, was multivariate Tests sind und wie sie sich von A/B-Tests unterscheiden. Die beiden ähneln sich, jedoch gibt es deutliche Unterschiede.

Multivariate Tests testen verschiedene Inhalte für mehrere Elemente (im Vergleich zu einem einzelnen Element bei A/B-Tests) auf einer oder mehreren Website-Seiten oder E-Mail-Marketingkampagnen, um die Kombination zu ermitteln, die die höchste Konvertierungsrate ergibt.

Bei multivariaten Tests wird ein statistisches Modell zum Testen von Kombinationen von Änderungen angewendet, die zu einer insgesamt gewinnbringenden Erfahrungs- und Website-Optimierung führen. Nachstehend sind einige wichtige Merkmale multivariater Tests aufgeführt:

1

Große Auswahl an Elementen

Multivariate Tests werden für eine Reihe von Website-/E-Mail-Änderungen durchgeführt, einschließlich aller Teile eines Angebots – wie Bilder, Text, Farbe, Schriftarten, Links und CTA-Schaltflächen – sowie Inhalt und Layout für Landingpages oder Prozesse wie der Checkout. Es ist nicht ungewöhnlich, dass es für einen multivariaten Test 50 oder mehr Kombinationen gibt.

2

Von der Hypothese zu den Ergebnissen

Multivariate Tests beginnen mit einer Hypothese zu Inhaltsänderungen, die die Konvertierungsraten verbessern könnten. Mit multivariaten Tests können Inhaltsänderungen in mehrere einzelne Elemente unterteilt werden, um Kombinationen zu ermitteln, die die höchsten Konvertierungsraten erzielen. Unabhängig davon, ob es die Benutzererfahrung geringfügig oder wesentlich ändert, kann sich beides auf die Gesamtergebnisse auswirken.

3

Konvertierungsraten

Die Konvertierungsrate ist die Rate, mit der Besucher eine gewünschte Aktion ausführen, z. B. auf ein Angebot klicken oder Produkte in ihren Warenkorb legen. Zur Auswertung des Tests werden zusätzliche Kennzahlen verwendet, z. B. der Umsatz pro Bestellung oder die Click-Through-Quote. Die Analyse teilt ihnen mit, welche Kombination von Änderungen basierend auf der Konvertierungsrate oder dem Anstieg der von Ihnen definierten Kennzahlen die besten Ergebnisse erbracht hat.

4

Kontinuierliche Optimierung

Da Sie ein Geschäftsziel definieren können, bei dem der Test die beste Besuchererfahrung ermittelt, um Ihr Ziel zu erreichen, sollten Sie die Software für einen Test automatisch die Erfahrungen optimieren lassen.

Können Sie A/B- und multivariate Tests für iOS- und Android-Apps ausführen?

Im Jahr 2020 beliefen sich mobile Apps auf 2,9 Billionen US-Dollar an E-Commerce-Ausgaben. Diese Zahl dürfte bis Ende 2021 um eine weitere Billion steigen. Und das Wachstum geht weit über Einzelhandel und E-Commerce hinaus. Der mobile Anteil am gesamten Online-Traffic wächst weiterhin viel schneller als der Desktop-Traffic, da in vielen Ländern Mobiltelefone leichter zugänglich sind als Laptops. So beginnt und endet in immer mehr Fällen eine iOS- oder Android-App den Kaufprozess des Kunden. Angesichts des kleinen Bildschirms ist die Abbruchrate im Warenkorb jedoch auf Mobilgeräten (87 Prozent) höher als auf Desktops/Laptops (73 Prozent).

Daher ist es wichtiger denn je, sicherzustellen, dass Ihre Benutzererfahrung für Mobilgeräte optimiert ist. Jedoch benötigen Sie angesichts der Einschränkungen bei iOS- und Android-Apps die richtigen Tools.

Sehen Sie sich das folgende Video an, um mehr zu erfahren.

Besuchersegmentierung und Segmentclustering bei multivariaten Tests

Möglicherweise ist eine Benutzererfahrung nicht für alle Besucher/Empfänger die richtige Option. Ein wichtiger Vorteil multivariater Tests besteht darin, Besuchersegmente zu identifizieren und herauszufinden, wie diese mit unterschiedlichen Benutzererfahrungen umgehen/interagieren. Sie können beispielsweise feststellen, dass neue Besucher eine andere Erfahrung bevorzugen als wiederkehrende Besucher – und dies kann wiederum zu besseren Gesamtergebnissen führen. Ausgereiftere Systeme schlagen automatisch eine Besuchersegmentierung vor, um die Zeit zu verkürzen, die für die Analyse der Testergebnisse mit Hunderten von Besucherattributen erforderlich ist.

Die Ausrichtung auf unterschiedliche Erfahrungen für verschiedene Besuchersegmente erhöht Ihre Konvertierungsraten erheblich. Richten Sie sie basierend auf einer Fülle von Besucherattributen aus – von Umweltattributen bis hin zu Verhalten – und binden Sie Kundenattribute aus anderen Systemen wie Ihrem CRM-System mit ein.

A/B-Tests oder multivariate Tests – Welcher Test zu welchem Zeitpunkt? Das ist hier die Frage.

Ein A/B-Test ist ein großartiges Tool, aber wenn mehr als zwei Optionen getestet werden müssen, um die „beste Erfahrung“ zu ermitteln, sollten Sie sich wahrscheinlich für einen multivariaten Test anstelle eines A/B-Tests entscheiden.

Tests mit mehr als zwei Optionen dauern länger und zeigen nichts über die Interaktion zwischen Variablen auf einer einzelnen Seite. Anderseits sind A/B-Tests jedoch sehr einfach zu verstehen und bieten die Möglichkeit die Konzepte der Website- und Kampagnenoptimierung Skeptikern näher zu bringen oder um die messbaren Auswirkungen einer Designänderung oder -optimierung zu veranschaulichen.

Multivariate Tests sind äußerst nützlich für Assets (Website-Seite oder E-Mail), bei denen mehrere Elemente verglichen werden müssen, z. B. unterschiedliche Kombinationen von Bildern und einprägsamen Titeln. Da jedoch mehr Optionen zur Verfügung stehen, ist mehr Traffic erforderlich. Deshalb sollten Sie nicht alles auf der Seite testen. Wenn sich zu viele Seitenelemente ändern, führt dies zu einer unglaublich hohen Anzahl von Kombinationen. Zum Beispiel kann ein Test mit 10 verschiedenen Elementen zu über dreieinhalb Millionen Permutationen führen. Die meisten Websites und E-Mail-Kampagnen würden Schwierigkeiten haben, den Traffic zu finden, um dies zu unterstützen.