A/B-Testing

  • 17 min
Bild von Nioveo
Nioveo
Link kopieren
Shape-gradient-c-grey

A/B-Testing ist ein experimentelles Verfahren zum Vergleich verschiedener Versionen einer Website, App oder eines anderen digitalen Angebots. Nutzer werden zufällig auf mindestens zwei Varianten verteilt. Anschließend wird anhand vorher festgelegter Kennzahlen gemessen, wie sich die Varianten auf das Verhalten der Nutzer auswirken.

Die bestehende Version wird als Variante A oder Kontrollvariante bezeichnet. Die veränderte Version bildet Variante B. Der gleichzeitige Vergleich beider Gruppen trennt die Wirkung einer Änderung von anderen Einflüssen wie Wochentagen, Werbekampagnen oder saisonalen Schwankungen.

A/B-Tests werden im Online-Marketing, in der Conversion Rate Optimierung (CRO) und in der Entwicklung digitaler Produkte eingesetzt. Zu den Testgegenständen gehören Überschriften, Formulare, Produktseiten, Checkout-Prozesse, E-Mails, Anzeigen, Onboarding-Abläufe und Softwarefunktionen.

Definition

Ein A/B-Test ist ein randomisiertes kontrolliertes Experiment. Randomisiert bedeutet, dass die Zuordnung zu den Varianten nach einem Zufallsverfahren erfolgt. Kontrolliert bedeutet, dass eine Variante als Vergleichsbasis dient.

Ein einfaches Beispiel ist der Text eines Buttons auf einer Landingpage

Variante Buttontext Besucher Klicks Klickrate
A Mehr erfahren 10.000 500 5%
B Kostenlos testen 10.000 600 6%

Variante B erreicht in diesem Beispiel eine Klickrate von 6%, Variante A eine Klickrate von 5%. Der Unterschied beträgt einen Prozentpunkt. Im Verhältnis zur Ausgangsrate von 5% entspricht das einem relativen Uplift von 20%.

Das Ergebnis allein zeigt noch nicht, ob die Änderung tatsächlich für den Unterschied verantwortlich ist. Auch zufällige Schwankungen erzeugen unterschiedliche Messwerte. Die statistische Auswertung bestimmt, wie groß diese Unsicherheit ist.

Unterschied zum Vorher-Nachher-Vergleich

Bei einem Vorher-Nachher-Vergleich wird eine Kennzahl vor und nach einer Änderung betrachtet. Steigt die Conversion Rate einer Website beispielsweise von 4 auf 5%, bleibt die Ursache zunächst offen. Zwischen den beiden Zeiträumen verändern sich unter Umständen die Zusammensetzung des Traffics, laufende Werbekampagnen, Preise oder die saisonale Nachfrage.

Beim A/B-Test laufen beide Varianten zur selben Zeit. Nutzer gelangen per Zufallsverfahren in Gruppe A oder Gruppe B. Zeitabhängige Einflüsse betreffen damit beide Gruppen.

Diese parallele Durchführung ist ein wesentlicher Grund für die höhere Aussagekraft kontrollierter Experimente.

Ablauf eines A/B-Tests

Ein A/B-Test beginnt mit einer konkreten Beobachtung oder Fragestellung. Als Grundlage dienen beispielsweise Webanalyse, Funnel-Daten, Kundenfeedback, Support-Anfragen, Nutzerinterviews oder Usability-Tests.

Ein Online-Shop stellt etwa fest, dass viele Besucher Produktseiten aufrufen, aber nur ein kleiner Teil den Checkout beginnt. Eine Analyse zeigt, dass Versandkosten erst spät im Bestellprozess sichtbar werden.

Daraus entsteht eine Hypothese:

Die Angabe der Versandkosten auf der Produktseite erhöht die Zahl der begonnenen Checkouts.

Diese Aussage enthält eine konkrete Änderung und ein messbares Ergebnis. Im Experiment sieht Variante A weiterhin die bisherige Produktseite. Variante B enthält zusätzlich die Versandkosten.

Hypothese beim AB-Testing

Eine Hypothese beschreibt den erwarteten Zusammenhang zwischen einer Änderung und einer Zielgröße.

Die Aussage

Die Produktseite braucht ein übersichtlicheres Design.

eignet sich nicht als Testhypothese. Weder die Änderung noch das erwartete Ergebnis sind eindeutig bestimmt.

Präziser ist:

Eine kürzere Produktbeschreibung erhöht den Anteil der Besucher, die das Produkt in den Warenkorb legen.

Aus dieser Hypothese ergeben sich direkt die Testvariante und die passende Kennzahl.

Zielmetriken

Vor dem Start des Tests steht fest, anhand welcher Kennzahl die Varianten verglichen werden. Diese Kennzahl wird als primäre Metrik bezeichnet.

Im E-Commerce sind das beispielsweise:

  • Käufe
  • Checkout-Abschlüsse
  • Umsatz pro Besucher
  • Hinzufügen zum Warenkorb.

Bei SaaS-Produkten stehen unter anderem Registrierungen, Aktivierungen, Nutzung bestimmter Funktionen oder Upgrades im Mittelpunkt. Lead-Websites messen beispielsweise abgeschlossene oder qualifizierte Anfragen.

Neben der primären Metrik werden weitere Kennzahlen erfasst, wenn sie für die Bewertung des Ergebnisses relevant sind.

Steigt in einem Test die Bestellrate, während gleichzeitig deutlich mehr Bestellungen storniert werden, reicht die Bestellrate allein nicht für die Bewertung aus. Die Stornierungsquote dient in diesem Fall als Guardrail-Metrik. Sie zeigt, ob die Verbesserung der Hauptkennzahl mit einer unerwünschten Nebenwirkung verbunden ist.

Kontrollgruppe und Testgruppe

Die Kontrollgruppe sieht die bisherige Variante. Die Testgruppe sieht die veränderte Variante. Bei einem Test mit zwei Versionen wird der Traffic oft zu gleichen Teilen auf beide Gruppen verteilt. Bei 100.000 geeigneten Nutzern erhalten damit ungefähr 50.000 Nutzer Variante A und 50.000 Nutzer Variante B.

Eine unterschiedliche Verteilung ist ebenfalls ein mögliches Testdesign. Hierbei erhält eine neue Funktion beispielsweise zunächst 10% des Traffics, während 90% bei der bestehenden Version bleiben. Eine ungleiche Verteilung reduziert die Zahl der Beobachtungen in der kleineren Gruppe und erhöht dadurch den Datenbedarf.

Randomisierung

Die zufällige Zuweisung der Nutzer zu den Varianten heißt Randomisierung. Sie verhindert eine systematische Auswahl der Gruppen. Ohne Randomisierung könnten Eigenschaften der Nutzer das Ergebnis verzerren.

Ein Vergleich von Variante A auf Desktop-Geräten mit Variante B auf Smartphones misst beispielsweise gleichzeitig zwei Unterschiede: die getestete Änderung und den Gerätetyp. Eine eindeutige Zuordnung des Ergebnisses zur Testvariante ist dann nicht mehr gegeben.

Bei einer zufälligen Zuweisung entstehen mit wachsender Stichprobe vergleichbare Gruppen. Unterschiede bei Geräten, Traffic-Quellen, Kaufinteresse und anderen Merkmalen verteilen sich ohne systematische Bevorzugung einer Variante.

Stabile Zuordnung

Bei nutzerbasierten Tests erhält derselbe Nutzer während des Experiments dieselbe Variante. Ein Nutzer, der beim ersten Besuch Variante A und beim nächsten Besuch Variante B sieht, wurde beiden Testbedingungen ausgesetzt. Das erschwert die Zuordnung späterer Conversions.

Testing-Plattformen speichern die Variantenzuweisung deshalb je nach technischer Umsetzung über Cookies, Nutzer-IDs, Gerätekennungen oder serverseitige Identifikatoren.

Stichprobengröße

Ein A/B-Test benötigt genügend Beobachtungen, um einen relevanten Unterschied von zufälligen Schwankungen zu unterscheiden. Eine feste Mindestzahl an Besuchern existiert nicht. Der Datenbedarf hängt vor allem von der Ausgangsrate und der Größe des gesuchten Effekts ab.

Eine Website besitzt beispielsweise eine Conversion Rate von 10%. Zwei unterschiedliche Fragestellungen lauten:

  • Steigt die Conversion Rate von 10 auf 11%?
  • Steigt die Conversion Rate von 10 auf 10,1%?

Der zweite Unterschied ist wesentlich kleiner. Entsprechend mehr Beobachtungen sind nötig, um ihn zuverlässig von zufälligen Schwankungen zu unterscheiden.

Für die Planung werden unter anderem vier Größen verwendet:

  • Baseline Conversion Rate: Die bisherige Conversion Rate der Kontrollvariante.
  • Minimum Detectable Effect (MDE): Der kleinste Unterschied, für den der Test ausgelegt wird.
  • Signifikanzniveau: Die festgelegte Schwelle für einen statistischen Fehlalarm.
  • Statistische Power: Die Wahrscheinlichkeit, einen Effekt der geplanten Größenordnung zu erkennen.

Aus diesen Werten ergibt sich die erforderliche Stichprobengröße.

Testdauer

Die benötigte Laufzeit hängt von der geplanten Stichprobe und dem verfügbaren Traffic ab. Eine Website mit mehreren hunderttausend Besuchern pro Tag erreicht eine bestimmte Stichprobe schneller als eine B2B-Website mit wenigen hundert Besuchern pro Woche.

Auch regelmäßige Schwankungen im Nutzerverhalten gehören zum Testzeitraum. Ein Online-Shop verzeichnet beispielsweise an Wochenenden ein anderes Kaufverhalten als an Werktagen. Bei einem B2B-Angebot liegt der Großteil der Nutzung unter Umständen von Montag bis Freitag.

Eine allgemeine Laufzeit von sieben, 14 oder 30 Tagen gilt deshalb nicht für jeden A/B-Test.

Conversion Rate und Uplift

Die Conversion Rate beschreibt den Anteil der Nutzer, die eine festgelegte Zielhandlung ausführen. Bei 1.000 Käufen aus 20.000 Besuchen beträgt die Conversion Rate:

1.000 / 20.000 = 5%

Erzielt Variante B bei ebenfalls 20.000 Besuchen 1.100 Käufe, beträgt ihre Conversion Rate 5,5%. Der Unterschied lässt sich absolut und relativ ausdrücken.

Absolute Veränderung:

5,5% − 5,0% = 0,5 Prozentpunkte

Relative Veränderung:

(5,5% − 5,0%) / 5,0% = 10%

Die Conversion Rate ist damit um 0,5 Prozentpunkte beziehungsweise relativ um 10% gestiegen.

Die Unterscheidung verhindert Missverständnisse. Ein Anstieg von 5 auf 6% entspricht einem Prozentpunkt, aber einem relativen Uplift von 20%.

Statistische Signifikanz

A/B-Tests arbeiten mit Stichproben. Zwei Gruppen liefern deshalb auch dann unterschiedliche Werte, wenn sich die Varianten in Wirklichkeit nicht unterscheiden.

Angenommen, beide Varianten besitzen tatsächlich eine Conversion Rate von 5%. Bei jeweils 10.000 Nutzern ergeben sich im Experiment beispielsweise 4,8% für A und 5,2% für B.

Die Statistik bewertet, wie gut ein beobachteter Unterschied mit zufälligen Schwankungen vereinbar ist.

Nullhypothese

Bei einem klassischen Hypothesentest lautet die Nullhypothese:

Zwischen Variante A und Variante B besteht kein systematischer Unterschied.

Die statistische Analyse prüft die beobachteten Daten unter dieser Annahme.

p-Wert

Der p-Wert gibt an, wie ungewöhnlich das gemessene Ergebnis unter Annahme der Nullhypothese ist. Ein kleiner p-Wert spricht gegen die Nullhypothese. Als Signifikanzniveau wird oft α = 0,05 festgelegt. Ein p-Wert unter 0,05 führt im entsprechenden Testverfahren zur Verwerfung der Nullhypothese.

Ein p-Wert von 0,05 bedeutet nicht, dass die Testvariante mit 95-prozentiger Wahrscheinlichkeit besser ist. Diese verbreitete Interpretation ist falsch.

Konfidenzintervall

Ein Konfidenzintervall beim AB-Testing beschreibt die Unsicherheit der geschätzten Effektgröße. Ein Test ergibt beispielsweise einen Uplift von 8% und ein Konfidenzintervall von 2 bis 14%. Die Daten sprechen damit für einen positiven Effekt, dessen genaue Größe noch unsicher ist. Ein breites Intervall steht für eine ungenaue Schätzung. Ein schmales Intervall steht für eine präzisere Schätzung.

Für die Bewertung eines Experiments liefert das Konfidenzintervall deshalb mehr Information als die reine Einteilung in „signifikant“ und „nicht signifikant“.

Statistische und wirtschaftliche Relevanz

Statistische Signifikanz sagt nichts darüber aus, ob ein Unterschied für das Unternehmen relevant ist. Eine Website mit mehreren Millionen Nutzern erzielt beispielsweise einen Anstieg der Conversion Rate von 5,00 auf 5,01%. Bei einer sehr großen Stichprobe erreicht selbst diese kleine Differenz statistische Signifikanz. Der wirtschaftliche Nutzen bleibt davon getrennt.

Eine Veränderung von 5 auf 6% besitzt dagegen eine wesentlich größere wirtschaftliche Bedeutung. Bei einer kleinen Stichprobe bleibt die genaue Größe des Effekts trotzdem unsicher.

Die Bewertung eines Testergebnisses umfasst deshalb drei Punkte:

  • Größe des gemessenen Effekts
  • Statistische Unsicherheit
  • Wirtschaftliche Bedeutung.

Vorzeitiger Testabbruch und Peeking

Zu Beginn eines Experiments schwanken die Messwerte stärker, weil erst wenige Beobachtungen vorliegen. Am ersten Tag erreicht Variante B beispielsweise 7%, Variante A 5%. Mit wachsender Stichprobe verringert sich der Abstand oder dreht sich vollständig um.

Beim klassischen Hypothesentest verändert das ständige Prüfen der Ergebnisse die statistischen Eigenschaften des Tests, wenn das Experiment genau beim ersten gewünschten Ergebnis beendet wird. Dieses Verhalten wird als Peeking bezeichnet.

Für laufende Zwischenanalysen existieren sequentielle Testverfahren. Ihre Berechnung berücksichtigt die wiederholte Auswertung bereits im statistischen Modell.

A/B-Test, A/B/n-Test und multivariater Test

Der Begriff A/B-Testing wird teilweise auch für Experimente mit mehr als zwei Varianten verwendet. Methodisch unterscheiden sich mehrere Testformen.

A/B-Test

Der klassische A/B-Test vergleicht zwei Varianten:

  • A: Kontrollvariante
  • B: Testvariante

A/B/n-Test

Ein A/B/n-Test umfasst mehr als zwei Varianten.

Beispielsweise werden vier Überschriften verglichen:

  • A: bestehende Überschrift
  • B: neue Überschrift 1
  • C: neue Überschrift 2
  • D: neue Überschrift 3

Der verfügbare Traffic verteilt sich auf vier Gruppen. Bei gleicher Gesamtbesucherzahl stehen damit weniger Beobachtungen pro Variante zur Verfügung.

Auch die statistische Auswertung verändert sich, weil mehrere Varianten gleichzeitig miteinander verglichen werden.

Multivariater Test

Ein multivariater Test untersucht mehrere Elemente und ihre Kombinationen.

Zwei Überschriften und zwei Buttontexte ergeben vier Kombinationen:

Button A Button B
Überschrift A Kombination 1 Kombination 2
Überschrift B Kombination 3 Kombination 4

Damit wird nicht nur eine komplette Variante mit einer anderen verglichen. Die Analyse untersucht zusätzlich, welchen Beitrag einzelne Elemente und deren Zusammenspiel zum Ergebnis leisten.

Mit jeder zusätzlichen Variable steigt die Zahl der Kombinationen. Multivariate Tests benötigen deshalb deutlich mehr Daten als einfache A/B-Tests.

Split-URL-Test

Bei einem Split-URL-Test liegen die Varianten unter unterschiedlichen URLs.

Die ursprüngliche Seite befindet sich beispielsweise unter:

example.de/produkt

Die Testversion liegt unter:

example.de/produkt-neu

Der Traffic wird zwischen beiden URLs verteilt. Split-URL-Tests werden vor allem für größere Veränderungen verwendet, beispielsweise für einen komplett neuen Checkout oder ein umfangreiches Redesign. Beim klassischen clientseitigen A/B-Test bleibt die URL dagegen unverändert und die Variante wird innerhalb derselben Seite erzeugt.

A/A-Test

Bei einem A/A-Test erhalten beide Gruppen dieselbe Variante. Der Test prüft nicht die Wirkung einer Änderung, sondern die korrekte Funktion der Testumgebung. Da beide Gruppen dieselbe Variante erhalten, verursacht die getestete Variante keinen Unterschied zwischen den Gruppen.

Treten dennoch auffällige Abweichungen bei den Ergebnissen auf, weisen diese auf Fehler bei der Gruppenzuweisung, der Datenerfassung oder der technischen Auslieferung hin.

A/A-Tests werden deshalb zur Qualitätskontrolle von Testing-Systemen eingesetzt.

Multi-Armed Bandit

Ein Multi-Armed-Bandit-Verfahren verändert die Traffic-Verteilung während des Experiments. Ein klassischer A/B-Test hält die festgelegte Verteilung über den Test hinweg stabil. Ein Bandit-Algorithmus verteilt dagegen schrittweise mehr Nutzer auf die Variante, die nach den bisher gesammelten Daten besser abschneidet.

Damit verfolgt das Verfahren ein anderes Ziel. Beim klassischen A/B-Test steht die möglichst klare Messung des Effekts im Mittelpunkt. Beim Multi-Armed Bandit steht zusätzlich die laufende Optimierung der Traffic-Verteilung im Vordergrund.

Client-side und Server-side Testing

A/B-Tests unterscheiden sich auch nach der technischen Ebene, auf der die Varianten erzeugt werden.

Client-side Testing

Beim Client-side Testing wird die Variante im Browser des Nutzers erzeugt. Ein JavaScript-Skript entscheidet, welche Version angezeigt wird, und verändert die entsprechenden Elemente auf der Seite.

Typische Testgegenstände sind:

  • Überschriften
  • Texte
  • Bilder
  • Buttons
  • Formulare
  • Navigation
  • Seitenelemente
  • Layouts.

Clientseitige Tools enthalten oft visuelle Editoren, über die sich Varianten ohne direkte Änderungen am Quellcode erstellen lassen. Ein technisch schlecht eingebundener Test erzeugt unter Umständen einen sichtbaren Wechsel zwischen Original und Testvariante. Dieser Effekt wird als Flickering bezeichnet.

Server-side Testing

Beim Server-side Testing erfolgt die Variantenzuweisung auf dem Server oder innerhalb der Anwendungslogik. Damit werden auch Funktionen getestet, die nicht nur die sichtbare Oberfläche betreffen. Dazu gehören beispielsweise:

  • Suchalgorithmen
  • Produktempfehlungen
  • Sortierlogiken
  • Checkout-Abläufe
  • Onboarding-Prozesse
  • APIs
  • Neue Softwarefunktionen.

Serverseitige Experimente sind eng mit Feature Flags verbunden. Eine Feature Flag steuert, welche Nutzer eine bestimmte Funktion erhalten. Wird die Zuweisung mit einer experimentellen Messung verbunden, entsteht ein Feature-Experiment.

Sample Ratio Mismatch

Ein Sample Ratio Mismatch (SRM) liegt vor, wenn die beobachtete Verteilung der Nutzer deutlich von der geplanten Verteilung abweicht. Bei einem geplanten 50/50-Test mit 100.000 Nutzern wären ungefähr 50.000 Nutzer pro Gruppe zu erwarten. Eine Verteilung von 40.000 zu 60.000 stellt eine starke Abweichung dar.

Zu den Ursachen eines SRM gehören Fehler in der Traffic-Zuweisung, Trackingausfälle, unterschiedliche technische Fehler zwischen den Varianten und fehlerhafte Filterregeln.

Ein SRM stellt die Qualität der Testdaten infrage. Die Ursache wird deshalb vor der Auswertung des eigentlichen Variantenvergleichs geklärt.

Multiple Testing

Mit der Zahl statistischer Vergleiche steigt auch die Wahrscheinlichkeit zufälliger auffälliger Ergebnisse. Ein Experiment besitzt beispielsweise eine primäre Metrik. Nach Abschluss werden zusätzlich 30 weitere Kennzahlen und 20 Nutzergruppen untersucht. Unter so vielen Vergleichen treten allein durch Zufall statistisch auffällige Unterschiede auf. Dieses Problem wird als Multiple Testing bezeichnet.

Vorab festgelegte Metriken und Segmenthypothesen begrenzen die Zahl nachträglicher Vergleiche. Für größere Experimentdesigns stehen zusätzlich statistische Korrekturverfahren zur Verfügung.

Segmentierung

Ein Gesamtergebnis beschreibt den durchschnittlichen Effekt innerhalb der untersuchten Nutzergruppe. Einzelne Segmente reagieren unter Umständen unterschiedlich. Eine neue Navigation steigert beispielsweise die Conversion Rate auf Smartphones, während sie auf Desktop-Geräten schlechter abschneidet. Im Gesamtergebnis gleichen sich beide Effekte teilweise aus.

Typische Segmente sind:

  • Mobilgeräte und Desktop
  • neue und wiederkehrende Nutzer
  • Neu- und Bestandskunden
  • Traffic-Quellen
  • Länder
  • eingeloggte und nicht eingeloggte Nutzer.

Für belastbare Aussagen benötigen auch die einzelnen Segmente eine ausreichende Datenbasis. Nachträglich untersuchte Segmente unterliegen außerdem dem Problem des multiplen Testens. Vor dem Experiment festgelegte Segmenthypothesen besitzen deshalb eine höhere Aussagekraft als zufällig entdeckte Unterschiede.

Anwendungsbereiche

Websites und Landingpages

Auf Websites werden unter anderem Überschriften, Formulare, Buttons, Navigationen, Produktinformationen und komplette Landingpages getestet. Als Zielgröße dienen beispielsweise Klicks, Registrierungen, Anfragen oder Käufe.

E-Commerce

Im E-Commerce werden A/B-Tests auf Produktseiten, im Warenkorb und im Checkout eingesetzt. Testgegenstände sind beispielsweise Lieferinformationen, Produktdarstellung, Filter, Sortierung, Zahlungsabläufe und Empfehlungslogiken.

Neben der Conversion Rate spielen Umsatz, durchschnittlicher Bestellwert, Retouren und Stornierungen eine Rolle.

E-Mail-Marketing

Bei E-Mails werden unter anderem Betreffzeilen, Inhalte, Absendernamen und Call-to-Actions verglichen. Die Wahl der Zielmetrik verändert die Aussage des Tests. Eine Betreffzeile mit höherer Öffnungsrate erzeugt nicht zwangsläufig mehr Käufe.

Für eine Verkaufskampagne liegt deshalb der Umsatz näher am eigentlichen Geschäftsziel als die Öffnungsrate.

Digitale Produkte

Produktteams verwenden A/B-Tests für Onboarding-Prozesse, neue Funktionen, Suchsysteme, Empfehlungen oder Änderungen an Benutzeroberflächen.

Über Feature Flags werden neue Funktionen nur an einen Teil der Nutzer ausgeliefert. Die anschließende Messung zeigt, wie sich die Funktion auf vorher definierte Produktkennzahlen auswirkt.

A/B-Testing und CRO

A/B-Testing ist ein Bestandteil der Conversion Rate Optimierung (CRO). CRO umfasst zusätzlich die Analyse bestehender Daten, Nutzerforschung, Hypothesenentwicklung und die Priorisierung von Verbesserungen.

Ein typischer Ablauf beginnt mit einer Beobachtung. Analytics-Daten zeigen beispielsweise eine hohe Abbruchrate im Checkout. Nutzerinterviews oder Session Recordings liefern Hinweise auf die Ursache. Daraus entsteht eine konkrete Hypothese, die anschließend im A/B-Test überprüft wird.

Der Test beantwortet damit eine klar abgegrenzte Frage innerhalb eines größeren Optimierungsprozesses.

A/B-Testing und Usability-Tests

A/B-Test und Usability-Test untersuchen unterschiedliche Aspekte des Nutzerverhaltens. Ein Usability-Test beobachtet, wie Nutzer mit einer Website oder Anwendung umgehen. Dabei wird beispielsweise sichtbar, dass Teilnehmer eine bestimmte Funktion nicht finden oder einen Formularschritt missverstehen.

Ein A/B-Test misst anschließend, wie sich eine konkrete Änderung auf eine Kennzahl auswirkt. Ein Usability-Test identifiziert beispielsweise ein Problem mit der Sichtbarkeit eines Kaufbuttons. Ein darauf aufbauender A/B-Test vergleicht die bisherige Platzierung mit einer neuen Position und misst den Einfluss auf die Käufe. Qualitative und quantitative Methoden ergänzen sich dadurch.

A/B-Testing und Personalisierung

Bei der Personalisierung erhalten Nutzer gezielt unterschiedliche Inhalte anhand bestimmter Merkmale oder Regeln. Ein Online-Shop zeigt beispielsweise Neukunden eine andere Startseite als Bestandskunden. Diese Zuweisung ist zunächst eine Personalisierungsregel. Ein Experiment prüft anschließend, ob die personalisierte Version für das jeweilige Segment bessere Ergebnisse erzielt.

Personalisierung beschreibt damit die gezielte Auslieferung unterschiedlicher Erlebnisse. A/B-Testing beschreibt die experimentelle Messung ihrer Wirkung.

A/B-Testing und SEO

A/B-Tests auf Websites betreffen auch die Suchmaschinenoptimierung, sobald verschiedene Inhalte oder URLs für Suchmaschinen erreichbar sind. Google erlaubt Website-Tests und beschreibt technische Regeln für deren Umsetzung.

Cloaking

Cloaking bezeichnet die gezielte Auslieferung unterschiedlicher Inhalte an Suchmaschinen und menschliche Besucher. Der Googlebot darf im Rahmen eines A/B-Tests nicht absichtlich eine andere Version erhalten als normale Nutzer. Eine solche Behandlung verstößt gegen die Spam-Richtlinien von Google.

Die zufällige Verteilung normaler Nutzer auf unterschiedliche Testvarianten stellt dagegen keinen solchen Sonderfall für den Googlebot dar.

Canonical-Tag

Bei einem Split-URL-Test existieren mehrere URLs mit ähnlichen Inhalten. Google empfiehlt für alternative Test-URLs einen Verweis mit rel="canonical" auf die ursprüngliche URL. Damit wird die Originalseite als bevorzugte URL gekennzeichnet.

Temporäre Weiterleitungen

Leitet ein URL-basierter Test Nutzer von der Originalseite auf eine Varianten-URL weiter, verwendet Google für diesen Anwendungsfall eine temporäre Weiterleitung als Referenz.

Eine 302-Weiterleitung signalisiert, dass die Umleitung nur für einen begrenzten Zeitraum besteht. Eine 301-Weiterleitung steht dagegen für eine dauerhafte Verschiebung.

Ende des Tests

Nach Abschluss des Experiments werden alternative URLs, Weiterleitungen, Testskripte und anderes testbezogenes Markup entfernt. Die dauerhaft ausgewählte Variante wird anschließend über die reguläre Website-Struktur ausgeliefert.

A/B-Testing und Datenschutz

A/B-Testing verarbeitet je nach technischer Umsetzung verschiedene Arten von Nutzungsdaten.

Dazu gehören beispielsweise:

  • Cookies
  • Gerätekennungen
  • Nutzer-IDs
  • Seitenaufrufe
  • Events
  • Conversion-Daten.

Welche datenschutzrechtlichen Anforderungen daraus entstehen, richtet sich nach der eingesetzten Technik und den tatsächlichen Datenflüssen. Eine rein serverseitige Variantenzuweisung ohne externe Trackingdienste unterscheidet sich technisch von einem clientseitigen Testing-Tool, das Cookies setzt und Daten an einen externen Anbieter überträgt.

Auch die Verbindung eines Testing-Tools mit einem Analytics-System verändert die Verarbeitung. Für die Bewertung sind deshalb die konkrete Konfiguration, die verwendeten Identifikatoren, die Empfänger der Daten und die Speicherorte relevant.

A/B-Testing-Tools

Für A/B-Testing stehen spezialisierte Website-Testing-Lösungen und umfangreiche Experimentationsplattformen zur Verfügung.

Tool Schwerpunkt
VWO Web-Testing mit A/B-, Split-URL- und multivariaten Tests sowie client- und serverseitiger Experimentation
Optimizely Web Experimentation, Feature Experimentation, Feature Flags und Personalisierung
AB Tasty Web Experimentation, Feature Experimentation, Feature Flags und Personalisierung
Adobe Target A/B/n- und multivariate Tests, Targeting, Personalisierung sowie client- und serverseitige Auslieferung
Kameleoon Web-, serverseitige und In-App-Experimentation sowie Feature Management
Statsig Product Experimentation, Experimente mit mehreren Varianten, Feature Gates und Produktanalyse
Google Optimize Seit 30. September 2023 eingestellt

Google setzt seitdem auf die Integration externer A/B-Testing-Lösungen mit Google Analytics. Ältere Anleitungen, in denen Google Optimize als aktives Testing-Tool erscheint, beziehen sich auf ein nicht mehr verfügbares Produkt.

Grenzen des A/B-Testings

A/B-Tests beantworten klar abgegrenzte Fragen über messbares Nutzerverhalten. Sie erklären nicht automatisch, warum ein bestimmtes Verhalten entsteht.

Ein Test zeigt beispielsweise, dass ein kürzeres Formular mehr Abschlüsse erzeugt. Aus dem Testergebnis allein geht nicht hervor, welcher Teil des längeren Formulars Nutzer vom Abschluss abgehalten hat. Nutzerinterviews, Usability-Tests oder andere qualitative Methoden liefern dafür zusätzliche Informationen.

Geringer Traffic begrenzt ebenfalls den Einsatz. Seltene Conversions und kleine Effekte erfordern große Stichproben und entsprechend lange Testzeiträume.

Auch das Ergebnis selbst gilt für die Bedingungen des Experiments. Eine Verbesserung während eines zweiwöchigen Tests beschreibt zunächst die Wirkung in diesem Zeitraum und für die getesteten Nutzer. Langfristige Auswirkungen auf Kundenbindung, Retouren oder Wiederkäufe gehören nur dann zum Ergebnis, wenn diese Größen ebenfalls erfasst werden.

A/B-Testing eignet sich damit besonders für konkrete Fragen wie:

Welche Auswirkung hat eine bestimmte Änderung auf eine vorher festgelegte Kennzahl?

Für Fragen nach Ursachen, Einstellungen oder Motiven der Nutzer werden zusätzliche Untersuchungsmethoden benötigt.

Quellen und weiterführende Literatur