Marketingglossar / A/B-Tests
A/B-Tests
A/B-Tests oder Split-Tests bezeichnen eine wissenschaftliche Methode zur Optimierung einer Website oder App. Dabei werden zwei Versionen der Website oder App miteinander verglichen, um festzustellen, welche davon die besseren Ergebnisse erzielt. Die Leistung wird z. B. anhand von Kennzahlen wie Kosten pro Klick, Kosten pro Videoaufruf, Kosten pro gesendeter Nachricht oder Kosten pro Meile erfasst.
Weitere Informationen über A/B-Tests:
Was sind A/B-Tests?
Im Grunde sind A/B-Tests eine wissenschaftliche Methode, bei der zwei Versionen eines Systems miteinander verglichen werden, um die erfolgreichere Variante zu ermitteln. Das Verfahren kann für Websites, Anzeigenkampagnen, Apps oder Geschäftsprozesse eingesetzt werden.
Im Prinzip ist ein A/B-Test eine randomisierte, kontrollierte Versuchsstudie, mit der die Auswirkung einer bestimmten Änderung auf die User Experience gemessen wird. Besonders häufig kommen A/B-Tests bei Landingpages zum Einsatz. Sie können aber in fast allen Bereichen eines Unternehmens angewendet werden, um Inhalte zu optimieren.
Ziel ist es herauszufinden, welche Version auf Basis bestimmter Ziele und Kennzahlen die besseren Ergebnisse erzielt (Version A oder B).
A/B-Tests mit LinkedIn Ads
Vergleichen Sie die Performance Ihrer LinkedIn Anzeigenkampagnen anhand von verschiedenen Variablen wie Anzeigenformat, Anzeigentext und -gestaltung, Zielgruppe und Anzeigenplatzierung.
Warum sind A/B-Tests wichtig?
A/B-Tests sind ein nützliches Hilfsmittel für jedes Unternehmen, das intelligentere Entscheidungen auf Basis des Nutzungsverhaltens treffen möchte. Mitarbeiter:innen aus den Abteilungen für Marketing, Produktmanagement und Analytics können damit ermitteln, welche Bereiche optimiert werden sollten, um das Geschäftsergebnis zu steigern.
Jede Entscheidung beinhaltet ein gewisses Maß an Unsicherheit. In einigen Fällen liegt die richtige Wahl auf der Hand. Wenn das Team für Webentwicklung z. B. einen Fehler auf der Website behebt, wird dies das Nutzungserlebnis kaum beeinträchtigen. Oft ist aber nicht klar, welche Auswirkungen eine bestimmte Maßnahme haben wird. Statt dem eigenen Bauchgefühl zu vertrauen, das häufig falsch liegt, können Marketer:innen einen einfachen, günstigen A/B-Test durchführen, um den voraussichtlichen Erfolg zu messen.
Unternehmen, die regelmäßig A/B-Tests durchführen, sind in der Regel innovativer, weil sie das Risiko schlechter Ideen reduzieren. Außerdem erzielen sie einen höheren ROI, da wenig aussichtsreiche Aktionen verworfen werden, bevor sie auf die gesamte Zielgruppe ausgeweitet werden.
Zuletzt profitieren Unternehmen, die viele Tests durchführen, auch von produktiveren Arbeitsbeziehungen und einer besseren Zusammenarbeit, da Entscheidungen datengestützt erfolgen und nicht auf der Basis unternehmenspolitischer Überlegungen oder persönlicher Ansichten getroffen werden.
A/B-Tests können die menschliche Kreativität nicht ersetzen. Sie erlauben es Teams aber, sich auf die Kundenrecherche, Innovation und Ideenfindung zu konzentrieren, statt wertvolle Zeit damit zu verbringen, Stakeholder:innen vom Nutzen einer Idee zu überzeugen.
Je nach Geschäftsziel können Sie mit A/B-Tests:
- Wertvolle Einblicke erhalten, um fundierte Entscheidungen zu treffen und bestehende Nutzererlebnisse zu optimieren
- User Engagement, Anzeigengestaltung, Performance der Website und Customer Experience insgesamt verbessern
- Bereiche ermitteln, die optimiert werden können, um das Geschäftsergebnis nachhaltig zu verbessern
- Hypothesen schnell und kosteneffektiv testen
- Herausfinden, was bei Kund:innen am besten ankommt, und so den ROI steigern
- Schlechte Ideen frühzeitig ermitteln und verwerfen
4 Arten von A/B-Tests
Es gibt im Wesentlichen vier Arten von A/B-Tests:
1. A/A-Test
2. A/B-Tests
3. A/B/n-Test
4. Multivariater Test
Darüber hinaus gibt es viele weitere Arten vergleichbarer Tests.
Im Bereich Machine Learning lernen z. B. Bandit-Algorithmen und evolutionäre Algorithmen adaptiv, welche Variante erfolgreicher ist, und lenken den Traffic dann in Echtzeit entsprechend. Mit Quasi-Experimenten und statistischer Versuchsplanung können Sie Variablen testen, wenn Sie diese nicht vollständig isolieren oder die Verteilung Ihrer Stichprobe nicht perfekt kontrollieren können.
A/A-Test
Bei einem A/A-Test wird die Leistung einer Website oder App anhand von zwei identischen Versionen gemessen und kontrolliert. Der Traffic wird dabei jeweils zur Hälfte auf beide Versionen verteilt. So können Marketer:innen und Produktmanagement das Nutzungsverhalten anhand der Kontrollversion besser nachvollziehen, bevor sie Änderungen vornehmen. Dieses Verfahren hilft auch, Abweichungen im Website-Traffic zu ermitteln und Randomisierungsfehler in der Versuchssoftware zu identifizieren.
A/B-Tests
Ein A/B-Test vergleicht zwei Versionen einer Website, einer App oder eines Versuchs – A („Originalversion“ oder „Kontrollversion“) und B („Variante“ oder „Challenger“). Marketer:innen können auf diese Weise das Nutzungsverhalten für beide Versionen beurteilen und sich bei ihren Entscheidungen auf die statistischen Ergebnisse aus einem t-Test- oder Chi-Quadrat-Test stützen.
A/B/n-Test
Bei einem A/B/n-Test wird der Traffic zu gleichen Teilen auf die einzelnen Versionen verteilt. Bei solchen Versuchen können mehrere Varianten getestet werden – z. B. ein in unterschiedlichen Farben unterlegter CTA für die Landingpage einer Webseite. Im Gegensatz zum standardmäßigen A/B-Test mit zwei Versionen kann ein A/B/n-Test mehrere Variablen enthalten und z. B. blau, orange, grün und schwarz vergleichen. So lassen sich die optimalen Bedingungen auf besonders effektive Weise ermitteln.
Multivariater Test
Multivariate Tests bieten die Möglichkeit, mehrere Variablen gleichzeitig zu testen. Wenn Sie z. B. eine Überschrift sowie Text und Farbe eines CTA beurteilen möchten, können Sie entweder einzelne A/B-Tests für jede Variable durchführen oder aber einen einzelnen Versuchsaufbau definieren, der die Originalversion mit den verschiedenen Varianten der einzelnen Elemente vergleicht.
Mit multivariaten Experimenten lassen sich auch Interaktionseffekte zwischen Elementen quantifizieren. Vielleicht ist es günstiger, Überschrift A mit CTA-Farbe B zu kombinieren als Überschrift B allein zu verwenden. Multivariate Tests helfen Ihnen, alle Elemente in einem gemeinsamen Kontext zu betrachten und auf dieser Basis die User Experience zu optimieren.
A/B-Tests werden häufig eingesetzt, um Kennzahlen zu verbessern. Sie können aber auch für andere Zwecke genutzt werden – etwa um sicherzustellen, dass eine Änderung keine negativen Auswirkungen hat, oder um zu prüfen, ob ein Element für das Kundenerlebnis relevant ist.
Erste Schritte mit A/B-Tests
Vor der Durchführung eines A/B-Tests sollten Sie den angestrebten Key Performance Indicator (KPI) für Ihre Website oder Ihr Produkt bestimmen und prüfen, ob der aktuelle Traffic hoch genug ist. Häufig ist der Website-Traffic zu niedrig, um ein gültiges und statistisch aussagekräftiges Experiment durchführen zu können.
A/B-Tests sind eine wissenschaftliche Methode und unterliegen deshalb statistischen Einschränkungen wie dem Gesetz der großen Zahlen. Ein A/B-Test-Rechner kann helfen, die erforderliche Effektstärke (prozentuale Verbesserung) für statistische Signifikanz zu ermitteln. (In der Regel ist dies ein p-Wert unter 0,05).
Da große Verbesserungen selten sind, ist häufig ein höheres Traffic-Volumen erforderlich, um kleinere Veränderungen zu erfassen. Je höher der Traffic, desto einfacher ist es, kleinere Gewinne zu erkennen und A/B-Tests durchzuführen.
Außer einem ausreichend hohen Traffic-Volumen benötigen Marketer:innen für aussagekräftige A/B-Tests Technologie und Personal.
Technologie
Voraussetzung für einen A/B-Test ist die richtige Mess- und Versuchstechnologie. Die meisten Anzeigentools und Systeme für das Kampagnenmanagement (CMS) nutzen Analysefunktionen für das User- und Conversion-Tracking, während Tools für A/B-Tests den Traffic randomisieren und helfen, die Signifikanzschwelle zu ermitteln.
Viele Anzeigentools beinhalten Funktionen für A/B-Tests. Entsprechende Tests lassen sich z. B. ganz einfach mit dem LinkedIn Kampagnen-Manager durchführen.
Für Tests von Website-Elementen benötigen Sie ein geeignetes CMS oder Tool für A/B-Tests. Auf dem Markt sind dafür zahlreiche Angebote zu unterschiedlichen Preisen erhältlich.
Personal
Unterschätzen Sie nicht den Personalaufwand zur Durchführung eines A/B-Tests. Selbst für einfache A/B-Tests benötigen Sie eventuell:
- eine Fachkraft aus dem Bereich Produktmanagement/Marketing zur Verwaltung des Tests
- eine Analysefachkraft zur Messung der Ergebnisse
- eine Designfachkraft für die Anzeigengestaltung
- eine:n Copywriter:in zur Formulierung neuer Texte
- eine technische Fachkraft zur Implementierung der Variante in Ihrem Tool für A/B-Tests
Für einfache Änderungen wie die Farbe eines Buttons brauchen Sie weniger Ressourcen. Komplexere Tests, die z. B. das Produkt-Onboarding betreffen, erfordern dagegen oft Abstimmungen zwischen mehreren Funktionsbereichen und zusätzliche technische Unterstützung.
Schritte zur Implementierung von A/B-Tests
Schritt 1 – Geeigneten Bereich ermitteln
Überlegen Sie zunächst, welche Marketing-KPI Sie verbessern wollen.
In einigen Fällen ist die Antwort offensichtlich, in anderen sind Kundenrecherchen nötig, um Problembereiche bei der User Experience aufzudecken.
Quantitative Trichteranalysen können helfen, Schwachstellen zu ermitteln. Vielleicht stellen SaaS-Marketer:innen fest, dass sich zwar viele Besucher:innen für eine kostenlose Probeversion anmelden, aber nur wenige von ihnen danach ein kostenpflichtiges Abo abschließen.
Alternativ können auch Umfragen und andere qualitative Untersuchungen spezielle Probleme offenlegen. Möglicherweise stellt sich heraus, dass die User:innen der kostenlosen Probeversion das Produkt nicht gut genug verstanden haben, weil ihre Fragen beim Onboarding nicht beantwortet wurden.
Anhand dieser Erkenntnisse können Sie dann eine Hypothese aufstellen und verschiedene Varianten definieren, mit denen sich das Problem eventuell lösen lässt.
Schritt 2 – Hypothese aufstellen
Vor jedem wissenschaftlichen Versuch wird eine Hypothese aufgestellt, die hilft, die zu ändernde Variable zu definieren, Lösungsansätze zu formulieren und potenzielle Hindernisse abzuschätzen.
Untermauern Sie Ihre Versuchsbegründung durch quantitative und qualitative Daten.
Diese quantitativen und qualitativen Daten sollten eine relevante Rechtfertigung für die Hypothese liefern.
Ein geeignetes Format wäre z. B.:
Wir vermuten x, weil y.
Eine denkbare Hypothese für die ausbleibende Conversion von User:innen kostenloser Testversionen in Leads könnte wie folgt lauten: „Wir vermuten, dass kostenlose Testversionen nicht in Leads umgewandelt werden, weil die Produktfunktionen nicht früh genug erklärt werden.“
Schritt 3 – Versuchsablauf definieren
Wie viele Ressourcen Sie für einen Versuch benötigen, hängt von seinem Umfang ab. Mögliche Aufgaben sind:
- Neue Texte erstellen
- Neue Elemente entwerfen
- Neue Funktionen entwickeln
Unter Umständen müssen mehrere Teammitglieder involviert werden, um den Test erfolgreich durchzuführen.
Der genaue Ablauf richtet sich nach der angedachten Lösung. Als erster Schritt wird oft ein Wireframe mit einem allgemeinen Mockup für das neue Erlebnis erstellt. Zuletzt wird alles in das Testtool einprogrammiert.
Schritt 4 –Test implementieren
Nachdem Sie den Versuchsaufbau definiert und die Qualitätssicherung abgeschlossen haben, kann der Test starten. Jeweils 50 % des Traffics sollten zur Originalversion und zur Variante fließen. Dabei wird ein Konfidenzniveau von 95 % angestrebt.
Mit dem nötigen Analyse-Know-how können Sie die Schwellenwerte an Ihre individuelle Risikotoleranz anpassen. Es empfiehlt sich auch, den Test zu überwachen und ihn nach ein paar Stunden oder Tagen auf neu aufgetretene Fehler oder Probleme zu überprüfen.
Schritt 5 – Ergebnisse analysieren
Die Analyse der Ergebnisse richtet sich nach dem Versuchsaufbau.
Die meisten Tools für A/B-Tests verfügen über eine statistische Engine, die Sie bei der Analyse unterstützt.
Stellt sich die Variante als erfolgreicher heraus, können Sie sie für die gesamte Zielgruppe implementieren. Ist sie dagegen weniger erfolgreich oder nur gleichwertig, sollte der Test eventuell mit einem anderen Design oder Lösungsansatz wiederholt werden.
Anzeigentests auf LinkedIn
A/B-Tests sind ein wichtiges Hilfsmittel für Marketer:innen, die die Performance ihrer Website verbessern und die Zahl der Conversions erhöhen möchten.
Mit solchen und anderen datengestützten Prozessen zur Entscheidungsfindung lassen sich schnell und sicher geeignete Bereiche mit Optimierungspotenzial ermitteln.
Bei A/B-Tests auf LinkedIn wird die Performance von zwei Kampagnen verglichen, die sich in einem Merkmal unterscheiden, z. B. Zielgruppe, Anzeigenplatzierung oder Anzeigeninhalt. Nach Abschluss des Tests ermittelt unsere Plattform anhand der von Ihnen festgelegten KPI (z. B. Kosten pro Klick), ob es einen Gewinner gibt.
Marketer:innen, die ihre Kampagnen und das Marktprofil optimieren möchten, erhalten mit A/B-Tests auf LinkedIn datengestützte Einblicke zu Zielgruppen, Anzeigengestaltung und Anzeigenplatzierung. Auf dieser Grundlage können sie dann fundiertere Entscheidungen zu Kampagnen treffen und den ROI gezielt steigern.
Erste Schritte bei Tests mit dem Kampagnen-Manager