A/B-Tests auf Popups scheitern selten an Tools. Sie scheitern an drei wiederkehrenden Mustern: zu kleine Stichprobe, zu kurze Laufzeit und zu früh verkündete Ergebnisse. Die Folge sind Entscheidungen, die auf Zufall beruhen und im nächsten Test wieder zurückgerollt werden müssen.
Diese Anleitung führt durch ein sauberes Setup: Hypothese, Stichprobengröße, Laufzeit, Signifikanz, Stolperfallen. Am Ende gibt es einen eingebetteten Sample-Size-Rechner, mit dem sich der Aufwand für eine Variante grob abschätzen lässt.
Vor dem Test: Hypothese, Primärmetrik, MDE
Vor dem Start liegen drei Dinge schriftlich vor. Wer das abkürzt, redet am Ende über Daten, die niemand mehr einordnen kann.
Hypothese
Eine prüfbare Aussage, keine Wunschformulierung. Gut: „Eine Scroll-basierte Auslösung bei 60 Prozent wird auf Produktdetailseiten eine um mindestens 20 Prozent höhere Conversion Rate liefern als unsere aktuelle 5-Sekunden-Regel." Schlecht: „Scroll-Trigger ist besser."
Primärmetrik
Genau eine, typischerweise Popup-Conversion-Rate oder eine nachgelagerte Business-Conversion wie abgeschlossener Checkout. Sekundärmetriken (Close-Rate, Bounce, Revenue) werden beobachtet, aber nicht als Abbruchkriterium genutzt.
MDE (Minimum Detectable Effect)
Die kleinste Veränderung, die für Sie Business-relevant ist. Ein relativer Uplift von 5 Prozent ist fast nie business-relevant, 20 bis 30 Prozent hingegen schon. Realistische MDEs verhindern riesige Tests für Effekte, die im Alltag kaum auffallen.
Stichprobengröße: zwei Rechenbeispiele
Die nötige Stichprobe steigt, je kleiner der zu entdeckende Effekt ist. Zwei konkrete Beispiele aus dem DACH-Alltag.
Newsletter-Popup
Baseline-Conversion-Rate 2,5 Prozent, angestrebter relativer Uplift 25 Prozent, Signifikanzniveau 95 Prozent, Power 80 Prozent: rund 8.800 Impressionen pro Variante. Bei einem Mittelstands-Shop mit 30.000 monatlichen Besuchern realistisch in 10 bis 14 Tagen zu erreichen.
Rabatt-Popup
Baseline-Conversion-Rate 5 Prozent, angestrebter relativer Uplift 20 Prozent, selbe Einstellungen: rund 6.500 Impressionen pro Variante. Rabatt-Popups profitieren von der höheren Baseline und brauchen typischerweise weniger Traffic als Newsletter-Varianten.
Sample-Size-Rechner
Die unteren Felder rechnen Stichprobe und geschätzte Laufzeit grob aus. Grundlage ist eine Normalapproximation für zwei Anteile bei 95 Prozent Konfidenz und 80 Prozent Power. Die Werte dienen der Orientierung, nicht als verbindliche statistische Auskunft.
Benötigte Impressionen pro Variante: —
Gesamtbedarf: —
Geschätzte Mindestlaufzeit: —
Berechnungsbasis: Normalapproximation für zwei Anteile, Signifikanz 95 %, Power 80 %. Kleine Werte sollten immer gegen einen exakten Fisher- oder Bayes-Test validiert werden.
Mindestlaufzeit: warum eine volle Geschäftswoche Pflicht ist
Eine Laufzeit, die nur Werktage abdeckt, blendet das Wochenend-Verhalten aus. Eine Laufzeit, die nur ein Wochenende abdeckt, blendet B2B-Nutzer aus. Eine volle Woche ist die Untergrenze, zwei Wochen sind in der Regel stabiler, wenn die Traffic-Zahlen das hergeben.
Kampagnen-Peaks (Cyber Week, Ostern, Sale-Phasen) verfälschen Tests zusätzlich. Wenn ein Peak unvermeidbar ist, den Test entweder vor oder nach dem Peak legen, oder ihn lang genug laufen lassen, dass der Peak in beiden Varianten gleichmäßig enthalten ist.
Signifikanz vs. Relevanz
Ein Test mit 95 Prozent Konfidenz beantwortet nur eine Frage: Ist der gemessene Unterschied mit hoher Wahrscheinlichkeit nicht zufällig? Er beantwortet nicht, ob der Unterschied business-relevant ist. Ein signifikanter Uplift von 1 Prozent rechtfertigt selten ein Rollout, ein nicht-signifikanter Uplift von 40 Prozent manchmal schon, wenn die Traffic-Lage schlicht nicht ausreicht.
Deshalb gehört zu jedem Ergebnis auch eine Konfidenzintervall-Angabe. „Uplift 22 Prozent, 95 %-Intervall 8 bis 36 Prozent" ist deutlich ehrlicher als ein nackter Prozentwert.
Stolperfallen: Peeking, Winner's Curse, SRM
Peeking
Täglich auf die Zahlen schauen und beim ersten scheinbaren Gewinner abbrechen. Erhöht systematisch die falsch-positiv-Rate. Abhilfe: feste Enddatums oder sequentielle Tests mit korrigierten Schwellen.
Winner's Curse
Der beobachtete Uplift ist im Mittel höher als der wahre Uplift, vor allem bei unterdimensionierten Tests. Nach Rollout sieht das Ergebnis meist weniger spektakulär aus.
Sample Ratio Mismatch (SRM)
Die Verteilung der Besucher auf die Varianten weicht stark von 50 zu 50 ab. Oft Hinweis auf Bugs in der Traffic-Splittung. Ein Chi-Quadrat-Test auf SRM gehört in jede Auswertung.
Passende Testhypothesen lassen sich gut aus bestehenden Artikeln ableiten. Benchmarks als Startpunkt liefert Popup Conversion Rate Benchmarks. Timing-Signale kommen aus Popup Timing optimieren und der AI Popup Timing Checkliste. Wenn Trigger selbst zur Disposition stehen, hilft Exit-Intent vs. Scroll-Trigger. Und für DSGVO-konformes Splitting ohne Cookies gibt DSGVO-Popups ohne Cookie-Banner den Rahmen vor.