Der A/B-Test verständlich erklärt

Ob ein Unterschied zwischen zwei Regeln echt ist oder nur Zufall, entscheidet ein A/B-Test. Diese Seite erklärt ihn zuerst ohne Formeln und danach für Fachleute mit Modell, Formeln, Messwerten und Grenzen. Die Demo dazu ist eine von mehreren zum Thema Experimente und Wirkungsmessung.

Zuletzt aktualisiert: 28. Oktober 2026

Ein Wort unbekannt? Das Begriffsverzeichnis erklärt es in wenigen Sätzen.

War es die neue Regel oder ein ruhiger Monat?

Ein Betrieb führt eine neue Bestellregel ein, die mehr Sicherheitsbestand vorsieht. Im nächsten Monat gibt es weniger Fehlmengen. War es die Regel oder ein ruhiger Monat? Weil die Nachfrage zufällig schwankt, sagt eine einzelne Zahl dazu wenig.

Der A/B-Test beantwortet das mit vielen gleichartigen Einheiten. In der Demo ist eine Einheit ein Standort-Fenster: vier Wochen eines Standorts. Jedes Fenster wird zufällig der alten Regel A oder der neuen Regel B zugeteilt. Der Zufall sorgt dafür, dass sich beide Gruppen nur durch die Regel unterscheiden. Danach vergleicht man die Durchschnitte.

Wie entscheidet der Test?

Selbst bei zwei gleich guten Regeln wären die Durchschnitte nie exakt gleich. Der Test fragt deshalb, ob der gemessene Unterschied größer ist, als der Zufall allein erwarten lässt. Er liefert ein Intervall, also einen Bereich, in dem die wahre Wirkung vermutlich liegt, und einen p-Wert: Er sagt, wie überraschend der Unterschied wäre, wenn es in Wahrheit keinen gäbe.

„Signifikant“ heißt: Der Unterschied ist so überraschend, dass man den Zufall als Erklärung verwirft. Das Intervall verspricht, dass es die wahre Wirkung in etwa neunzehn von zwanzig Wiederholungen des Experiments enthält.

Was die Demo zeigt

In der Demo sind die Fenster simuliert, die wahre Wirkung der neuen Regel ist also bekannt. Damit lässt sich nachprüfen, ob der Test hält, was er verspricht. Das Intervall enthält die Wahrheit so oft wie zugesagt. Bei zwei gleichen Regeln schlägt der Test nicht öfter an als zugesagt, auch wenn die Daten schief verteilt sind. Und wie viele Fenster man braucht, lässt sich vorab ausrechnen: Die Rechnung stimmt mit der Simulation überein.

Wo liegt der Haken?

Der Test verspricht nicht, einen echten Vorteil auch zu finden. Mit wenigen Fenstern je Regel übersieht er ihn meist. „Nicht signifikant“ heißt dann nicht „kein Unterschied“, sondern „zu wenig Daten, um ihn vom Zufall zu trennen“.

Dazu kommt ein zweiter Haken: Schlägt der Test bei wenigen Fenstern doch an, fällt die Schätzung deutlich zu groß aus, denn nur die zufällig zu großen Werte werden signifikant. Kleine Experimente überschätzen also die Wirkung, wenn man nur die Treffer liest.

Außerdem gilt das alles nur unter Voraussetzungen: Der Umfang steht vorher fest und man sieht nicht dauernd hin, die Zuteilung lief wie geplant, die Fenster sind unabhängig voneinander. Ist eine davon verletzt, kann der Test mehr versprechen, als er hält. Jede dieser Voraussetzungen behandelt eine weitere Demo zum Thema.

Wie ernst ist das Modell zu nehmen?

Das Beispiel ist erfunden: ein Standort mit täglicher Nachbestellung, erzeugte Nachfragen, keine Praxisdaten. Die Aussagen gelten für diesen Fall mit unabhängigen Fenstern und einem Test pro Experiment. Die Demo zeigt, wie ein A/B-Test arbeitet und wo er an seine Grenzen kommt, nicht wie ein reales Experiment ausgeht.

Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.

Modell und Annahmen

Dieser Teil ist eigenständig lesbar. Er fasst die formale Beschreibung der Demo zusammen; die vollständige Fassung steht im Expander „📐 Mathematische Formulierung“ der Demo.

• Vehikel: ein Standort mit täglicher Nachbestellung, Zentrallager unbegrenzt, Wiederbeschaffungszeit zwei Tage. Die Tagesnachfrage ist Gamma-Poisson (negativ-binomial) mit Mittel 20 und Varianz 100. Bestellt wird täglich bis zum Niveau \(S = \operatorname{round}(L\mu + z\,\sigma_L)\) mit dem Sicherheitsfaktor \(z\); Regel A fährt \(z = 1{,}0\), Regel B einen größeren Faktor.
• Einheit und Kennzahl: ein Standort-Fenster von vier Wochen nach vier Wochen Einschwingen mit derselben Regel. Kennzahl ist der Servicegrad Typ 2 im Fenster, \(1 - \sum_t \text{Fehlmenge}_t / \sum_t D_t\) (Quote der Summen). Die Fenster sind unabhängig.
• Wahrheit und Experiment: Die wahre Wirkung ist das Mittel von je 10 000 simulierten Fenstern je Sicherheitsfaktor. Ein Experiment zieht \(n\) Fenster je Arm mit Zurücklegen aus diesen Pools; bei \(n\) weit unter 10 000 ist das dasselbe wie \(n\) frische Fenster. Die exakte Wahrheit des Gleichgewichts liefert eine Formel (Summen negativ-binomialer Verteilungen), die im Test gegen eine Faltung und gegen die Simulation geprüft wird.

Der Test: Welch, Standardfehler und Intervall

Mit Mittelwerten \(\bar x_A, \bar x_B\) und Varianzen \(s_A^2, s_B^2\) bei \(n_A, n_B\) Einheiten ist die gemessene Wirkung die Differenz der Mittelwerte:

\[\hat\Delta = \bar x_B - \bar x_A\]

Der Standardfehler kommt aus den Streuungen beider Arme, ohne gleiche Varianzen anzunehmen (Welch):

\[\widehat{SE} = \sqrt{s_A^2/n_A + s_B^2/n_B}\]

Daraus entstehen die Prüfgröße \(t = \hat\Delta/\widehat{SE}\) mit Welch-Satterthwaite-Freiheitsgraden \(\nu\), der p-Wert und das 95-%-Intervall. Signifikant heißt: p liegt unter dem Signifikanzniveau \(\alpha\). Das Intervall lautet

\[\hat\Delta \pm t_{0{,}975,\nu}\,\widehat{SE}\]

wobei der Faktor das Quantil der t-Verteilung mit \(\nu\) Freiheitsgraden ist. Das Versprechen: Wiederholte man das Experiment oft, enthielten etwa 95 von 100 solcher Intervalle die wahre Wirkung. Ob das hier stimmt, ist eine Messfrage.

Stichprobenumfang

Die Normalnäherung gibt für zweiseitiges Niveau \(\alpha\) und Teststärke \(1-\beta\) die nötigen Fenster je Arm an, wenn wahre Wirkung \(\Delta\) und Varianzen \(\sigma_A^2, \sigma_B^2\) der Arme bekannt sind:

\[n = (z_{1-\alpha/2} + z_{1-\beta})^2 (\sigma_A^2 + \sigma_B^2)/\Delta^2\]

Dabei sind \(z_{1-\alpha/2}\) und \(z_{1-\beta}\) Quantile der Normalverteilung. Vor dem Experiment sind Wirkung und Streuung nur geschätzt; die Formel zeigt also den Aufwand bei bekannter Lage.

Befunde

Alle Zahlen stammen aus der Messreihe der Demo (jede steht in deren Tests) und gelten für das erfundene Vehikel: Regel A fährt den Sicherheitsfaktor z = 1,0, Regel B einen größeren, Kennzahl ist der Servicegrad im Vier-Wochen-Fenster. Je Zelle (Sicherheitsfaktor und Umfang) gibt es 4 000 Wiederholungen; der Fehler der Raten beträgt höchstens 0,8 Prozentpunkte. Der Umfang ist die Zahl der Fenster je Arm; Teststärke heißt der Anteil der Experimente, die den echten Effekt als signifikant melden.

Frage	Befund
Wie groß ist der Effekt?	Sicherheitsfaktor 1,4 gegen 1,0 hebt den Servicegrad um 3,49 Prozentpunkte. Als Fehlmenge: von 7,5 % auf 3,9 % der Nachfrage, also 47 % weniger.
Hält das 95-%-Intervall?	Ja. In allen 28 gemessenen Zellen (4 Sicherheitsfaktoren × 7 Umfänge von 5 bis 200 Fenstern je Arm) enthält es die Wahrheit in 94 bis 96 % der Experimente.
Schlägt der Test bei gleichen Regeln zu oft an, trotz schiefer Daten?	Nein: Fehlalarmrate 4,0 bis 5,5 % in allen sieben Umfängen. Die Fenster-Servicegrade sind links-schief (Schiefe −0,8 bei Faktor 1,0, −2,3 bei Faktor 2,0) und an der Obergrenze gestaucht: 4,0 % der Fenster haben bei Faktor 1,0 einen Servicegrad von genau 100 %, bei Faktor 2,0 sind es 45,0 %. Der Test hält trotzdem.
Wie viele Fenster braucht man?	Für 80 % Teststärke stimmen Normalformel und Simulation überein: Faktor 1,4 braucht 26 Fenster je Arm (Simulation 26), Faktor 1,2 braucht 94 (Simulation 95), Faktor 1,8 braucht 11 (Simulation 12).
Und mit wenigen Fenstern?	Bei Faktor 1,2 und 10 Fenstern je Arm meldet der Test den echten Vorteil nur in 12,6 % der Experimente, in den übrigen 87 % steht „nicht signifikant“. Ein nicht signifikantes Ergebnis ist hier kein Beleg für Gleichheit.
Was ist mit den signifikanten Ergebnissen?	Bei Faktor 1,2 und 5 Fenstern je Arm schlägt der Test in 7,2 % der Fälle an, und die Schätzung ist dann im Mittel das 3,4-Fache der wahren Wirkung.

Grenzen

• Erfundenes Vehikel: Die Zahlen gelten für dieses Beispiel mit unabhängigen Fenstern und einem Test pro Experiment; sie sind kein Praxisdatensatz. Alle Nachfragen sind erzeugt.
• Der Umfang steht vorher fest: Wer täglich ansieht und stoppt, bekommt viel mehr Fehlalarme als 5 %.
• Man kennt Wirkung und Streuung vorab: Die Normalformel braucht beides; ein kleiner Pilot streut stark.
• Die Zuteilung lief wie geplant: Ergebnisabhängiger Verlust von Fenstern verzerrt den Vergleich still.
• Ein Test, eine Kennzahl: Viele Kennzahlen oder Varianten erzeugen Zufallstreffer, die beste wird überschätzt.
• Einheiten unabhängig und gleichartig: Persistente Standortunterschiede, Serienkorrelation und Verhältniskennzahlen machen das Intervall zu schmal.
• Die Einheiten beeinflussen sich nicht: Teilen A- und B-Standorte Kundschaft oder Lager, misst der Test nicht die Wirkung des Ausrollens.
• Man darf randomisieren: Bei wenigen Einheiten oder ohne Experiment braucht es Vergleichsstandorte oder Logdaten.
• Nicht behandelt: mehr als zwei Regeln, Bayes'sche Auswertung, Bandit-Zuteilung und Zwischenblicke behandeln eigene Demos zum Thema.

Quellen

• Quelltext, Messreihe und Tests der Demo: github.com/sebastian-hanisch/ab-test-demo.