Zwischenblicke im Experiment verständlich erklärt

Wer in ein laufendes Experiment immer wieder hineinschaut und aufhört, sobald es gut aussieht, findet öfter einen vermeintlichen Gewinner, als der Test verspricht. Diese Seite zeigt, warum das so ist, welche Regeln das Hinsehen erlauben und was sie kosten.

Zuletzt aktualisiert: 11. November 2026

Ein Wort unbekannt? Das Begriffsverzeichnis erklärt es in wenigen Sätzen.

Zwei Regeln, ein fairer Vergleich

Stellen Sie sich eine Supermarktkette vor. Jeden Abend bestellt jeder Markt Ware nach. Die Zentrale möchte wissen, ob eine neue Nachbestellregel B besser ist als die alte Regel A. Besser heißt: Mehr von dem, was Kundinnen und Kunden wollen, liegt sofort im Regal.

Ein Zeitraum sind vier Wochen in einem Markt. Per Los bekommt jeder Zeitraum Regel A oder Regel B. Am Ende vergleicht man, wie viel der Nachfrage sofort lieferbar war (Fachwort: Servicegrad). Die Ergebnisse treffen nach und nach ein. Der ganze Vergleich heißt Experiment.

Die Nachfrage schwankt zufällig. Deshalb unterscheiden sich die Durchschnitte beider Gruppen immer ein wenig, auch bei zwei gleich guten Regeln. Ein Test fragt, ob der Unterschied größer ist, als der Zufall allein erwarten lässt. Dann heißt er signifikant.

Bei zwei in Wahrheit gleich guten Regeln soll der Test nur in 5 Prozent der Experimente anschlagen. Diesen Fehlalarm nimmt man in Kauf, und danach richtet man die Schwelle aus. Geplant ist: erst alle Zeiträume sammeln, dann einmal auswerten.

Die Versuchung: zwischendurch hinsehen

Die Leiterin schaut jede Woche auf den Zwischenstand. Sobald der Unterschied signifikant aussieht, stoppt sie und stellt alle Märkte auf Regel B um. Das ist aber ein anderer Test als der geplante, und er schlägt häufiger an, als er verspricht.

Ein Bild dazu: Sie werfen eine faire Münze und fragen nach jedem Wurf, ob Kopf auffällig oft gefallen ist. Die Zahl der Köpfe weicht vom Erwarteten mal nach oben, mal nach unten ab. Bei einem einzelnen Blick ist die Chance klein, dass die Abweichung gerade auffällig groß ist. Sie schauen aber immer wieder hin, und irgendwann ist sie es. Wer dann aufhört, hält die Münze für gezinkt.

Mit Zwischenständen ist es genauso: Jeder Blick ist eine neue Gelegenheit für einen Zufallstreffer. Der Stand nach dem zehnten Wurf enthält schon die ersten neun. Ein Zwischenstand enthält ebenso alle früheren Ergebnisse. Die Blicke sind also keine unabhängigen Würfe, und die Gelegenheiten summieren sich langsamer, als man beim Zählen meinen würde.

Nachmessen am Computer

Zu dieser Seite gehört ein Programm zum Ausprobieren im Browser, kurz Demo. Am Ende dieses Teils öffnet der erste Knopf die Demo, der zweite führt zum zweiten Teil für Fachleute. Zum Verstehen brauchen Sie sie nicht.

Die Demo spielt den Vergleich am Computer durch, in einem vereinfachten Rechenbild (Fachwort: Modell). Der Computer erzeugt die Zeiträume, und die wahre Wirkung von Regel B ist bekannt. So lässt sich nachzählen, wie oft eine Entscheidungsregel falsch liegt. Die Aussagen in diesem Teil beschreiben dieses Rechenbild, nicht echte Märkte.

Zuerst der Fall, in dem es nichts zu finden gibt: Beide Regeln sind gleich, jeder Gewinner ist ein Fehlalarm. Versprochen sind 5 Prozent. Wer 5 Mal gleichmäßig verteilt hinsieht und beim ersten signifikanten Stand stoppt, bekommt im Rechenbild etwa 14 Prozent. Mit jedem weiteren Blick wird es mehr, bei 30 Blicken sind es mehr als jedes vierte Experiment.

Wie man trotzdem hinsehen darf

Hinsehen ist erlaubt, wenn man dafür bezahlt. Denken Sie sich die erlaubten 5 Prozent Fehlalarm als Budget vor. Wer mehrmals hinsieht, verteilt es auf die Blicke, und jeder Blick bekommt eine strengere Schwelle. Vier Regeln tun das auf verschiedene Weise:

• Pocock. Jeder Blick bekommt dieselbe Schwelle. Die Blicke stehen vorher fest.
• O'Brien-Fleming. Die Schwelle ist am Anfang sehr streng und am Ende fast so locker wie beim einmaligen Auswerten, das Budget wird aufgespart. Auch hier stehen die Blicke vorher fest.
• Lan-DeMets. Ein Ausgabeplan für das Budget, ähnlich gebaut wie bei O'Brien-Fleming. Zahl und Zeitpunkt der Blicke dürfen sich ändern, solange die Änderung nicht vom bisherigen Ergebnis abhängt.
• mSPRT. Der Fachname eines Tests, der nach jedem Ergebnis hinsehen darf. Er wartet anfangs ab, bis die Ergebnisse zeigen, wie stark sie schwanken.

Im Rechenbild hielten alle vier bei 100 Zeiträumen je Regel die versprochenen 5 Prozent im Rahmen der Messunsicherheit ein, der mSPRT blieb sogar darunter.

Was die Vorsicht kostet

Eine strengere Schwelle findet echte Vorteile seltener. Gemessen wurde der Fall, dass B wirklich besser ist, bei 30 Zeiträumen je Regel und 5 Blicken. Wer erst am Ende einmal auswertet, findet den Vorteil in etwa 85 von 100 Experimenten (Fachwort: Teststärke). Mit den Regeln:

• O'Brien-Fleming: etwa 85 von 100.
• Pocock: etwa 77 von 100.
• mSPRT: etwa 57 von 100.

Am wenigsten kostet O'Brien-Fleming, in der Messung kaum etwas, weil seine Schwelle am letzten Blick fast so locker ist wie beim einmaligen Auswerten. Pocock ist dort strenger. Beim mSPRT kostet vermutlich die Forderung Stärke, nach jedem Ergebnis gültig zu bleiben; das ist eine Deutung.

Dafür spart das Stoppen Zeit. Im Mittel kam O'Brien-Fleming mit etwa 24 statt 30 Zeiträumen je Regel aus, Pocock mit etwa 21.

Der zweite Haken: die Wirkung fällt zu groß aus

Wer früh stoppt, berichtet eine zu große Wirkung, auch mit den gültigen Regeln. Früh liegen erst wenige Ergebnisse vor, und der Durchschnitt schwankt stark. Die Schwelle überschreitet dann nur ein Verlauf, der zufällig günstig begonnen hat. So hört eine Läuferin nach ihrem besten Lauf auf und nennt nur diese Zeit.

Gemeint ist der Durchschnitt über die Experimente, die einen Gewinner meldeten. Im Rechenbild mit kleinem echtem Vorteil lag die Schätzung bei O'Brien-Fleming gut ein Fünftel über der Wahrheit, beim naiven Hinsehen gut ein Drittel. Selbst der einmal ausgewertete Test lag zu hoch, denn auch er meldet nur Experimente, in denen der Zufall mithalf. Bei 30 Blicken wurde es mehr.

Häufige Missverständnisse

• „Die Bayes'sche Regel erlaubt jedes Hinsehen.“ Eine weitere Regel, die Bayes'sche, stoppt, sobald B mit mehr als 95 Prozent Wahrscheinlichkeit besser aussieht. Vorab nimmt sie an, B könne ebenso gut besser wie schlechter sein. Im Rechenbild meldete sie bei 5 Blicken und 100 Zeiträumen je Regel ohne echten Unterschied trotzdem in etwa 13 Prozent der Experimente einen Gewinner. Der Grund ist wie bei der Münze: Eine Schwelle, die man oft prüft, wird irgendwann überschritten.
• „Das naive Hinsehen ist am besten, es findet die meisten echten Vorteile.“ Ein Rauchmelder, der schon beim Toasten klingelt, meldet auch jeden Brand. Die lockere Schwelle des naiven Hinsehens fand unter den vier Regeln oben tatsächlich die meisten echten Vorteile, aber auch die meisten Gewinner, die keine sind. Eine hohe Teststärke sagt erst etwas, wenn man auch die Zahl der Fehlalarme kennt.

Woran Sie das im Alltag erkennen

Anzeichen bei jedem Bericht über einen Vergleich oder Test:

• Jemand sagt: „Wir haben so lange getestet, bis das Ergebnis eindeutig war.“ Ohne vorher festgelegte Regel für das Hinsehen ist „eindeutig“ weniger wert, als es klingt.
• Die früh verkündete Erfolgszahl liegt im Mittel über dem, was später eintritt (Abschnitt „Der zweite Haken“).

Wie ernst ist das Rechenbild zu nehmen?

Die Zeiträume sind erfunden und voneinander unabhängig, und die Blicke liegen in gleichen Abständen. Die Zahlen gelten für dieses Rechenbild, nicht für eine bestimmte Kette. Weitere Annahmen behandelt der zweite Teil.

Was Sie mitnehmen:

• Legen Sie vor dem Start fest, wie oft Sie hinsehen und mit welcher Schwelle, und fragen Sie dasselbe bei fremden Ergebnissen.
• Je öfter hingesehen wird, desto strenger muss die Schwelle sein.
• Erwarten Sie nach einem frühen Stopp eher weniger, als gemeldet wurde.

Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.

Modell und Annahmen

Dieser Teil ist eigenständig lesbar. Er beschreibt, wie die Demo Hinsehen und Stoppen in einem Experiment mit zwei Gruppen (Armen) misst.

• Aufbau: Die Einheiten, hier Fenster genannt, treffen nacheinander ein, höchstens \(N\) je Arm. Es gibt \(K\) gleichmäßig verteilte Blicke (Konstanten sind für 1 bis 30 Blicke vorgerechnet); die Blickpositionen werden auf ganze Fenster aufgerundet, mindestens zwei je Arm, und fallen bei kleinem \(N\) und großem \(K\) Blicke zusammen, gibt es weniger als \(K\). Beim Blick \(k\) läuft der Welch-Test auf allen bis dahin gesammelten Fenstern; \(p_k\) ist sein zweiseitiger p-Wert und \(z_k\) der zugehörige Betrag der Normalstatistik. Eine Entscheidungsregel stoppt beim ersten Blick, an dem sie einen Befund meldet.
• Vehikel: ein Standort mit täglicher Nachbestellung. Nachbestellregel A fährt den Sicherheitsfaktor 1,0, Nachbestellregel B einen größeren (Voreinstellung 1,4). Bei 1,0 sind beide Nachbestellregeln gleich, jeder Befund ist dann ein Fehlalarm. Ein Fenster ist ein Standort über vier Wochen, die Kennzahl ist der Servicegrad (Anteil der Nachfrage, der sofort aus dem Bestand bedient wird). Die Fenster sind unabhängig und werden mit Zurücklegen aus einem Vorrat simulierter Fenster je Sicherheitsfaktor gezogen. Die wahre Wirkung \(\Delta\) ist die Differenz der Vorratsmittel, B minus A; \(\hat\Delta\) ist die gemessene Wirkung, \(\widehat{SE}\) ihr Standardfehler.
• Messgrößen: der Anteil der Experimente mit Befund (ohne Wirkung der Fehlalarm, sonst die Teststärke), die mittlere Zahl der Fenster je Arm bis zum Stopp (ohne Befund zählt \(N\)) und die Schätzung \(\hat\Delta\) beim Stopp. Die Überschätzung ist das Mittel dieser Schätzung über die Experimente mit Befund, geteilt durch die wahre Wirkung \(\Delta\).
• Rechenweg der Grenzen: rekursive Integration der Dichte der Teilsumme (Faltung per FFT), nichts stammt aus Tabellen. Auf die Welch-Statistik werden die Grenzen über den p-Wert angewandt.

Sechs Entscheidungsregeln (Stoppregeln, nicht zu verwechseln mit den Nachbestellregeln A und B) unterscheiden sich nur darin, wann sie stoppen:

• Naiv: Stopp bei \(p_k < 0{,}05\) an irgendeinem Blick.
• Pocock: Stopp bei \(z_k \ge c_P\), an jedem Blick dieselbe Konstante, so gewählt, dass die Gesamtrate 5 % beträgt.
• O'Brien-Fleming: Stopp bei \(z_k \ge c_k\) mit \(c_k = C_K\sqrt{K/k}\).
• Lan-DeMets: Grenzen aus einer Ausgabefunktion vom O'Brien-Fleming-Typ.
• mSPRT: jederzeit gültiger Test, nach jedem Fenster; Mischung \(N(0, \tau^2)\) mit \(\tau\) = 2 Prozentpunkte, Anlauf von 10 Fenstern je Arm.
• Bayes: Stopp, sobald \(P(\Delta > 0 \mid \text{Daten})\) über 95 % liegt; flache Vorannahme, Normalnäherung.

Die Formeln

Mit der Verteilungsfunktion \(\Phi\) der Standardnormalverteilung ist der Betrag der Normalstatistik beim Blick \(k\)

\[z_k = \Phi^{-1}(1 - p_k/2).\]

Sei \(Z_k\) die Teststatistik nach \(k\) von \(K\) Blicken, also \(z_k = |Z_k|\), und \(z_{\alpha/2}\) das obere \(\alpha/2\)-Quantil der Standardnormalverteilung. Ohne Wirkung (beide Nachbestellregeln gleich) schlägt im Normalmodell von Schritt 1 unten ein einzelner Blick mit \(|Z_k| \ge z_{\alpha/2}\) in 5 % der Fälle an, also mit Wahrscheinlichkeit \(\alpha\). Wer \(K \ge 2\) Mal hinsieht und beim ersten Treffer stoppt, erzeugt mehr Fehlalarme: \(P(\max_k |Z_k| \ge z_{\alpha/2}) > \alpha\).

Pocock wählt eine Konstante \(c_P\) für alle Blicke mit \(P(\exists k: |Z_k| \ge c_P) = \alpha\). O'Brien-Fleming wählt die Form

\[c_k = C_K \sqrt{K/k}\]

mit einer Konstanten \(C_K\), die auf dieselbe Gesamtrate \(\alpha\) eingestellt wird. Lan-DeMets gibt das Fehlalarm-Budget nach einer Ausgabefunktion \(\alpha^*(t)\) der Informationszeit \(t = k/K\) aus; hier vom O'Brien-Fleming-Typ, \(\alpha^*(t) = 2 - 2\Phi(z_{\alpha/2}/\sqrt t)\), mit dem oberen \(\alpha/2\)-Quantil \(z_{\alpha/2}\) der Standardnormalverteilung. Die Grenze am Blick \(k\) ergibt sich aus dem noch verfügbaren Budget.

Der mSPRT mischt über die Wirkung \(\theta \sim N(0, \tau^2)\). Sei \(\hat\theta_n\) die gemessene Wirkung \(\hat\Delta\) nach \(n\) Fenstern je Arm und \(V_n\) die Varianz dieser Differenz. Der Mischungs-Likelihood-Quotient ist

\[\Lambda_n = \sqrt{V_n/(V_n + \tau^2)}\,\exp\bigl(\tau^2 \hat\theta_n^2 / (2 V_n (V_n + \tau^2))\bigr).\]

Er stoppt bei \(\Lambda_n \ge 1/\alpha\). Bei bekannter Normalvarianz ist \(\Lambda_n\) ohne Wirkung ein nichtnegatives Martingal mit Mittel 1, und die Ville-Ungleichung gibt \(P(\sup_n \Lambda_n \ge 1/\alpha) \le \alpha\). Mit geschätzter Varianz ist die Gültigkeit nur empirisch geprüft, und zwar mit dem Anlauf. Die Bayes'sche Regel rechnet bei flacher Vorannahme \(P(\Delta > 0 \mid \text{Daten}) = \Phi(\hat\Delta/\widehat{SE})\) und stoppt, sobald das über 95 % liegt.

Herleitungen Schritt für Schritt

Die folgenden Rechnungen sind Rechnungen dieser Seite, keine Messungen der Demo. Wo eine Messung dieselbe Aussage prüft, steht es dabei.

Warum Hinsehen mehr Fehlalarme erzeugt, aber weniger als \(K\alpha\).

• Schritt 1, Modell: Ohne Wirkung gilt \(Z_k = S_k/\sqrt{k}\) mit \(S_k = \xi_1 + \dots + \xi_k\) und unabhängigen \(\xi_j \sim N(0, 1)\) (gleich lange Abschnitte; so rechnet die Demo ihre Grenzen, die Welch-Statistik folgt dem Modell näherungsweise). Jedes \(Z_k\) ist standardnormal.
• Schritt 2, ein Blick: Mit \(A_k = \{|Z_k| \ge z_{\alpha/2}\}\) ist \(P(A_k) = \alpha\) für jedes \(k\) einzeln.
• Schritt 3, mehrere Blicke: Das Hinsehen meldet, wenn mindestens ein \(A_k\) eintritt. Also gilt \(\alpha \le P(A_1 \cup \dots \cup A_K) \le K\alpha\); die untere Schranke folgt aus \(A_1\), die obere aus der Vereinigungsschranke.
• Schritt 4, Überlappung: Für \(j \le k\) ist \(\operatorname{Cov}(Z_j, Z_k) = j/\sqrt{jk} = \sqrt{j/k}\), weil \(S_k\) die Zuwächse von \(S_j\) enthält. Je größer \(j/k\), desto stärker überlappen \(A_j\) und \(A_k\), und desto weniger neue Chancen bringt der spätere Blick. Die Vereinigung ist deshalb kleiner als die Summe der Einzelwahrscheinlichkeiten.
• Schritt 5, Probe an der Messung: Die Integration der Demo gibt bei \(K = 2\) Blicken 8,3 % statt der Schranke 10 %, bei \(K = 5\) Blicken 14,2 % und bei \(K = 10\) Blicken 19,3 %.

Was O'Brien-Fleming und Pocock am Anfang und am Ende verlangen.

• Schritt 1: Aus \(c_k = C_K\sqrt{K/k}\) folgt \(c_k\sqrt{k} = C_K\sqrt{K}\). Wegen \(z_k = |S_k|/\sqrt{k}\) heißt \(z_k \ge c_k\) also \(|S_k| \ge C_K\sqrt{K}\): O'Brien-Fleming verlangt für die Summe an jedem Blick denselben Wert. Pocock verlangt dagegen denselben Wert \(c_P\) für \(z_k\) selbst.
• Schritt 2, Anfang und Ende: Am letzten Blick ist \(c_K = C_K\), am ersten \(c_1 = C_K\sqrt{K}\), also das \(\sqrt{K}\)-Fache. Frühe Blicke sind sehr streng, der letzte liegt nahe am Einzeltest. Für \(K = 5\) nennt die Demo \(C_5 = 2{,}040\) gegen die Pocock-Konstante \(c_P = 2{,}413\).
• Schritt 3, Deutung: Die höhere Schwelle am letzten Blick passt zur geringeren Teststärke von Pocock (76,6 % gegen 84,8 % bei O'Brien-Fleming, siehe Befunde). Die Messung trennt das nicht von anderen Einflüssen, etwa vom häufigeren frühen Stopp.

Lan-DeMets: warum das Budget früh klein ist.

• Schritt 1: \(\alpha^*(1) = 2 - 2\Phi(z_{\alpha/2}) = \alpha\), weil \(\Phi(z_{\alpha/2}) = 1 - \alpha/2\) ist: Am Ende ist das ganze Budget ausgegeben.
• Schritt 2: Für \(t \to 0\) wächst das Argument \(z_{\alpha/2}/\sqrt t\) über alle Grenzen, also geht \(\alpha^*(t) \to 0\). Früh wird fast nichts ausgegeben, wie bei O'Brien-Fleming.
• Schritt 3: Die Grenze am Blick \(k\) wird so gewählt, dass die Wahrscheinlichkeit, bis zu diesem Blick erstmals eine Grenze zu kreuzen, gleich \(\alpha^*(k/K)\) ist, die Wahrscheinlichkeit, genau an diesem Blick erstmals zu kreuzen, also gleich \(\alpha^*(k/K)\) minus dem schon ausgegebenen Teil. Weil nur die vorab festgelegte Ausgabefunktion zählt, dürfen Zahl und Zeitpunkt der Blicke angepasst werden, solange die Anpassung nicht von den bisher beobachteten Wirkungsschätzungen abhängt (Standardwissen, nicht in der Demo gemessen). Die Demo zeigt gleichmäßig verteilte Blicke.

Die Bayes'sche Regel ist ein einseitiger Test mit fester Schwelle.

• Schritt 1: Die Bedingung „\(\Phi(\hat\Delta/\widehat{SE})\) über 95 %“ ist gleichwertig mit \(\hat\Delta/\widehat{SE} \ge q\), wobei \(q\) das 95-%-Quantil der Standardnormalverteilung ist.
• Schritt 2: Das ist bei jedem Blick dieselbe feste Schwelle für die Statistik, nur einseitig. Die Überlappungsrechnung von oben gilt sinngemäß, und die Fehlalarmrate steigt mit \(K\), wie beim naiven Hinsehen.
• Schritt 3, Vergleichbarkeit: Eine einseitige Schwelle zum Niveau 5 % liegt niedriger als die zweiseitige. Die Bayes'sche Regel meldet nur Fälle mit \(\hat\Delta > 0\), die anderen Regeln melden auch negative. Ihre Raten sind deshalb nicht Zahl für Zahl mit denen der anderen Regeln vergleichbar. Der gemessene Wert bei einem einzigen Blick liegt etwas über 5 %; der Abstand ist kleiner als der Standardfehler einer Rate (siehe Befunde).

Warum früh gestoppte Schätzungen zu groß sind.

• Schritt 1: Beim Blick \(k\) stoppt eine Regel mit positiver Schätzung, wenn \(\hat\Delta_k \ge c_k\,\widehat{SE}_k\) gilt (Werte beim Blick \(k\)).
• Schritt 2: Ist \(c_k\,\widehat{SE}_k\) größer als die wahre Wirkung \(\Delta\), liegt jede so gestoppte Schätzung allein durch die Stoppbedingung über \(\Delta\). Gestoppt wird nur bei einem zufällig hohen Wert.
• Schritt 3, Größenordnung: Bei gleicher Streuung \(\sigma\) beider Arme (Näherung) und \(kN/K\) Fenstern je Arm ist \(\widehat{SE}_k \approx \sigma\sqrt{2K/(kN)}\). Die Schwelle in Einheiten der Wirkung ist dann bei O'Brien-Fleming proportional zu \(1/k\), bei Pocock und beim naiven Hinsehen proportional zu \(1/\sqrt{k}\). Am ersten Blick ist sie also das \(K\)-Fache (O'Brien-Fleming) bzw. das \(\sqrt{K}\)-Fache (Pocock, naiv) der Schwelle am letzten.
• Schritt 4, auch der feste Test: Liegt die Schwelle am Ende unter der wahren Wirkung, schneidet der Test nur die unteren Schätzungen ab. Eine Nachrechnung mit gestutzter Normalverteilung und der gemessenen Teststärke von 81,3 % ergibt eine Überschätzung von gut einem Zehntel, passend zum gemessenen Wert für den festen Test.
• Schritt 5, Vorbehalt: Die gemessene Reihenfolge der Regeln folgt nicht allein aus diesen Schwellen. Sie hängt auch davon ab, wann eine Regel typischerweise stoppt. Die Messung trennt die Ursachen nicht.

Befunde

Die Zahlen gelten für das erfundene Vehikel: Servicegrad im Vier-Wochen-Fenster, 3 000 Experimente je Zelle. Der Standardfehler einer Rate beträgt bei 3 000 Experimenten bis zu rund einen Prozentpunkt (am größten bei Raten in der Mitte zwischen null und hundert Prozent, bei Raten nahe 5 % kleiner); Unterschiede von ein bis zwei Prozentpunkten zwischen zwei Werten sind deshalb nicht gesichert. Alle Experimente stammen aus demselben endlichen Vorrat simulierter Fenster, und auch die wahre Wirkung ist das Mittel dieses Vorrats. „Ohne Wirkung“ heißt Sicherheitsfaktor 1,0 in beiden Armen; Teststärke ist der Anteil mit Befund, wenn B wirklich besser ist. Zuerst die Fehlalarme:

Frage	Befund
Wie viele Fehlalarme erzeugt naives Hinsehen?	Durch Integration im Modell der Grenzenrechnung: 2 Blicke 8,3 %, 5 Blicke 14,2 %, 10 Blicke 19,3 %. Auf dem Vehikel bei 100 Fenstern je Arm ohne Wirkung: 9,2 %, 14,4 % und 19,6 % bei denselben Blickzahlen, 26,4 % bei 30 Blicken (versprochen 5 %).
Halten die korrigierten Regeln ihr Niveau?	Ja, auf diesem Vehikel: Pocock, O'Brien-Fleming und Lan-DeMets liegen bei 5, 10 und 30 Blicken zwischen 4 und 6 %, der mSPRT bei 3 % oder weniger (100 Fenster je Arm, ohne Wirkung).
Ist die Bayes'sche Regel ein Freibrief?	Nein. Ohne Wirkung schlägt „P(B besser) über 95 %“ bei 1 Blick in 5,7 %, bei 5 Blicken in 12,8 % und bei 30 Blicken in 25,9 % der Experimente an (100 Fenster je Arm, flache Vorannahme).
Welche Konstanten gehören zu 5 Blicken?	Pocock 2,413, O'Brien-Fleming 2,040.

Eine Vorab-Messreihe, die dem Bau der Demo vorausging, fand 13,2 % bei 5 Blicken und 30,4 % bei täglichem Hinsehen über 100 Tage, also dieselbe Größenordnung. Beim mSPRT mit geschätzter Streuung schon ab 2 Fenstern fand sie 6,6 bis 11,4 % Fehlalarm, er war dort also nicht gültig. Die Demo misst ihn nur mit Anlauf von 10 Fenstern je Arm; dort bleibt er in den Messungen unter dem Niveau, ein Beweis der Gültigkeit ist das nicht.

Jetzt der Fall mit echter Wirkung: Sicherheitsfaktor 1,4, höchstens 30 Fenster je Arm, 5 Blicke. „nicht berichtet“ heißt: Die Demo-Messung nennt diesen Wert nicht.

Regel	Teststärke	Fenster je Arm im Mittel
Fester Test (ein Blick am Ende)	85,1 %	30
O'Brien-Fleming	84,8 %	23,6
Pocock	76,6 %	21,1
Naives Hinsehen	88,9 %	16,8
mSPRT	56,9 %	nicht berichtet

Das naive Hinsehen zeigt unter den hier aufgeführten Regeln die höchste Teststärke, weil seine zweiseitige Schwelle locker ist; es meldet auch die meisten Fehlalarme (oben). Die Bayes'sche Regel mit ihrer einseitigen, noch lockereren Schwelle liegt nach einer Nachrechnung dieser Seite mit den Funktionen der Demo in beiden Fällen rund sechs Prozentpunkte höher als das naive Hinsehen, steht aber nicht in den Messungen der Demo und deshalb nicht in diesen Tabellen. Die Zahlen sind nicht gleichwertig. Dann der Fall mit kleinem Effekt: Sicherheitsfaktor 1,2, 100 Fenster je Arm, 5 Blicke. Die letzte Spalte ist die Schätzung unter den Experimenten mit Befund, als Vielfaches der wahren Wirkung.

Regel	Teststärke	Fenster je Arm im Mittel	Schätzung unter den Befunden
Fester Test (ein Blick am Ende)	81,3 %	100	das 1,12-Fache
O'Brien-Fleming	82,1 %	79,2	das 1,22-Fache
Pocock	73,8 %	69,6	das 1,42-Fache
Naives Hinsehen	nicht berichtet	nicht berichtet	das 1,36-Fache
mSPRT	57,1 %	nicht berichtet	das 1,6-Fache

Bei 30 Blicken im selben Fall liegt die Schätzung beim naiven Hinsehen beim 1,64-Fachen und bei O'Brien-Fleming beim 1,27-Fachen der Wahrheit. O'Brien-Fleming steht mit 82,1 % nicht gesichert über dem festen Test mit 81,3 %: Der Abstand liegt innerhalb der Messunsicherheit. Eine Nachrechnung dieser Seite mit mehreren anderen Zufallsfolgen ergibt im Mittel sogar den festen Test leicht vorn; die Reihenfolge ist also Zufall. Bei den Fenstern spart O'Brien-Fleming hier rund ein Fünftel, Pocock knapp ein Drittel (Rechnung dieser Seite aus den Zeilen der Tabelle).

Grenzen und was die Messung zeigt

Was sie belegt:

• Die Größenordnung der Fehlalarme beim naiven Hinsehen: Integration im Modell und Messung auf dem Vehikel liegen nahe beieinander.
• Dass Pocock, O'Brien-Fleming und Lan-DeMets auf diesem Vehikel ihr Niveau halten und die Bayes'sche Regel mit flacher Vorannahme nicht.
• Die Rangfolge der Regeln nach Teststärke und Dauer in den zwei gemessenen Fällen und die Überschätzung beim frühen Stopp im Fall mit kleinem Effekt. Die Konstanten sind selbst gerechnet und gegen Monte-Carlo-Pfade geprüft; sie decken sich mit den üblicherweise genannten Werten (aus dem Gedächtnis verglichen, die Tabelle ist nicht nachgeschlagen).

Was sie nicht belegt:

• Aussagen über echte Experimente: Alle Fenster sind erzeugt, unabhängig und aus einem endlichen Vorrat gezogen; die Blicke liegen gleichmäßig verteilt, es gibt einen Höchstumfang, und die Dauer ist in Fenstern gezählt, nicht in Wochen.
• Raten bei anderen Einstellungen als den gemessenen. Die Teststärke steht für zwei Fälle, die Überschätzung für einen; bei größerer Wirkung wurde sie nicht gemessen.
• Unterschiede innerhalb der Messunsicherheit: Der Standardfehler einer Rate beträgt bis zu rund einen Prozentpunkt, der eines Unterschieds zweier Raten bis zu rund eineinhalb.
• Den mSPRT über die Messung hinaus: Er ist nur mit Anlauf von 10 Fenstern je Arm und mit \(\tau\) von 2 Prozentpunkten gemessen. Warum seine Teststärke niedriger liegt, wurde nicht untersucht. Teststärke und Dauer von Lan-DeMets und Bayes sowie die Dauer des mSPRT stehen nicht in den Messungen der Demo.
• Bayes'sche Regeln mit informativer Vorannahme: Sie sind nicht gebaut. Die Vorab-Messreihe fand sie nur im Mittel über die Vorannahme kalibriert.
• Nicht gebaut sind einseitige Grenzen für Pocock, O'Brien-Fleming und Lan-DeMets (die Bayes'sche Regel ist einseitig), ein Stopp wegen Aussichtslosigkeit (Futility), ungleich verteilte Blicke (Lan-DeMets kann sie, die Demo zeigt gleichmäßige) und Konfidenzintervalle nach sequentiellem Stopp mit Korrektur der Verzerrung; gezeigt ist nur die Überschätzung.

Wo die Annahmen enden:

• Die Blicke stehen vorher fest (Pocock, O'Brien-Fleming): Wer sie nicht vorher festlegen kann, braucht die Ausgabefunktion von Lan-DeMets, solange die Blicke nicht von den beobachteten Ergebnissen abhängen, oder den mSPRT, der nach jedem Fenster gilt.
• Ein Test, eine Kennzahl: Mehrere Kennzahlen mit je mehreren Blicken vervielfachen die Zufallstreffer.
• Einheiten unabhängig und gleichartig: Kennzahlen, die ein Quotient zweier Summen sind (etwa Ausfälle je Bestellung), und Gruppen zusammengehöriger Einheiten (Cluster) machen die Statistik bei jedem Blick unsicherer.
• Die Streuung ist aus den Daten schätzbar: Ohne Anlauf war der mSPRT in der Vorab-Messreihe nicht gültig; mit Anlauf ist seine Gültigkeit nur empirisch geprüft.
• Die Zuteilung bleibt gültig: Fallen nach dem Stopp Fenster abhängig vom Ergebnis weg, ist der Vergleich verzerrt; das prüft man mit einem Test auf das Zuteilungsverhältnis (siehe Verweise).

Erweiterungen und Verweise

Was dieses Experiment ausklammert, behandeln andere Demos dieser Website:

• Der Vergleich mit festem Umfang: A/B-Test: ist der Unterschied echt? und Teststärke und Stichprobenumfang.
• Viele Kennzahlen oder Varianten: Mehrfachtests und Gewinnerfluch.
• Verhältniskennzahlen und Cluster: Verhältniskennzahlen und Cluster.
• Streuung der Schätzung senken: Varianzreduktion mit CUPED.
• Gültigkeit der Zuteilung: A/A-Test und Sample-Ratio-Mismatch.
• Dieselbe Frage für Simulationsläufe: Abbruchregeln: wann man aufhören darf misst, was Hinsehen bei jedem Schritt mit Intervallen von Simulationen macht.

Quellen

• Armitage, P., McPherson, C. K., & Rowe, B. C. (1969): Repeated significance tests on accumulating data. Journal of the Royal Statistical Society A 132, 235–244 (das Phänomen und die rekursive Integration; in der Demo genannt).
• Lan, K. K. G., & DeMets, D. L. (1983): Discrete sequential boundaries for clinical trials. Biometrika 70, 659–663 (Ausgabefunktion; in der Demo genannt).
• Pocock, S. J. (1977): Group sequential methods in the design and analysis of clinical trials. Biometrika 64, 191–199.
• O'Brien, P. C., & Fleming, T. R. (1979): A multiple testing procedure for clinical trials. Biometrics 35, 549–556.
• Robbins, H. (1970): Statistical methods related to the law of the iterated logarithm. Annals of Mathematical Statistics 41, 1397–1409 (Mischungsmethode); Johari, R., Koomen, P., Pekelis, L., & Walsh, D. (2017): Peeking at A/B tests. KDD 2017 (mSPRT im A/B-Test).
• Quelltext, Messreihe und Tests der Demo: github.com/sebastian-hanisch/sequential-test-demo.

Nur die Arbeiten von Armitage et al. sowie Lan und DeMets nennt die Demo. Die übrigen Literaturhinweise stammen aus dem Gedächtnis und wurden für diese Seite nicht nachgeschlagen. Die Herleitungen sind Standardwissen und Rechnungen dieser Seite, keine Messungen der Demo.