Wann man aufhören darf, verständlich erklärt
Man lässt eine Simulation, eine Umfrage oder einen Münzwurf-Versuch laufen und hört auf, sobald das Ergebnis gut genug aussieht. Wer so vorgeht, bricht die Bedingung der üblichen Fehlerspanne (Vertrauensintervall): Sie verfehlt die Wahrheit dann häufiger als versprochen. Dieser Text zeigt, warum, welche Fehlerspannen das Anhalten vertragen und was sie kosten.
Zuletzt aktualisiert:
Ein Wort unbekannt? Das Begriffsverzeichnis erklärt es in wenigen Sätzen.
Das Bild: nachsehen, bis es passt
Sie wollen wissen, ob eine Münze fair ist. Gesucht ist ihr wahrer Anteil Kopf: der Anteil, den man nach unendlich vielen Würfen sähe. Bei einer fairen Münze ist das genau die Hälfte. Sie werfen Wurf um Wurf und rechnen jedes Mal den bisherigen Anteil Kopf aus.
Zu diesem Anteil gehört eine Fehlerspanne: ein Bereich um den ausgerechneten Wert, in dem der wahre Anteil liegen soll (Fachwort: Vertrauensintervall). Je mehr Würfe, desto schmaler wird sie. Die Fehlerspanne kommt mit einem Versprechen: Nur in einem von zwanzig Fällen liegt der wahre Anteil außerhalb.
Das Versprechen hat eine Bedingung: Die Zahl der Würfe steht vorher fest, und man schaut erst am Ende hin. Viele sehen aber nach jedem Wurf nach und hören auf, sobald das Ergebnis klar wirkt. Bei der Münze heißt das: sobald die Fehlerspanne die Hälfte nicht mehr enthält und die Münze unfair aussieht.
Warum das schiefgeht
Der Zufall lässt den bisherigen Anteil hin und her schwanken. Auch eine faire Münze zeigt mal eine Weile öfter Kopf. In so einem Moment kann die Fehlerspanne die Hälfte kurz verfehlen. Jedes Nachsehen ist eine neue Gelegenheit dafür, wie beim Würfeln: Ein einzelner Wurf bringt selten eine Sechs, aber wer weiterwürfelt, bekommt sie irgendwann. Wer genau dann aufhört, hält eine faire Münze für unfair.
Zu diesem Text gehört ein Programm zum Ausprobieren im Browser; der erste Knopf unten öffnet es, zum Verstehen brauchen Sie es nicht. Es macht genau diesen Versuch mit erfundenen Zufallsereignissen, deren wahren Anteil es genau kennt; wir bleiben bei der Münze. Ein Durchgang ist eine ganze Wurfreihe bis zu einer festen Höchstzahl an Würfen. Das Programm wiederholt ihn tausendfach und zählt auf zwei Arten:
- Einmal hinsehen: Die Zahl der Würfe steht vorher fest und ist groß; geprüft wird nur am Ende. Dann verfehlte die Fehlerspanne den wahren Anteil in etwa einem von zwanzig Durchgängen, wie versprochen.
- Nach jedem Wurf hinsehen: Ein Durchgang zählt als Fehlschlag, wenn die Fehlerspanne den wahren Anteil bei irgendeinem Blick verfehlt hat. Genau dann hätte jemand, der beim ersten auffälligen Blick aufhört, ein falsches Ergebnis. Das war in mehr als der Hälfte der Durchgänge so.
Die beiden Zahlen widersprechen sich nicht. Jeder einzelne Blick verfehlt selten. Bei sehr vielen Blicken ist aber leicht einer dabei, wie die Sechs beim Weiterwürfeln.
Was hilft: eine breitere Fehlerspanne
Ein Bild hilft: Die übliche Fehlerspanne ist ein Schlauch um den bisherigen Anteil, der den wahren Anteil einfangen soll. Er ist für einen einzigen Blick bemessen. Schaut man wieder und wieder hinein, rutscht der wahre Anteil irgendwann durch.
Man kann die Fehlerspanne breiter bauen: als dicken Schlauch, bemessen für die ganze Wurfreihe. Das Programm hat sie streng gezählt, also nach jedem Wurf hingesehen. Der wahre Anteil lag dann nur in 1 bis 2 von 100 Durchgängen irgendwann außerhalb. Das ist seltener als versprochen. Mit dieser breiten Fehlerspanne darf man also nachsehen und aufhören, wann man will.
Der Preis: Eine breite Fehlerspanne wird erst nach mehr Würfen schmal genug. Im Programm brauchte sie etwa das Drei- bis Fünffache der Würfe, die nötig wären, wenn man vorher wüsste, wie viele genügen.
Wie man sie ausrechnet, zeigt der zweite Teil; Fachleute nennen sie jederzeit gültige Konfidenzfolge. Vorsicht: Manche Rechnungen unter diesem Namen gelten nur für sehr viele Würfe und verfehlen bei seltenen Ereignissen.
Wann man auch mit der üblichen Fehlerspanne aufhören darf
Gefährlich ist es, den Moment nach dem Ergebnis auszusuchen. Anders ist es, wenn man nur aufhört, weil die Fehlerspanne schmal genug ist. Das Programm hat zwei solche Regeln mit der üblichen Fehlerspanne geprüft, mit Blicken in wachsenden Abständen.
- Schmal im Verhältnis zum Ergebnis: Man hört auf, sobald die Fehlerspanne nur noch ein kleiner Teil des bisherigen Anteils ist, und erst nach mindestens einem Kopf. Diese Regel hielt das Versprechen in der Messung ungefähr ein. Das passt dazu, dass sie nur nach der Breite fragt, nicht danach, was die Fehlerspanne gerade zeigt.
- Schmaler als ein fester Betrag: Diese Regel versagt, wenn Kopf selten ist, etwa bei einer stark gezinkten Münze. Die übliche Fehlerspanne wird aus dem Hin und Her der bisherigen Würfe berechnet. Ist noch kein Kopf gefallen, gibt es kein Hin und Her, und die Fehlerspanne hat die Breite null. Die Regel hält deshalb schon beim ersten Blick an, mit dem Ergebnis „nie Kopf“. Im seltensten gemessenen Fall geschah das in 70 % der Durchgänge.
Wo auch die breite Fehlerspanne an Grenzen stößt
Manchmal will man nur wissen, ob der Anteil unter einer Grenze liegt, etwa unter der Hälfte. Die breite Fehlerspanne entscheidet erst, wenn sie ganz auf einer Seite der Grenze liegt. Liegt der wahre Anteil knapp an der Grenze, muss sie dafür sehr schmal werden, und das kostet sehr viele Würfe. Im knappsten gemessenen Fall war nach 2 Millionen Würfen in 72 % der Durchgänge noch nichts entschieden. Das ist kein Fehler: Die Daten geben die Entscheidung noch nicht her.
Woran Sie es im Alltag merken
- Sätze wie „wir haben gemessen, bis es stabil aussah“ oder „wir haben aufgehört, als es eindeutig war“. Fragen Sie dann: Stand die Zahl der Messungen vorher fest?
- Eine Umfrage oder ein Versuch wurde verlängert, bis das erhoffte Ergebnis dastand. Jede Verlängerung war eine neue Gelegenheit für den Zufall.
Wie schlimm ist es bei Ihren eigenen Zahlen? Das hängt davon ab, wonach Sie angehalten haben. Endete die Messung, sobald die gewünschte Aussage dastand, kann es so schlimm sein wie beim Nachsehen nach jedem Wurf. Endete sie nur, weil die Fehlerspanne schmal genug war, blieb der Schaden in der Messung gering, außer bei seltenen Ereignissen. Wie viel seltenes Nachsehen hilft, hat das Programm nicht gemessen.
Was Sie mitnehmen
- Die übliche Fehlerspanne verträgt kein Aufhören, sobald das gewünschte Ergebnis dasteht.
- Wer zwischendurch nachsehen und anhalten will, braucht eine breitere Fehlerspanne und plant mehr Messungen ein.
- Liegt der wahre Wert knapp an einer Grenze, erzwingt auch langes Messen keine Entscheidung.
Wie ernst ist das Modell zu nehmen?
Das Programm rechnet mit erfundenen Beispielen, bei denen jeder Versuch nur Ja oder Nein ergibt und der wahre Anteil genau bekannt ist. Die Zahlen gelten für diese Beispiele, nicht für beliebige Messgrößen wie Zeiten oder Gewichte.
Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.
Modell und Annahmen
Untersucht wird eine Folge unabhängiger Ja-Nein-Ausgänge \(X_1, X_2, \dots\) mit unbekannter Wahrscheinlichkeit \(\pi\); \(S_n = \sum_{i \le n} X_i\), \(\hat p_n = S_n/n\). Alle Verfahren sehen nur diese Folge. Um ihre Fehler zu messen, muss \(\pi\) genau bekannt sein; dafür liefern kleine erfundene Netze exakte Werte von \(\pi\), gezogen wird dann direkt Bernoulli(\(\pi\)).
- Netze: Gitter 3×3 und 3×4 und die Hantel (zwei Dreiecke mit einer Brückenkante). Jede Kante bleibt unabhängig mit Wahrscheinlichkeit \(q\) erhalten; \(T\) ist danach die Zahl der Zusammenhangskomponenten. Alle Wahrscheinlichkeiten folgen exakt aus der Aufzählung aller Kantenmengen.
- Schätzaufgabe: \(\pi = \mathbb P(T \ge 2)\), die Wahrscheinlichkeit, dass das Netz zerfällt.
- Testaufgabe: Nullhypothese \(H_0\): Das Netz entsteht nach diesem Kantenmodell mit gegebenem \(q\); Teststatistik ist \(T\). Zu einer beobachteten Komponentenzahl \(T_{\rm obs}\) ist \(\pi = \mathbb P_{H_0}(T \ge T_{\rm obs})\) der exakte p-Wert. Jede Simulation erzeugt ein Netz unter \(H_0\), \(X_i = \mathbf 1[T_i \ge T_{\rm obs}]\). Richtig ist Ablehnen genau dann, wenn \(\pi\le\alpha\).
- Niveau: \(\alpha = 0{,}05\) für Intervalle (95 %) und Test.
- Wiederholungen (Startwert 38): Hinsehen 1.000 Pfade bis n = 10.000, Blick bei jedem n ab 30; Abbruchregeln 2.000 Läufe je Netz; Stopp nach \(k\) Ereignissen 100.000 Läufe je \(k\); Test 2.000 Läufe je Kombination aus \(\pi\) und Verfahren.
Verfahren und Formeln
Intervalle zum festen \(n\): Wald \(\hat p_n\pm z\sqrt{\hat p_n(1-\hat p_n)/n}\) mit dem Normalquantil \(z\) zum Niveau 95 %, und Wilson; beide sind nur für ein vorher festgelegtes \(n\) gültig. Konfidenzfolge: eine Folge von Intervallen \(C_n\) mit \(\mathbb P(\pi\in C_n\ \text{für alle}\ n)\ge1-\alpha\); dann ist auch das Intervall zu jeder datenabhängigen Stoppzeit gültig. Werkzeug ist die Ville-Ungleichung: Für ein nichtnegatives Supermartingal \(L_n\) mit \(L_0=1\) gilt
\[\mathbb P(\exists n:\,L_n\ge1/\alpha)\le\alpha\]
Beta-Mischung (Beta(½, ½)): \(L_n(m)\) vergleicht die Wahrscheinlichkeit der beobachteten Folge, gemittelt über alle Erfolgswahrscheinlichkeiten mit dem Gewicht Beta(½, ½), mit ihrer Wahrscheinlichkeit unter \(\pi=m\):
\[L_n(m)=\dfrac{B(S_n+\frac12,\,n-S_n+\frac12)/B(\frac12,\frac12)}{m^{S_n}(1-m)^{n-S_n}}\]
Warum das ein Martingal ist: Für eine feste Alternative \(\theta\) ist der Likelihood-Quotient \(\prod_{i\le n}\theta^{X_i}(1-\theta)^{1-X_i}/\big(m^{X_i}(1-m)^{1-X_i}\big)\) unter \(\pi=m\) ein Martingal, denn jeder Faktor hat dort Erwartung \(\theta+(1-\theta)=1\). Eine Mischung solcher Martingale über \(\theta\) ist wieder eines, mit Startwert 1. Ville für \(m=\pi\) ergibt: \(C_n=\{m:\,L_n(m)<1/\alpha\}\) enthält \(\pi\) mit Wahrscheinlichkeit mindestens \(1-\alpha\) für alle \(n\) zugleich, ohne Grenzübergang. Die Enden von \(C_n\) sind die Lösungen von \(L_n(m)=1/\alpha\) links und rechts von \(\hat p_n\) (Bisektion).
Vergleichsfolgen: Die Hoeffding-Mischung (Normalmischung von Exponentialmartingalen) nutzt nur die Varianzschranke 1/4 jeder Bernoulli-Variable und ist breiter; die Mischungsvarianz ist so gewählt, dass die Halbbreite bei \(n_0\) = 1.000 am kleinsten ist. Die asymptotische Folge (nach Waudby-Smith u. a.) setzt in dieselbe Grenze die geschätzte Streuung \(\sqrt{\hat p_n(1-\hat p_n)}\) ein; sie ist nur im Grenzübergang großer \(n\) gültig.
Abbruchregeln, geprüft auf einem geometrischen Prüfgitter (Blicke bei n = 30, dann jeweils Faktor 1,03): Die relative Regel stoppt, sobald \(\hat p_n>0\) und die Halbbreite \(h_n\le\varepsilon\hat p_n\) (geforderte relative Genauigkeit \(\varepsilon\)); die absolute stoppt, sobald die Wald-Halbbreite höchstens 0,01 ist, also schon beim ersten Blick, wenn \(S_n=0\) (Halbbreite null). Maßstab ist der Orakelumfang, den man bei bekanntem \(\pi\) bräuchte:
\[n^*=z^2(1-\pi)/(\varepsilon^2\pi)\]
Stopp nach \(k\) Ereignissen (inverse Stichprobe): \(n_k\), die Zahl der Proben bis zum \(k\)-ten Ereignis, ist negativ binomial verteilt; für \(k\ge2\) gilt \(\mathbb E[(k-1)/(n_k-1)]=\pi\), aber \(\mathbb E[k/n_k]>\pi\). Monte-Carlo-Test, drei Verfahren: fester Umfang \(n\) mit p-Wert-Schätzer \((1+S_n)/(1+n)\), Ablehnen, wenn er höchstens \(\alpha\) ist; Besag–Clifford stoppt beim \(h\)-ten Ausschlag (\(X_i=1\)) mit Schätzer \(h/n\); wird vorher \(n_{\max}\) erreicht, nimmt diese Demo den Schätzer des festen Umfangs mit \(n=n_{\max}\) (gemessen: h = 10 mit \(n_{\max}\) = 999, h = 50 mit 9999); die Konfidenzfolgen-Entscheidung stoppt auf dem Prüfgitter, sobald \(\alpha\) nicht mehr im Beta-Mischungs-Intervall zum Niveau δ = 0,01 liegt, lehnt ab, wenn dann \(\hat p_n<\alpha\), und bleibt nach 2 · 10⁶ Simulationen ohne Stopp unentschieden. Gemessen wird das Entscheidungsrisiko, die Wahrscheinlichkeit einer anderen Entscheidung als der exakten (Ablehnen genau bei \(\pi\le\alpha\)):
\[\mathbb P(\text{Entscheidung}\ne\mathbf 1[\pi\le\alpha])\]
Beim festen \(n\) folgt es exakt aus der Binomialverteilung. Bei der Konfidenzfolgen-Entscheidung zählen nur getroffene Entscheidungen; eine falsche setzt voraus, dass das Intervall \(\pi\) ausschließt, nach Ville also Risiko höchstens δ, auch mit Prüfgitter und Höchstzahl. Bei \(\pi=\alpha\) bleibt sie darum mit Wahrscheinlichkeit mindestens \(1-\delta\) unentschieden. Nach Theorie, nicht gesondert gemessen, wächst für diese Beta-Mischung die erwartete Zahl an Simulationen nahe der Schwelle bis auf einen logarithmischen Faktor wie \(1/(\pi-\alpha)^2\): Sie zieht, bis die Intervallbreite unter \(|\pi-\alpha|\) fällt, und diese schrumpft etwa wie \(\sqrt{\log n/n}\). Andere Konfidenzfolgen haben andere Faktoren, etwa \(\log\log\).
Befunde
Anteile sind bei 1.000 bis 2.000 Wiederholungen auf etwa ±0,02 genau. „Irgendwann außerhalb“ ist der Anteil der 1.000 Pfade, in denen \(\pi\) bei irgendeinem n zwischen 30 und 10.000 außerhalb des Intervalls liegt (nominell höchstens 0,05); das ist zugleich die Fehlerquote dessen, der stoppt, sobald das Intervall den wahren Wert ausschließt. Die Hoeffding-Folge (nicht in der Tabelle) liegt über die fünf Netze bei irgendwann außerhalb 0,000 bis 0,039.
| Netz, \(q\) | \(\pi\) | irgendwann außerhalb: Wald | … Wilson | … Beta-Folge | … asymptotische Folge | absolute Regel: Stopp mit null Ereignissen | absolute Regel: Abdeckung des Endintervalls |
|---|---|---|---|---|---|---|---|
| Gitter 3×3, 0,9 | 0,0530 | 0,615 | 0,558 | 0,012 | 0,255 | 19 % | 0,767 |
| Gitter 3×3, 0,95 | 0,0118 | 0,808 | 0,503 | 0,009 | 0,701 | 70 % | 0,290 |
| Hantel, 0,9 | 0,1497 | 0,616 | 0,578 | 0,014 | 0,054 | 1 % | 0,941 |
| Gitter 3×4, 0,9 | 0,0555 | 0,623 | 0,537 | 0,019 | 0,239 | 19 % | 0,760 |
| Gitter 3×3, 0,7 | 0,4890 | 0,583 | 0,563 | 0,016 | 0,041 | 0 % | 0,956 |
| Frage | Befund |
|---|---|
| Wie oft verfehlt das Intervall bei einem einzelnen festen n? | Wald, Gitter 3×3, \(q\) = 0,9: 0,100 / 0,057 / 0,041 bei n = 100 / 1.000 / 10.000 (Simulation), exakt aus der Binomialsumme 0,102 / 0,052 / 0,050. Bei \(q\) = 0,95, n = 100: 0,283, exakt 0,305; dort ist schon das feste n zu klein. Alle vier Abweichungen liegen im Simulationsfehler aus 1.000 Pfaden (Standardfehler \(\sqrt{a(1-a)}\) durch Wurzel der Pfadzahl, \(a\) exakter Anteil): 0,041 gegen 0,050 gut einen (Standardfehler 0,007), 0,283 gegen 0,305 gut anderthalb (0,014), die übrigen unter einem (Rechnung dieser Seite). |
| Warum versagt die asymptotische Folge? | Verletzte Voraussetzung, kein Gegenbeispiel zur Theorie: Sie gilt nur im Grenzübergang, gemessen wird ab n = 30, und bei seltenen Ereignissen ist die geschätzte Streuung lange unzuverlässig. Außerhalb der Tabelle: Hantel mit \(q\) = 0,95 (\(\pi\) = 0,064) 0,221, Gitter 3×3 mit \(q\) = 0,5 (\(\pi\) = 0,89) 0,097. |
| Was kostet die Zeit-Gleichmäßigkeit? | Halbbreite Beta-Folge gegen Wald (\(q\) = 0,9): 1,74 / 1,87 / 2,02 / 2,16 bei n = 10² bis 10⁵; über alle gemessenen Netze 1,65- bis 2,16-mal so breit (der untere Wert aus einem anderen Netz), also etwa 3- bis 5-mal so viele Proben für dieselbe Breite. Hoeffding 3,46 bis 4,48 (\(q\) = 0,9) und 7,11 bis 9,81 (\(q\) = 0,95). |
| Relative Regel: Umfang und Abdeckung? | Gitter 3×3, \(q\) = 0,9, ε = 0,2, n* = 1.715: Wald 1,02·n*, Abdeckung 0,957; Wilson 1,03·n*, 0,949; Beta-Folge 4,04·n*, 1,000. Über alle Netze: Beta-Folge 3,7 bis 4,9·n* (Gitter 3×3 mit \(q\) = 0,7: 3,15 und 3,60) bei Abdeckung 0,999 bis 1,000; Wald und Wilson 0,93 bis 0,96. |
| Ist die relative Regel verzerrt? | Gitter 3×3, \(q\) = 0,9, nach oben: leicht bei ε = 0,2 (+1,1 %), 0,0 % bei ε = 0,1, spürbar bei ε = 0,5 (n* = 274: +7,4 %; Hantel +9,2 % mit Wald, +10,1 % mit Wilson). |
| Stopp nach k Ereignissen? | Gitter 3×3, \(q\) = 0,9 (\(\pi\) = 0,0530): k/n ist nach oben verzerrt, +22,9 % bei k = 5, +10,4 % bei k = 10, +3,2 % bei k = 30, +1,0 % bei k = 100. (k − 1)/(n − 1) ist erwartungstreu (Verzerrung höchstens ±0,5 %). |
| Monte-Carlo-Test knapp über der Schwelle? | Gitter 3×3, \(q\) = 0,9, \(T_{\rm obs}\) = 2 (\(\pi\) = 0,0530, 1,06·α): Risiko beim festen n = 99 / 999 / 9999: 0,400 / 0,311 / 0,090; Besag–Clifford h = 10: 0,375, h = 50: 0,320 (höchstens 999 bzw. 9999 Simulationen); Konfidenzfolgen-Entscheidung 0,000, aber im Mittel 110.786 Simulationen, also gut das Elffache des größten festen Umfangs (Rechnung dieser Seite). |
| Was kostet die Konfidenzfolgen-Entscheidung? | Mittlere Simulationen: 296 (\(\pi\) = 0,2·α), 1.672 (0,6·α), 8.049 (0,8·α), 36.447 (0,9·α), 1,1 · 10⁶ (0,98·α, 5 % offen); bei \(\pi\) = α alle Läufe offen (2 · 10⁶). Klare Fälle (4·α, 10·α): 54 und 30; Besag–Clifford (h = 10) dort 49 und 20 bei Risiko 0. Ihr Risiko war bei allen gemessenen \(\pi\) höchstens 0,002 (zugesagt δ = 0,01). |
| Und genau an der Schwelle? | Gitter 3×3, \(q\) = 0,7, T ≥ 4: \(\pi\) = 0,04935, knapp unter α = 0,05. Risiko beim festen n = 999: 0,486, n = 9999: 0,383; Konfidenzfolgen-Entscheidung: 72 % der Läufe bis 2 · 10⁶ Simulationen unentschieden. |
Risiko gegen den Abstand zur Schwelle (\(\pi/\alpha\)):
| \(\pi/\alpha\) | fest n = 99 | n = 999 | n = 9999 | Besag–Clifford h = 10 | h = 50 |
|---|---|---|---|---|---|
| 0,8 | 0,342 | 0,073 | 0,000 | 0,266 | 0,062 |
| 0,98 | 0,545 | 0,440 | 0,328 | 0,498 | 0,474 |
| 1,0 | 0,538 | 0,531 | 0,502 | 0,535 | 0,512 |
Was daraus folgt (für Bernoulli-Folgen und diese Netze gemessen)
- Nur am Ende hinsehen: fester Umfang, bevorzugt Wilson; Wald nur, wenn \(n\pi\) groß ist (bei \(n\pi\) um 1 verfehlt Wald exakt 0,305 statt 0,05).
- Stoppen, sobald die Genauigkeit reicht: relative Regel mit Schutz gegen \(\hat p_n=0\); die absolute Regel ohne Schutz bei seltenen Ereignissen meiden.
- Jederzeit hinsehen und anhalten: eine nicht asymptotische Folge wie die Beta-Mischung, mit dem 3- bis 5-Fachen von n* als Preis; asymptotische Folgen nicht bei seltenen Ereignissen und kleinem Startumfang.
- Dashboards und A/B-Tests: Dort ist laufendes Hinsehen der Normalfall. Gruppensequentielle Verfahren mit geplanten Zwischenblicken (Pocock, O'Brien–Fleming) und mSPRT sind die naheliegende Alternative, hier nicht gerechnet.
- Monte-Carlo-Test: die Konfidenzfolgen-Entscheidung, wenn das Risiko beschränkt sein muss; Besag–Clifford mit kleinem h nur, wenn \(\pi\) weit von \(\alpha\) liegt.
Grenzen
- Nur Bernoulli-Folgen: Mittelwerte stetiger Größen mit geschätzter Streuung sind nicht gemessen; die Netze sind erfunden.
- Je Familie ein Verfahren: Die Kosten gelten für diese Beta-Mischung; Wetten-Folgen, der Test von Fischer und Ramdas und Gandys Algorithmus sind nicht gebaut.
- Prüfgitter: Wie viel vom Irgendwann-außerhalb-Anteil bei Blicken nur auf dem Gitter bliebe, ist nicht gemessen; Kosten nahe \(\alpha\) nur bis zur Höchstzahl.
Quellen
- Waudby-Smith, Arbour, Sinha, Kennedy und Ramdas: Time-uniform central limit theory and asymptotic confidence sequences. Annals of Statistics (2024).
- Besag und Clifford: Sequential Monte Carlo p-values. Biometrika (1991).
- Gandy: Sequential implementation of Monte Carlo tests with uniformly bounded resampling risk. JASA (2009).
- Fischer und Ramdas: Sequential Monte-Carlo testing by betting, arXiv 2401.07365.
- Quelltext und Messreihen der Demo: github.com/sebastian-hanisch/abbruchregeln-demo.
Titel und Zeitschriften nachgeschlagen, Arbeiten nur im Abstract gelesen; die Einordnung gruppensequentieller Verfahren ist aus dem Gedächtnis.