Mehrfachtests verständlich erklärt

Wer viele Dinge zugleich ausprobiert, stößt bald auf einen Treffer, der keiner ist. Diese Seite zeigt, warum das so ist, was dagegen hilft und warum selbst der echte Sieger besser aussieht, als er ist.

Zuletzt aktualisiert: 11. November 2026

Ein Wort unbekannt? Das Begriffsverzeichnis erklärt es in wenigen Sätzen.

Zwanzig Ratende, eine Auffällige

Zwanzig Kolleginnen raten jeweils zehn Münzwürfe voraus. Niemand kann hellsehen, alle raten nur. Auffällig soll gelten, wer so viele Treffer hat, dass das beim bloßen Raten nur in einem von zwanzig Fällen vorkäme.

Für eine einzelne Person ist dieses Risiko klein. Bei zwanzig Ratenden ist es anders: Jede hat ihre eigene Chance, aufzufallen. Im Schnitt ist deshalb eine von ihnen auffällig, obwohl keine etwas kann.

Ein Test arbeitet genauso. Er fragt: Kann das Zufall sein? Schlägt er Alarm, obwohl nichts dahintersteckt, heißt das Fehlalarm. Bei einem einzelnen Test nimmt man einen Fehlalarm je zwanzig Versuche in Kauf. Wer viele Tests zugleich macht, führt Mehrfachtests durch.

Das Beispiel: zwanzig Bestellregeln

Ein Händler beliefert Läden aus einem Lager. Seine bisherige Bestellregel heißt Regel A. Sie bestellt täglich nach und hält einen Puffer an Ware vor, damit Kundinnen nicht vor leeren Regalen stehen. Der Händler probiert zwanzig Abwandlungen der Regel aus.

Gemessen wird die Lieferbereitschaft (Fachleute sagen Servicegrad): Welcher Anteil der Nachfrage wird sofort aus dem Regal bedient? Jede Abwandlung wird gegen Regel A verglichen, über viele Läden und jeweils vier Wochen.

Zwei der zwanzig haben einen größeren Puffer und sind dadurch wirklich besser. Bei den übrigen ändert sich am Ergebnis nichts, sie sind genauso gut wie Regel A. Das ist ein Rechenspiel mit erfundenen Läden, deshalb steht die Wahrheit fest. Im echten Leben müsste der Händler sie aus den Messungen erschließen.

Zu dieser Seite gehört ein Programm zum Ausprobieren im Browser, kurz Demo. Es spielt dieses Beispiel viele Male mit Zufallszahlen durch. Jedes Durchspielen heißt hier Durchlauf, und „in der Messung“ meint solche Durchläufe. Am Ende dieses Teils gibt es zwei Knöpfe. Der erste öffnet die Demo, der zweite führt zum zweiten Teil für Fachleute. Zum Verstehen brauchen Sie die Demo nicht.

Warum sich Fehlalarme häufen

Angenommen, keine der zwanzig Abwandlungen bringt etwas. Ein einzelner Vergleich geht in neunzehn von zwanzig Fällen gut. Alle zwanzig zusammen gehen nur in gut einem Drittel der Fälle gut, wenn die Vergleiche unabhängig sind. Unabhängig heißt hier: Jede Abwandlung hat ihre eigenen Vergleichsläden unter Regel A. Knapp zwei Drittel der Durchläufe enthalten dann mindestens einen Fehlalarm. Das passt zum Schnitt von einem: Manche Durchläufe haben mehrere Fehlalarme, andere keinen.

Vergleichen alle Abwandlungen dagegen mit denselben Läden unter Regel A, sind es weniger Durchläufe, in der Messung etwa vier von zehn. Das Bild dahinter: Erwischt Regel A in diesen Läden zufällig eine schlechte Phase, sehen gleich mehrere Abwandlungen gut aus. Die Fehlalarme kommen im Paket und treffen deshalb weniger Durchläufe.

Strenger prüfen: drei Wege

Der naheliegende Ausweg ist eine höhere Latte: Jede Abwandlung muss auffälliger sein als zuvor.

• Bonferroni. Die Latte liegt höher, und zwar umso höher, je mehr verglichen wird. Bei zwanzig Vergleichen muss ein Zufallsergebnis zwanzigmal seltener sein als bei einem einzigen.
• Holm. Die auffälligste Abwandlung muss die strenge Latte von Bonferroni überspringen, jede weitere eine etwas niedrigere. Scheitert eine, werden alle weniger auffälligen nicht mehr gemeldet. Bei zwei echten Abwandlungen lag Holm in der Messung nur um Bruchteile eines Prozentpunkts vor Bonferroni.
• Benjamini-Hochberg. Es erlaubt ein paar Fehlalarme, achtet aber darauf, dass nur ein kleiner Teil der Meldungen falsch ist. Ein Bild: Eine Trefferliste darf einige falsche Einträge enthalten, solange sie nur einen kleinen Teil der Liste ausmachen.

Alle drei halten die Fehlalarme in Schach. Waren alle zwanzig Abwandlungen wirkungslos, enthielten in der Messung nur noch etwa 4 bis 5 Prozent der Durchläufe einen Fehlalarm.

Der Preis: Strengeres Prüfen kostet echte Funde. Eine wirkliche Verbesserung ist im zufälligen Auf und Ab der Verkäufe schwer von einem Zufallstreffer zu trennen. Liegt die Latte höher, schafft sie sie seltener. Ohne Korrektur wird jede der zwei echten Abwandlungen in etwa acht bis neun von zehn Fällen gefunden. Mit Bonferroni sind es weniger als die Hälfte. Verglichen wird dabei gegen dieselben Läden unter Regel A.

Benjamini-Hochberg findet mehr, nimmt dafür aber gelegentlich einen Fehlalarm in Kauf. Sind fünf statt zwei Abwandlungen echt, enthielten in der Messung 15 Prozent der Durchläufe mindestens einen Fehlalarm. Wer Fehlalarme klein halten will, nimmt Holm. Wer mehr Funde will und einzelne Fehlalarme verträgt, nimmt Benjamini-Hochberg.

Der Gewinnerfluch

Ein zweites Problem bleibt auch nach strenger Prüfung. Zehn Schützinnen sind gleich gut. Jede gibt zehn Schüsse auf ein Tor ab. Wer am meisten trifft, gilt als die Beste. In der nächsten Runde trifft sie im Schnitt wieder so oft wie die anderen, also weniger als in der ersten.

Der Grund: Jede Messung besteht aus der wahren Fähigkeit und einem Zufallsanteil. Wer die höchste Zahl auswählt, wählt tendenziell auch einen besonders glücklichen Zufallsanteil mit. Diesen Aufschlag nennt man Gewinnerfluch. Bei der Wiederholung fehlt er, weil dort nichts mehr ausgewählt wird.

Dafür ändern wir das Lagerbeispiel: Alle Abwandlungen haben denselben kleinen echten Vorteil gegenüber Regel A. Die beste von zehn zeigt in der Messung gut anderthalbmal so viel Verbesserung, wie wirklich in ihr steckt. Frisch gemessen liegt sie wieder bei der Wahrheit. Bestätigt heißt: Eine zweite Messung findet sie wieder besser. Das gelingt in gut einem Drittel der Fälle, nicht öfter als bei jeder anderen Abwandlung. Ihr Vorsprung beweist also nichts.

Hat keine Abwandlung einen Vorteil, wird es schlimmer. Die beste von zehn zeigt im Mittel trotzdem einen Gewinn. Mit der gewöhnlichen Latte, ohne Korrektur, wird sie in 15 Prozent der Durchläufe als auffällig gemeldet. Eine zweite Messung bestätigt sie nur in 2 Prozent.

Häufige Missverständnisse

• „Hat die Abwandlung die strenge Prüfung bestanden, stimmt auch ihre Zahl.“ Die Prüfung hält wirkungslose Abwandlungen draußen. Die Zahl des Siegers bleibt aufgebläht, weil sie aus einer Auswahl stammt. Erst eine neue Messung ist frei davon.
• „Ich teste doch nur eine Abwandlung.“ Wer danach viele Kennzahlen ansieht, etwa Umsatz, Retouren und Lieferzeit, hat viele Vergleiche gemacht. Jeder weitere Blick ist eine weitere Chance auf einen Zufallstreffer.

Woran Sie das im Alltag erkennen

• Eine Schlagzeile meldet einen überraschenden Zusammenhang. Hinter ihr steckt manchmal eine Untersuchung, die Dutzende Dinge abgefragt hat.
• Wer in einer Rangliste ganz oben steht, etwa die Filiale mit dem besten Quartal, rutscht beim nächsten Mal im Schnitt ab. Ein Grund kann sein, dass beim ersten Mal Glück dabei war.

Wie ernst ist das Rechenbeispiel zu nehmen?

Die Läden und Zahlen sind erfunden und stark vereinfacht. Alle Abwandlungen mit echtem Vorteil sind hier gleich gut. In Wirklichkeit unterscheiden sie sich, und dann ist die Auswahl der Besten teilweise berechtigt. Das Beispiel zeigt, wie sich die Verfahren verhalten, nicht welche Bestellregel sich lohnt.

Was Sie mitnehmen

• Fragen Sie bei jedem Treffer, wie viel ausprobiert wurde, und nicht nur, wie viel gezeigt wird.
• Misstrauen Sie der Zahl eines Siegers umso mehr, je größer die Auswahl war, aus der er kam. Verlässlich ist erst eine neue Messung.
• Strengere Prüfung tauscht Zufallstreffer gegen verpasste echte Funde. Entscheiden Sie vorher, was teurer ist.

Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.

Modell und Annahmen

Dieser Teil ist eigenständig lesbar. Er beschreibt, wie viele gleichzeitige Vergleiche ausgewertet werden und was dabei gemessen wird.

• Vehikel: Ein Standort bestellt täglich nach einer Order-up-to-Regel nach. Die Wiederbeschaffungszeit beträgt zwei Tage, das Zentrallager ist unbegrenzt, die Tagesnachfrage ist negativ-binomial verteilt. Das Bestellniveau ist der Bedarf der Wiederbeschaffungszeit plus \(z\) Standardabweichungen; \(z\) heißt Sicherheitsfaktor. Die bestehende Regel A hat \(z = 1{,}0\). Eine Einheit des Experiments ist ein Standort-Fenster: vier Wochen Auswertung nach einer Einschwingzeit mit derselben Regel. Die Kennzahl ist der Servicegrad, der Anteil der Nachfrage, der sofort aus dem Bestand bedient wird.
• Aufbau: \(m\) Varianten von Regel B werden einzeln gegen Regel A verglichen. Die ersten \(m_1\) haben eine echte Wirkung (Sicherheitsfaktor \(z\)), die übrigen \(m_0 = m - m_1\) sind gleich A. Je Vergleich werden \(n\) Fenster je Arm gezogen, mit Zurücklegen aus vorgerechneten Pools von je 10 000 simulierten Fenstern je Sicherheitsfaktor. Die Kontrolle ist gemeinsam (ein Arm A für alle Vergleiche, die Tests sind positiv abhängig) oder eigen je Vergleich (unabhängige Tests). Voreinstellung der Demo: \(m = 20\), \(m_1 = 2\), \(z = 1{,}4\), \(n = 30\), gemeinsame Kontrolle.
• Test: Jeder Vergleich ist ein zweiseitiger Welch-Test auf die Differenz der mittleren Servicegrade. Er liefert den p-Wert \(p_i\); das Niveau \(\alpha\) ist fünf Prozent.
• Vier Verfahren: ohne Korrektur, Bonferroni, Holm und Benjamini-Hochberg (Definitionen im nächsten Abschnitt).
• Messgrößen (je Experiment bestimmt, dann über die Wiederholungen gemittelt): Mindestens ein Fehlalarm (familienweise Fehlerrate, englisch FWER) ist der Anteil der Experimente, in denen mindestens eine wirkungslose Variante gemeldet wird. Der Anteil falscher Entdeckungen (FDR) ist das Mittel von \(V/R\), mit \(V\) gemeldeten wirkungslosen Varianten, \(R\) allen Meldungen und \(V/R = 0\) bei \(R = 0\). Die Teststärke ist der Anteil der echten Varianten, die gemeldet werden.
• Gewinnerfluch: Alle \(k\) Varianten haben dieselbe wahre Wirkung \(\Delta\) (Mittel des Pools von B minus Mittel des Pools von A); alle werden gegen einen gemeinsamen Arm A gemessen. Die Variante mit der größten gemessenen Differenz wird gekürt. Eine Wiederholung misst sie mit frischen Fenstern. „Signifikant“ heißt \(p < \alpha\), mit Bonferroni-Schwelle \(k\,p < \alpha\); „bestätigt“ heißt \(p < \alpha\) in der Wiederholung bei positivem Vorzeichen.

Die Verfahren und ihre Formeln

Seien \(p_1, \dots, p_m\) die p-Werte, \(p_{(1)} \le \dots \le p_{(m)}\) ihre aufsteigende Ordnung. Ohne Korrektur wird jeder Vergleich mit \(p_i < \alpha\) gemeldet. Bei \(m_0\) wirkungslosen Varianten und unabhängigen Tests zum Niveau \(\alpha\) ist die Wahrscheinlichkeit für mindestens einen Fehlalarm:

\[P(\text{mindestens ein Fehlalarm}) = 1 - (1 - \alpha)^{m_0}\]

Bei gemeinsamer Kontrolle sind die Tests positiv abhängig, die Rate liegt darunter. Bonferroni meldet einen Vergleich, wenn gilt:

\[p_i < \alpha/m\]

Das hält die Wahrscheinlichkeit für irgendeinen Fehlalarm bei höchstens \(\alpha\) (Herleitung unten) und kostet viel Teststärke. Der angepasste p-Wert ist \(\min(m\,p_i, 1)\). Holm sortiert die p-Werte und meldet der Reihe nach, solange gilt:

\[p_{(i)} < \alpha/(m - i + 1)\]

Beim ersten Fehlschlag wird nichts weiter gemeldet. Holm hält dieselbe Garantie und meldet nie weniger als Bonferroni. Benjamini-Hochberg bestimmt \(i^*\) als das größte \(i\) mit

\[p_{(i)} \le \alpha\, i/m\]

und meldet alle \(p_{(1)}, \dots, p_{(i^*)}\). Der angepasste p-Wert ist \(m\,p_{(i)}/i\) mit laufendem Minimum von hinten. Das Verfahren begrenzt nicht die Wahrscheinlichkeit eines Fehlalarms, sondern den erwarteten Anteil falscher Entdeckungen an den Meldungen, bei unabhängigen oder positiv abhängigen Statistiken:

\[E[\text{falsche Entdeckungen} / \text{Entdeckungen}] \le \alpha\, m_0/m\]

Bei beliebiger Abhängigkeit braucht es eine strengere Variante (Benjamini-Yekutieli), die die Demo nicht enthält. Gewinnerfluch: Für \(k\) Schätzungen \(\hat\Delta_j = \Delta + \varepsilon_j\) mit Zufallsabweichungen \(\varepsilon_j\) vom Erwartungswert null gilt:

\[E[\max_j \hat\Delta_j] = \Delta + E[\max_j \varepsilon_j]\]

Der Aufschlag \(E[\max_j \varepsilon_j]\) wächst mit \(k\) und mit der Streuung. Die Wiederholungsmessung der gekürten Variante ist dagegen unverzerrt.

Herleitungen von Hand

Die folgenden Schritte sind Rechnung dieser Seite, keine Messung der Demo.

• Fehlalarmrate ohne Korrektur: Ein wirkungsloser Vergleich fällt mit Wahrscheinlichkeit \(1 - \alpha\) nicht auf. Bei unabhängigen Tests geschieht das für alle \(m_0\) zugleich mit \((1-\alpha)^{m_0}\); das Gegenereignis liefert die Formel oben. Die erwartete Zahl der Fehlalarme ist \(m_0\,\alpha\), auch bei abhängigen Tests (Linearität des Erwartungswerts). Bei \(m_0 = 20\) und \(\alpha\) gleich fünf Prozent ist das im Mittel ein Fehlalarm.
• Bonferroni hält \(\alpha\): Die Wahrscheinlichkeit einer Vereinigung ist höchstens die Summe der Einzelwahrscheinlichkeiten. Also ist \(P(\text{irgendein Fehlalarm}) \le \sum_{i \text{ wirkungslos}} P(p_i < \alpha/m) \le m_0\,\alpha/m \le \alpha\). Das gilt für beliebige Abhängigkeit, solange der p-Wert jedes wirkungslosen Vergleichs höchstens mit Wahrscheinlichkeit \(u\) unter \(u\) liegt.
• Holm hält \(\alpha\): Holm stimmt mit dem geschlossenen Testen überein, dessen Lokaltests Bonferroni-Tests sind (die Demo prüft diese Gleichheit an Zufallsbeispielen); das geschlossene Testen hält die Fehlerrate. Das ist bekanntes Wissen, keine Herleitung dieser Seite.
• Holm meldet mindestens so viel wie Bonferroni: Die Holm-Schwelle \(\alpha/(m-i+1)\) ist bei \(i = 1\) gleich \(\alpha/m\) und wächst mit \(i\). Jeder von Bonferroni gemeldete p-Wert liegt unter \(\alpha/m\) und wird deshalb auch von Holm gemeldet.
• Benjamini-Hochberg meldet mindestens so viel wie Holm: \(i/m \ge 1/(m-i+1)\) ist gleichwertig mit \(i\,(m-i+1) \ge m\). Das gilt für \(1 \le i \le m\), weil die linke Seite in \(i\) konkav ist und an beiden Enden den Wert \(m\) annimmt. Die Schwelle von Benjamini-Hochberg liegt also nie unter der von Holm, und das Verfahren meldet bis zum größten Treffer statt nur bis zum ersten Fehlschlag.
• Schranke des Anteils falscher Entdeckungen: Bei fünf echten unter zwanzig Varianten ist \(m_0/m\) gleich drei Viertel, die Schranke also drei Viertel von \(\alpha\). Gemessen sind 3,7 % bei eigener Kontrolle; die Schranke ist dort fast ausgeschöpft.
• Der Aufschlag ist positiv: Für jede Ziehung gilt \(\max_j \varepsilon_j \ge \varepsilon_1\), also \(E[\max_j \varepsilon_j] \ge E[\varepsilon_1] = 0\). Die Ungleichung ist strikt, sobald \(k \ge 2\) und die Zufallsabweichungen nicht vollständig gleichlaufen und nicht konstant sind, etwa wenn sie unabhängig und nicht konstant sind. Bei \(k = 1\) gibt es keine Auswahl und keinen Aufschlag. Der gemeinsame Arm A verschiebt alle Differenzen um denselben Zufallsterm mit Erwartungswert null und ändert den Mittelwert des Maximums nicht.

Ein Beispiel von Hand: vier p-Werte

Gegeben sind \(m = 4\) Vergleiche mit den sortierten p-Werten \(p_{(1)} = \alpha/5\), \(p_{(2)} = 2\alpha/7\), \(p_{(3)} = 3\alpha/5\) und \(p_{(4)} = 3\alpha/2\). Dies ist ein ausgedachtes Beispiel; die Rechnung gilt für jedes übliche \(\alpha\). Die Schwellen für die Ränge 1 bis 4 sind:

• Bonferroni: \(\alpha/4\) für alle Ränge. Nur \(p_{(1)}\) liegt darunter, denn \(1/5 < 1/4\); \(p_{(2)}\) ist wegen \(2/7 > 1/4\) zu groß. Es wird 1 Vergleich gemeldet.
• Holm: \(\alpha/4\), \(\alpha/3\), \(\alpha/2\), \(\alpha\). Rang 1 und Rang 2 bestehen, denn \(2/7 < 1/3\). Rang 3 scheitert, denn \(3/5 > 1/2\); damit endet das Verfahren. Es werden 2 Vergleiche gemeldet.
• Benjamini-Hochberg: \(\alpha/4\), \(\alpha/2\), \(3\alpha/4\), \(\alpha\). Rang 3 besteht, denn \(3/5 \le 3/4\); Rang 4 scheitert, denn \(3/2 > 1\). Also ist \(i^* = 3\), und es werden 3 Vergleiche gemeldet.

Dieselben vier p-Werte ergeben also eine, zwei oder drei Meldungen, je nachdem, welche Garantie man sich leistet. Das Beispiel ist Rechnung dieser Seite; die Ordnung Bonferroni, Holm, Benjamini-Hochberg folgt aus den Herleitungen oben.

Befunde

Alle Zahlen stammen aus Simulationen auf dem Vehikel oben. Sofern eine Zeile nichts anderes sagt, gelten 20 Vergleiche und 30 Fenster je Arm, bei den Korrekturen mit 3 000 Experimenten je Zelle, beim Gewinnerfluch mit 4 000 Wiederholungen. Der Standardfehler der Raten beträgt bei 3 000 Experimenten höchstens 0,9 Prozentpunkte (bei einer Rate von 50 %); zwei Standardfehler sind rund 1,8 Prozentpunkte. Faktor bezeichnet den Sicherheitsfaktor \(z\) der echten Varianten; die wahre Wirkung ist die Differenz der mittleren Servicegrade in Prozentpunkten.

Frage	Befund
Wie oft gibt es bei 20 wirkungslosen Varianten ohne Korrektur mindestens einen Fehlalarm?	Bei eigener Kontrolle 64,3 % (Formel: 64,2 %), bei gemeinsamer Kontrolle 40,4 %.
Was halten die Korrekturen? (20 wirkungslose Varianten)	Bonferroni und Holm: 3,6 % bei gemeinsamer, 5,2 % bei eigener Kontrolle. Benjamini-Hochberg: 5,2 % bei eigener Kontrolle (bei lauter wirkungslosen Varianten sind Fehlalarmrate und Anteil falscher Entdeckungen gleich).
Was kosten sie an Teststärke? (zwei echte Varianten, Faktor 1,4, gemeinsame Kontrolle)	Ohne Korrektur 85,6 %, Bonferroni 45,1 %, Holm 45,4 %, Benjamini-Hochberg 50,5 %. Holm liegt 0,3 Prozentpunkte vor Bonferroni.
Wann lohnt Benjamini-Hochberg? (fünf echte Varianten, Faktor 1,4, eigene Kontrolle)	Teststärke Holm 46,8 %, Benjamini-Hochberg 62,9 %. Der Preis: mindestens ein Fehlalarm in 15,0 % der Experimente, falsche Entdeckungen im Anteil 3,7 %.
Wie viele Meldungen ohne Korrektur sind falsch? (Faktor 1,4)	Bei zwei echten Varianten im Mittel 21 % (gemeinsame) bzw. 28 % (eigene Kontrolle) der Meldungen; bei fünf echten Varianten und eigener Kontrolle 13 %.
Und bei kleinen Effekten? (fünf echte Varianten, Faktor 1,2, eigene Kontrolle)	Ohne Korrektur Teststärke 34,6 % und 28 % falsche Meldungen. Mit Bonferroni Teststärke 6,3 %, mit Benjamini-Hochberg 8,2 %.
Gewinnerfluch ohne jede Wirkung	Die beste von 10 Varianten misst im Mittel +1,4 Prozentpunkte, die beste von 30 +1,8. Sie ist in 15 % bzw. 26 % der Experimente signifikant, mit Bonferroni-Schwelle bei 30 Varianten in 1,7 %. Bei 10 Varianten bestätigt sie sich in der Wiederholung in 2 %.
Gewinnerfluch bei gleichen kleinen echten Effekten (Faktor 1,2, wahre Wirkung 1,96 Prozentpunkte)	Die beste von 10 Varianten misst 3,15 Prozentpunkte (das 1,6-Fache), die beste von 50 misst 3,62. Frisch gemessen sind es wieder 1,97. Bestätigt wird sie bei 10 Varianten in 35 % der Fälle, so oft wie bei einem einzelnen Test.
Gewinnerfluch bei klarem Effekt (Faktor 1,4, wahre Wirkung 3,49 Prozentpunkte)	Die beste von 10 Varianten misst das 1,28-Fache der wahren Wirkung.

Grenzen und was die Messung zeigt

Das zeigt die Messung:

• Die Raten sind Simulationsmittel mit Zufallsfehler. Unterschiede von wenigen Zehntel Prozentpunkten zwischen zwei Zeilen sind nur dann belastbar, wenn beide Verfahren auf denselben simulierten Experimenten beruhen. Beim Vergleich von Holm und Bonferroni ist das der Fall, denn Holm meldet eine Obermenge.
• Dass 64,3 % innerhalb des Messfehlers mit 64,2 % übereinstimmen, spricht dafür, dass der Welch-Test auf diesem Vehikel sein Niveau hält. Die Nähe ist zum Teil Zufall: Mit einem anderen Zufallsstrom ergab die Nachrechnung dieser Seite etwas niedrigere Werte. In einer Vorabmessung auf einem anderen Vehikel (einem Terminal-Gate, nicht Teil dieser Demo) lag die Rate bei 58,7 %, weil der Welch-Test auf den schiefen Tagesmitteln im Tail konservativ war. Die Niveautreue gilt also nicht allgemein.
• Die Raten von 5,2 % für Bonferroni und Holm bei eigener Kontrolle liegen knapp über dem Niveau; der Abstand ist kleiner als ein Standardfehler der Messung (Rechnung dieser Seite). Die Schranke \(\alpha\) gilt für die wahre Rate, nicht für jede Schätzung aus Simulationen.

Das zeigt sie nicht:

• Erfundenes Vehikel: Die Zahlen gelten für simulierte Standort-Fenster mit unabhängigen Fenstern, nicht für Praxisdaten. Verhältniskennzahlen und Cluster vergrößern die Streuung jedes einzelnen Vergleichs.
• Gleich große echte Effekte: Alle echten Varianten haben dieselbe Wirkung. Wirken sie unterschiedlich, ist die Auswahl teilweise berechtigt, und der Gewinnerfluch fällt anders aus.
• Feste Zahl der Vergleiche und ein Blick je Variante: Nachträglich ausgewählte Varianten oder Kennzahlen sind mehr Vergleiche, als man zählt. Mehrere Blicke je Variante vervielfachen die Zahl der Tests.
• Abhängigkeit: Benjamini-Hochberg ist nur für unabhängige oder positiv abhängige Statistiken bewiesen. Verfahren für beliebige Abhängigkeit (Benjamini-Yekutieli) sowie Hochberg und Hommel enthält die Demo nicht.
• Eine Korrektur schützt die Fehlalarmrate, nicht die Schätzung: Der Gewinner bleibt überschätzt. Bayessche oder hierarchische Schrumpfung der Schätzungen und Subgruppen-Analysen zeigt die Demo nicht.
• Abstand von Holm zu Bonferroni: Der Abstand von 0,3 Prozentpunkten gilt für zwei echte Varianten. Bei fünf echten Varianten ist er größer, gut ein Prozentpunkt (Nachrechnung dieser Seite, in der Messreihe nicht angegeben).
• Einzelne Zeilen: Der Wert 1,7 % mit Bonferroni-Schwelle gehört zu 30 Varianten; bei 10 Varianten liegt er etwas höher (Nachrechnung dieser Seite, in der Messreihe nicht angegeben). Die 2 % Bestätigung gelten für 10 Varianten.

Quellen

• Holm, S. (1979): A simple sequentially rejective multiple test procedure. Scandinavian Journal of Statistics 6, 65–70.
• Benjamini, Y., Hochberg, Y. (1995): Controlling the false discovery rate: a practical and powerful approach to multiple testing. Journal of the Royal Statistical Society B 57, 289–300.
• Benjamini, Y., Yekutieli, D. (2001): The control of the false discovery rate in multiple testing under dependency. Annals of Statistics 29, 1165–1188.
• Ioannidis, J. P. A. (2008): Why most discovered true associations are inflated. Epidemiology 19, 640–648 (zum Gewinnerfluch).
• Quelltext, Messreihe und Tests der Demo: github.com/sebastian-hanisch/multiple-testing-demo.

Holm (1979), Benjamini und Hochberg (1995) und Benjamini-Yekutieli nennt die Demo. Titel, Zeitschriften und Seitenzahlen der vier Arbeiten sind aus dem Gedächtnis ergänzt und nicht nachgeschlagen; die Arbeit von Ioannidis ist zusätzlich von dieser Seite ergänzt.