Der Gewinner-Fluch verständlich erklärt

Stellen Sie sich eine Trainerin vor, die 100 Kindern je ein paar Schüsse aufs Tor erlaubt und die zehn besten ins Förderteam nimmt. Beim nächsten Training treffen diese im Schnitt weniger. Diese Seite zeigt, warum die Besten eines kleinen Tests besser aussehen, als sie sind, wann gezieltes Auswählen lohnt und was die Überschätzung bremst.

Zuletzt aktualisiert: 11. November 2026

Ein Wort unbekannt? Das Begriffsverzeichnis erklärt es in wenigen Sätzen.

Die zehn Besten von 100

Einige Kinder sind wirklich besser als andere, aber ein paar Schüsse sind auch Glück. Wer vorne liegt, hat deshalb zweierlei mitgebracht: Können und einen guten Tag. Wer die zehn Besten nimmt, nimmt die Glückskinder mit. Im nächsten Training treffen sie im Schnitt weniger: Das Glück ist weg, das Können bleibt.

Dasselbe Muster zeigt eine Demo, ein Programm zum Ausprobieren, das zu dieser Seite gehört. Statt Kindern gibt es einen Händler mit 100 Standorten. Er will eine neue Bestellregel B einführen, die mehr Ware als Puffer vorhält als die bisherige Regel A, damit seltener Regale leer sind. Sie wirkt nicht an jedem Standort gleich stark, und er will sie nur dort einführen, wo sie am meisten bringt. Ein Durchschnitt über alle Standorte verrät ihm nicht, wo das ist.

Darum startet er einen Pilot, einen kleinen Probelauf: An jedem Standort wird jede Regel in mehreren Zeitabschnitten beobachtet. Ein solcher Abschnitt heißt in der Demo Fenster. Der Unterschied zwischen B und A, die einfache Differenz, ist der gemessene Effekt des Standorts, gemessen an der Lieferfähigkeit (Fachwort: Servicegrad), dem Anteil der Nachfrage, der sofort aus dem Regal bedient wird. Die zehn Standorte mit dem größten gemessenen Effekt bekommen Regel B.

Die Standorte sind erzeugt, deshalb kennt die Demo ihren wahren Effekt und kann nachprüfen, was der Pilot den Gewählten zuschreibt und was sie bringen. Sie erzeugt vier Welten: „glatt“ (der Effekt wächst mit einem Merkmal der Standorte), „Wechselwirkung“ (großer Effekt nur, wenn zwei Merkmale zugleich hoch sind), „Null-Welt“ (alle Standorte gleich) und „Falle“ (Effekt und Schwankung der Messungen hängen eng zusammen). Die Aussagen gelten nur für diese Welten, nicht für einen echten Betrieb.

Der Gewinner-Fluch

Wie bei den Kindern wählt der Händler mit den größten Messwerten auch das Glück mit aus. Der Pilot schreibt den Gewählten deshalb mehr zu, als sie bringen: Gewinner-Fluch. In der Welt „glatt“ ist der Effekt der zehn Gewählten bei einem Fenster je Standort und Regel im Pilot im typischen Fall fast fünfmal so groß wie ihr wahrer Effekt (typisch: in der Mitte von 20 erzeugten Gruppen mit je 100 Standorten).

Gibt es nichts zu entdecken, ist es noch deutlicher: Haben in der Null-Welt alle Standorte denselben Effekt, erscheinen die zehn Gewählten im Piloten trotzdem weit besser als der Rest, reiner Zufall. Ein längerer Pilot hilft: Mehr Fenster mitteln das Glück heraus. Die Überschätzung der einfachen Differenz sinkt in jeder Welt mit jedem größeren Pilot, verschwunden ist sie auch bei 64 Fenstern je Standort und Regel nicht.

Lohnt sich das Auswählen überhaupt?

Der Händler hat zwei Alternativen: B überall einführen oder nirgends. Kostet die Umstellung etwas, soll B nur dort gelten, wo der Effekt um einen Prozentpunkt über dem Durchschnitt aller Standorte liegt (die Demo nennt das Schwelle). Dann lohnt die gezielte Auswahl nach der einfachen Differenz erst ab einem Pilotumfang, dem Kipppunkt: Davor ist sie nicht besser als die beste der beiden Alternativen, bei kleinem Pilot typischerweise sogar schlechter.

In der Welt „glatt“ liegt der Kipppunkt bei 16 Fenstern je Standort und Regel, in einzelnen Gruppen früher oder später. Wäre es gleich gut, B überall oder nirgends einzuführen, läge die Auswahl schon beim kleinsten Pilot vorn. Haben alle Standorte denselben Effekt, gibt es keinen Kipppunkt: Bis 64 Fenster schlägt in keiner der 20 Gruppen eine der geprüften Auswahlregeln die beste Alternative.

Was gegen die Überschätzung hilft

Das erste Gegenmittel ist ein Zurückstufen: Die Trainerin stuft jedes Kind ein Stück in Richtung Durchschnitt zurück, umso mehr, je weniger Schüsse hinter dem Ergebnis stehen. Wer nur einen guten Tag hatte, rutscht ab. Das heißt Schrumpfung (Fachwort: Empirical Bayes). In der Demo liegt die Überschätzung damit schon ab zwei Fenstern je Standort und Regel typischerweise in allen vier Welten unter einem Prozentpunkt Servicegrad, bei zwei Fenstern allerdings auch deshalb, weil das Verfahren dann oft alles auf den Durchschnitt setzt (siehe unten).

Die Schrumpfung hat drei Grenzen. Erstens: Mit einem Fenster je Standort und Regel lässt sich nicht erkennen, wie stark die Messungen eines Standorts schwanken (dafür braucht es mindestens zwei Werte); die Schrumpfung geht dann nicht. Zweitens: Bei wenigen Fenstern hält sie manchmal alle Unterschiede zwischen den Standorten für Zufall und setzt alle Schätzungen auf den Durchschnitt, die Auswahl ist dann Zufall. Bei zwei Fenstern geschah das in der Demo in 31 % bis 43 % der Piloten (Welten mit echten Unterschieden), bei 16 Fenstern in höchstens 6 %. Drittens: In der Welt „Falle“ schneidet sie bei 10 % oder 30 % gewählten Standorten schlechter ab als die einfache Differenz. Warum, ist eine Deutung: Standorte mit großem Effekt werden stärker zurückgezogen.

Das zweite Gegenmittel nutzt Merkmale der Standorte, etwa Größe oder Lage. Ein Modell schätzt, wie der Effekt mit den Merkmalen zusammenhängt, und lernt dabei aus allen 100 Standorten zugleich statt nur aus dem Probelauf jedes einzelnen. Die Demo vergleicht drei: eine Gerade (je größer das Merkmal, desto größer der Effekt), eine Gerade, die auch Produkte je zweier Merkmale nutzt, und einen Wald, der viele einfache Entscheidungsbäume mittelt (jeder teilt die Standorte durch Ja-Nein-Fragen wie „Merkmal hoch?“).

Welches vorn liegt, hängt vom Aufbau des Effekts ab. In der Welt „glatt“ liegt die Gerade vorn. In der Welt „Wechselwirkung“ liegt der Wald gegen die einfache Gerade bei 30 % gewählten Standorten früh vorn, bei 10 % erst bei großem Pilot; gegen die Gerade mit Produkten liegt er nur bei 30 % vorn, mit kleinem Vorsprung. Diese Welt hat die Demo selbst festgelegt, sie ist eine Annahme.

Häufige Missverständnisse

• „Die Gewählten sind so gut, wie der Pilot sagt.“ Nein. Die Zahl stammt aus der Auswahl selbst und ist im Schnitt zu hoch. Erst eine neue Messung zeigt, was sie bringen.
• „Schrumpfen löst es immer.“ Nein: Bei wenigen Fenstern ist sie oft nicht verwertbar, und in der Welt „Falle“ schneidet sie bei kleinem Anteil gewählter Standorte schlechter ab.

Woran Sie das im Alltag erkennen

Aus dem Bild übertragen, in der Demo nicht gemessen; mögliche Hinweise:

• Die Filiale des Monats oder der Spitzenreiter eines kurzen Tests rutscht im Folgemonat ab.
• Ein Pilot meldet an den ausgewählten Standorten einen großen Effekt, nach der Einführung kommt weniger an.
• Wenige Beobachtungen je Standort, aber genau bezifferte Spitzenreiter.

Wie ernst ist das Modell zu nehmen?

Stark vereinfacht: erzeugte Standorte, ein Pilot, der nichts kostet, gleiche Umstellungskosten je Standort. Was Sie mitnehmen:

• Wer die Besten nach einem kleinen Test auswählt, überschätzt sie. Rechnen Sie bei Spitzenreitern mit weniger, als der Test sagt.
• Bei Umstellungskosten lohnt die gezielte Auswahl erst ab einem Pilotumfang. Schrumpfung und Modelle über Merkmale helfen, haben aber Grenzen.

Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.

Modell und Annahmen

Dieser Teil ist eigenständig lesbar. Ein Pilot liefert je Standort einen geschätzten Effekt einer neuen Regel B gegen die bisherige Regel A, die Standorte mit der größten Schätzung bekommen B, und gemessen wird, was die Gewählten wirklich bringen, weil die Wahrheit bekannt ist.

• Vehikel: ein Standort mit täglicher Nachbestellung (Zentrallager unbegrenzt). Die Tagesnachfrage ist Gamma-Poisson (Poisson mit gammaverteilter Rate, also negativ-binomial); die Dispersion ist der Formparameter der Gamma-Verteilung, je kleiner, desto stärker schwankt die Nachfrage. Bestellt wird täglich bis zum Niveau \(S = \operatorname{round}(L\,\mu_D + z\,\sigma_L)\) mit der Wiederbeschaffungszeit \(L\), der mittleren Tagesnachfrage \(\mu_D\), deren Streuung \(\sigma_L\) über die Wiederbeschaffungszeit und dem Sicherheitsfaktor \(z\). Ein Fenster liefert den Servicegrad Typ 2 (Quote der Summen im Fenster nach 28 Einschwingtagen). Der Standardstandort hat Tagesmittel 20, Dispersion 5 und Wiederbeschaffungszeit 2 Tage.
• Regeln: Regel A fährt den Sicherheitsfaktor 1,0, Regel B einen Faktor, der gleich oder größer ist: In der Welt glatt ist er bei einem von neun Werten gleich 1,0, in der Welt Wechselwirkung bei etwa jedem zweiten Standort (Nachrechnung dieser Seite aus den Pools); an solchen Standorten ist der wahre Effekt null.
• Standorttypen und Pools: Ein Standorttyp ist eine Kombination der Eigenschaften, die den Servicegrad eines Fensters bestimmen: Sicherheitsfaktor der Regel B und Fensterlänge (glatt, Wechselwirkung, Null-Welt) oder Wiederbeschaffungszeit, Dispersion und Tagesmittel (Falle). Je Typ, Regel und Fensterlänge gibt es einen Pool von 2 000 unabhängigen vorgerechneten Fenstern, zusammen 342 Pools (54 bei Sicherheitsfaktor und Fensterlänge, 288 in der Falle bei Wiederbeschaffungszeit, Dispersion, Tagesmittel und Regel; Rechnung dieser Seite).
• Wahrheit und Pilot: Der wahre Effekt eines Standorts ist das Mittel seines Pools für B minus das Mittel seines Pools für A, in Prozentpunkten Servicegrad je Fenster. Standorte gleichen Typs teilen sich einen Pool und haben denselben wahren Effekt. Der Pilot zieht \(m\) Fenster je Standort und Arm (Regel) mit Zurücklegen, unabhängig aus den Pools beider Regeln.
• Einheiten: Auswahl je Standort (100 je Population), Pilot je Fenster (\(m\) je Standort und Arm), Wert in Prozentpunkten Servicegrad je behandeltem Standort. Faktoren sind Verhältnisse zweier Mittel über die Piloten, keine Mittel von Verhältnissen.

Vier Welten mit je 100 Standorten, ganz aus dem Zufalls-Seed erzeugt; sie unterscheiden sich nur in den genannten Eigenschaften:

Welt	Was sich je Standort ändert
glatt	Regel B fährt je Standort einen beobachteten Sicherheitsfaktor aus {1,0; 1,1; …; 1,8}, die Fensterlänge je Standort ist zufällig aus {7, 14, 28, 56, 112, 224} Tagen und unabhängig davon gezogen. Die kürzesten Fenster haben einen etwas kleineren wahren Effekt und eine größere Streuung der Fenster; die Korrelation von Effekt und Streuung liegt daher im Median bei −0,23, nicht bei null.
Wechselwirkung	Zwei beobachtete Merkmale \(u_1, u_2\), gleichverteilt zwischen 0 und 1; Sicherheitsfaktor 1,0 + 0,8 · \(\varphi(u_1)\,\varphi(u_2)\) mit \(\varphi(x) = 1/(1 + e^{-10(x - 0{,}5)})\), auf eine Dezimale gerundet; Fensterlänge wie in glatt. Großer Effekt nur, wenn beide Merkmale hoch sind. Gesetzte Zuordnung der Regelstärke, kein Ergebnis des Vehikels.
Null-Welt (homogen)	Alle Standorte gleich (Standardstandort, Sicherheitsfaktor 1,4, Fenster 28 Tage), alle Merkmale Rotheringe.
Falle	Vehikel pur: Wiederbeschaffungszeit 1 bis 4, Dispersion 2 bis 40, Tagesmittel 8 bis 40 je Standort aus Gittern, Fenster 28 Tage; Effekt und Streuung der Fenster hängen eng zusammen.

Beobachtet wird je Standort ein Merkmalsvektor mit 4 Spalten: die Merkmale der Welt, der Rest Rotheringe aus der Standardnormalverteilung.

Fünf Schätzer arbeiten auf den Standort-Mitteln. Rohdifferenz: Mittel B minus Mittel A. Schrumpfung (Empirical Bayes, Normal-Normal, Momentenschätzer der Streuung der wahren Effekte; die Varianz je Standort wird mit 4 Pseudo-Freiheitsgraden zum Mittel gezogen; braucht \(m \ge 2\)). T-linear: je Arm eine Regression des Standortmittels auf die Merkmale, Differenz der beiden Vorhersagen. T-linear mit Produkttermen: dazu alle paarweisen Produkte der standardisierten Merkmale. T-Wald: je Arm ein Wald aus 40 selbst gebauten Regressionsbäumen auf Bootstrap-Stichproben der Standorte. Die Blattgröße des Waldes ist je Pilotumfang auf getrennten Populationen und Zufalls-Seeds abgestimmt (Gitter {2, 5, 10}, Kriterium Wert bei 30 % Budget, Mittel über die Welten glatt, Wechselwirkung und Falle): 10 für \(m \le 32\), 5 für \(m = 64\). Die anderen Schätzer haben keine solche Abstimmung.

Die Auswahl nimmt die \(k\) Standorte mit der größten Schätzung (Budget = Anteil mal 100; wählbar sind 10, 30 und 50 %, gemessen wurde auch 80 %; Gleichstände zufällig). Wert ist das Mittel der wahren Effekte der Gewählten. Fang-Anteil = (Wert − Zufallsniveau) / (Orakel − Zufallsniveau), mit dem mittleren wahren Effekt aller Standorte als Zufallsniveau und den \(k\) wahrhaft besten als Orakel; in der Null-Welt ist er nicht definiert, weil Orakel und Zufallsniveau gleich sind. Gewinner-Fluch ist der geschätzte minus der wahre Mittelwert der Gewählten (Prozentpunkte), sein Faktor ihr Quotient.

Die Schwellenregel behandelt jeden Standort mit einer Schätzung über \(c\) = mittlerer wahrer Effekt plus \(\delta\) (\(\delta\) = −1, 0, +1 Prozentpunkte). Praktisch steht \(\delta\) für Umstellungskosten: Regel B lohnt an einem Standort, wenn sein Effekt den mittleren Effekt aller Standorte um mehr als \(\delta\) übertrifft; bei \(\delta = +1\) ist „keinen“ die beste feste Regel, bei \(-1\) „alle“. Der Maßstab \(c\) nutzt die Wahrheit und ist deshalb nur in der Demo verfügbar. Der Kipppunkt einer Population ist der kleinste Pilotumfang \(m\), ab dem sich die Schwellenregel für alle größeren \(m\) gegen die beste feste Regel durchsetzt (Mittel über die Piloten größer als zwei Standardfehler dieses Mittels und größer als Rundungsrauschen); „über \(m = 64\)“ heißt: bis \(m = 64\) nie.

Die Messreihe hat je Welt 20 Populationen zu 100 Standorten, je Population und Pilotumfang \(m \in \{1, 2, 4, 8, 16, 32, 64\}\) 50 Piloten, zusammen 28 000 Piloten (die README nennt sie Zellen); jeder wird mit allen fünf Schätzern ausgewertet. Angegeben ist der Median [Minimum bis Maximum] über die 20 Populationen (je Population das Mittel über 50 Piloten), außer wo ein Anteil oder eine Zählung steht.

Die Formeln

Der Standortschätzer ist die Rohdifferenz der Pilotmittel \(\bar y^A_s, \bar y^B_s\) an Standort \(s\):

\[\hat\tau_s = \bar y^B_s - \bar y^A_s\]

Die Auswahl unter Budget ist ein 0-1-Rucksackproblem mit gleichen Kosten (Kardinalitätsschranke). Die Lösung sind die \(k\) größten Schätzungen; die Zielfunktion kennt nur die geschätzten Koeffizienten:

\[\max_{x \in \{0,1\}^N} \; \sum_{s=1}^{N} \hat\tau_s \, x_s \qquad \text{unter} \qquad \sum_{s=1}^{N} x_s = k\]

Gewinner-Fluch im Normalmodell: Sind die wahren Effekte \(\tau_s \sim \mathcal N(\mu, \sigma^2)\) und der Pilotfehler \(\hat\tau_s \mid \tau_s \sim \mathcal N(\tau_s, v^2)\) mit gleichem \(v^2\) für alle Standorte, so ist der Erwartungswert des wahren Effekts bei gegebener Schätzung

\[\mathbb E[\tau_s \mid \hat\tau_s] = \mu + B\,(\hat\tau_s - \mu), \qquad B = \frac{\sigma^2}{\sigma^2 + v^2} < 1,\]

und die erwartete Überschätzung der Gewählten ist

\[\mathbb E\Big[\frac1k \sum_{s \in S} (\hat\tau_s - \tau_s)\Big] = (1 - B)\; \mathbb E\Big[\frac1k \sum_{s \in S} (\hat\tau_s - \mu)\Big] > 0 .\]

Dabei ist \(S\) die Menge der Gewählten (\(k < N\)), und \(B\) ist ein Schrumpfungsfaktor, nicht Regel B. Schrumpfung (Empirical Bayes): Mit \(\hat\mu\) dem Mittel der \(\hat\tau_s\) und \(\hat v_s^2\) der geschätzten Varianz der Rohdifferenz an Standort \(s\) (aus den Fensterstreuungen, mit 4 Pseudo-Freiheitsgraden zum Mittel gezogen) ist

\[\tilde\tau_s = \hat\mu + \hat B_s\,(\hat\tau_s - \hat\mu), \qquad \hat B_s = \frac{\hat\sigma^2}{\hat\sigma^2 + \hat v_s^2}, \qquad \hat\sigma^2 = \max\Big\{0,\; \widehat{\mathrm{Var}}(\hat\tau) - \overline{\hat v^2}\Big\}\]

Ist \(\hat\sigma^2 = 0\), so sind alle \(\tilde\tau_s = \hat\mu\), und die Auswahl ist Zufall. Bei \(m = 1\) ist \(\hat v_s^2\) nicht schätzbar. Der Wert je Standort (Nettonutzen) der Schwellenregel und der festen Regeln, mit der Behandlungsschwelle \(c\):

\[V_{\text{Schwelle}} = \frac1N \sum_s (\tau_s - c)\,\mathbf 1[\hat\tau_s > c], \qquad V_{\text{alle}} = \frac1N \sum_s (\tau_s - c), \qquad V_{\text{keinen}} = 0\]

Der Kipppunkt ist der kleinste Pilotumfang \(m\), ab dem \(V_{\text{Schwelle}}\) für alle größeren \(m\) über \(\max\{V_{\text{alle}}, 0\}\) liegt.

Herleitung des Gewinner-Fluchs im Normalmodell

Standardwissen der Statistik, hier als Rechnung dieser Seite in vier Schritten; ob das Normalmodell zu den Welten der Demo passt, zeigt erst die Messung (in der Falle hängt der Pilotfehler eng am Effekt, das Modell mit gleichem \(v^2\) passt dort nicht).

• Schritt 1, gemeinsame Verteilung: \(\tau_s\) und \(\hat\tau_s\) sind gemeinsam normalverteilt. \(\hat\tau_s\) hat das Mittel \(\mu\) und die Varianz \(\sigma^2 + v^2\), und die Kovarianz mit \(\tau_s\) ist \(\sigma^2\).
• Schritt 2, bedingter Erwartungswert: Für gemeinsam normalverteilte Größen ist \(\mathbb E[\tau_s \mid \hat\tau_s]\) linear in \(\hat\tau_s\) mit der Steigung Kovarianz durch Varianz, also \(B = \sigma^2/(\sigma^2 + v^2)\). Das ergibt die erste Formel oben. Solange der Pilotfehler \(v^2\) positiv ist, gilt \(B < 1\).
• Schritt 3, Überschätzung bei gegebener Schätzung: \(\hat\tau_s - \mathbb E[\tau_s \mid \hat\tau_s] = (1 - B)(\hat\tau_s - \mu)\). Je größer die Schätzung über dem Mittel \(\mu\), desto größer die Überschätzung.
• Schritt 4, Auswahl: Die Auswahl nimmt die \(k\) größten \(\hat\tau_s\). Ihr Mittel liegt über dem Mittel aller \(\hat\tau_s\), das den Erwartungswert \(\mu\) hat (für \(k < N\) und nicht lauter gleiche Werte); also ist \(\mathbb E[\tfrac1k \sum_{s \in S} (\hat\tau_s - \mu)]\) positiv, und mit dem Faktor \((1 - B) > 0\) ergibt sich die zweite Formel oben. Bei kleinem \(k\) liegen praktisch alle Gewählten über \(\mu\); bei großem \(k\) nicht jeder einzelne. Je kleiner \(m\), desto größer \(v^2\) und desto kleiner \(B\); das gibt die Richtung der Messbefunde, nicht ihre Größe.

Die Schrumpfung ersetzt \(\hat\tau_s\) durch eine Schätzung dieses bedingten Erwartungswerts. Wären \(\mu\), \(\sigma^2\) und \(v^2\) bekannt, wäre sie der exakte Posteriormittelwert. Die Demo schätzt \(\mu\) und \(\sigma^2\) aus den Daten (Momentenschätzer), und \(\hat\sigma^2\) kann null werden; dann entfällt jede Unterscheidung der Standorte.

Befunde

Alle Zahlen: Median [Minimum bis Maximum] über 20 Populationen zu 100 Standorten, je Population Mittel über 50 Piloten, Budget 10 % (zehn Standorte), wenn nichts anderes steht. Ein Teil ist in den Tests der Demo neu gemessen (nach der README Rohdifferenz und T-linear in den Welten glatt und Falle), der Rest und alle T-Wald-Zahlen stammen aus der vorgerechneten Messreihe. Die Hauptaussagen:

• Der Gewinner-Fluch ist bei kleinem Pilot groß (Faktor 4,9 bei \(m = 1\) in glatt) und sinkt mit \(m\).
• Die gezielte Auswahl nach der Rohdifferenz setzt sich bei Schwelle +1 erst ab einem Kipppunkt durch (\(m = 16\) in glatt), bei Schwelle 0 schon bei \(m = 1\).
• Die Schrumpfung senkt die Überschätzung, bricht aber bei kleinem \(m\) oft ein und schadet in der Falle bei kleinem Budget.
• Welche Schätzerklasse vorn liegt, hängt von Welt, Budget und Pilotumfang ab.

Frage	Befund
Wie stark überschätzt der Pilot die Gewählten (Rohdifferenz, Faktor geschätzt/wahr)?	Welt glatt: bei m = 1 Faktor 4,9 [4,3 bis 5,7], bei m = 8 2,0 [1,8 bis 2,2], bei m = 64 1,2 [1,1 bis 1,2]. Welt Falle: 4,4 [4,3 bis 4,6], 2,1 [2,0 bis 2,2], 1,3 [1,3 bis 1,4]. In der Welt Wechselwirkung (kleinerer mittlerer Effekt) bei m = 1 7,5 [5,4 bis 9,1].
Wie viele Prozentpunkte sind das?	Welt glatt: 12,7 [11,3 bis 14,1] Prozentpunkte bei m = 1, 3,8 [3,4 bis 4,3] bei m = 8, 0,9 [0,7 bis 1,0] bei m = 64; die Überschätzung sinkt in jeder Welt mit jedem Pilotumfang.
Und wenn alle Standorte gleich sind?	Null-Welt, m = 1: die zehn „Gewinner“ liegen 11,7 [11,3 bis 12,2] Prozentpunkte über dem wahren Effekt, der für alle Standorte 3,4 beträgt: die „Entdeckung“ ist reines Rauschen.
Ab welchem Pilotumfang lohnt die Auswahl (Rohdifferenz, Schwelle +1)?	Kipppunkt Welt glatt m = 16 (Spanne m = 8 bis m = 32), Wechselwirkung m = 4 oder m = 8 (je 10 von 20 Populationen), Falle m = 64 (Spanne m = 32 bis über m = 64), bis m = 64 erreicht in 17 von 20 Populationen. Schwelle −1: glatt m = 8 (Spanne m = 4 bis m = 16); Falle m = 64 (Spanne m = 64 bis über m = 64), erreicht in 14 von 20. Bei Schwelle 0 liegt die Rohdifferenz in allen drei Welten schon bei m = 1 vorn (Nettoabstand +0,21 / +0,24 / +0,10 Prozentpunkte je Standort in glatt / Wechselwirkung / Falle); bei Schwelle +1 und m = 1 liegt sie in allen drei Welten darunter (−0,22 / −0,17 / −0,25).
Und mit einem Modell über die Merkmale (T-linear, Schwelle +1)?	Kipppunkt Welt glatt m = 1 (Spanne m = 1 bis m = 2), Wechselwirkung m = 1, Falle m = 8 (Spanne m = 4 bis m = 16); bei den Schwellen ±1 in allen 60 Populationen der drei Welten höchstens m = 16, und der Median liegt unter dem der Rohdifferenz.
Gibt es einen Kipppunkt in der Null-Welt?	Nein: in keiner der 20 Populationen schlägt bis m = 64 irgendeine Schwellenregel die beste feste Regel (alle fünf Schätzer, alle drei Schwellen).
Wie weit senkt die Schrumpfung den Gewinner-Fluch?	Ab m = 2 liegt die Überschätzung im Median in allen vier Welten zwischen −0,6 und +0,6 Prozentpunkten (Rohdifferenz bei m = 2: 8,1 bis 9,5). Bei m = 2 sind darin die Piloten mit Kollaps (nächste Zeile) enthalten, in denen die Auswahl zufällig ist und die Überschätzung etwa null beträgt. In der Welt Wechselwirkung schießt sie bei m = 8 über das Ziel (Median −0,6, das heißt: die Gewählten werden unterschätzt).
Wann ist die Schrumpfung nicht verwertbar?	Die geschätzte Streuung der wahren Effekte ist null, dann liegen alle Schätzungen beim Gesamtmittel und die Auswahl ist Zufall: bei m = 2 in 31 % (Wechselwirkung), 33 % (glatt), 43 % (Falle) und 53 % (Null-Welt) der Piloten, bei m = 4 in 13 %, 15 % und 35 % der drei heterogenen Welten; bei m = 16 in 0 %, 0 %, 6 % der drei heterogenen Welten. In der Null-Welt bleibt es für jedes m ≥ 2 bei etwa der Hälfte der Piloten. Bei m = 1 ist die Schrumpfung nicht definiert.
Welche Schätzerklasse gewinnt (bedingt)?	Welt glatt, Budget 30 %, m = 8, Fang-Anteil in %: T-linear 95,6 [93,5 bis 97,4], T-Wald 87,1 [83,3 bis 91,4], Rohdifferenz 59,7 [49,6 bis 65,2], Schrumpfung 67,5 [56,6 bis 75,5]; T-linear liegt in 20 von 20 Populationen vor T-Wald. Welt Wechselwirkung, Budget 30 %, m = 64: T-linear 93,1 [89,7 bis 96,0], T-Wald 98,5 [97,7 bis 99,8]; ab m = 4 liegt T-Wald in 18 bis 20 von 20 Populationen vor T-linear.
Gilt das für jedes Budget?	Nein: in der Welt Wechselwirkung liegt T-linear bei 10 % Budget für m ≤ 16 im Median vor T-Wald (bei m = 64 T-Wald in 16 von 20 Populationen vorn), bei 50 % Budget liegt T-Wald erst ab m = 16 im Median vorn (15 von 20 Populationen, bei m = 64 20 von 20). Das gilt gegen T-linear ohne Produktterme; gegen T-linear mit Produkttermen liegt T-Wald nur bei 30 % Budget vorn, bei 10 und 50 % für jedes m im Median hinten (Nachrechnung dieser Seite aus der Messreihe, nicht in der README).
Was kostet die Schrumpfung in der Falle?	Welt Falle, Budget 30 %, m = 8: Fang-Anteil der Schrumpfung 17,3 Prozentpunkte unter der Rohdifferenz, in 0 von 20 Populationen vorn (für jedes m ≥ 2); bei 10 % Budget 29,5 Prozentpunkte. In der Welt glatt liegt sie bei m = 8 und 30 % Budget 8,4 Prozentpunkte vor der Rohdifferenz (20 von 20; Median der Unterschiede je Population, nicht Unterschied der Mediane in der Zeile darüber). Das gilt für kleines Budget: bei 50 % Budget liegt sie in der Falle ab m = 16 im Median vor der Rohdifferenz (16 von 20 Populationen, bei m = 32 und 64 je 20 von 20).
Wie eng ist die Kopplung von Effekt und Streuung?	Korrelation (Pearson) zwischen wahrem Effekt und Streuung der Einzeldifferenz: Welt Falle 0,93 [0,91 bis 0,95] (20 von 20 Populationen über 0,3); Welt glatt −0,23 [−0,44 bis −0,05], davon 6 von 20 mit Betrag ab 0,3; Welt Wechselwirkung −0,17 [−0,34 bis −0,05], 2 von 20.

Prüfung des Rechenkerns im Normalmodell mit 100 Standorten und 10 Gewählten (Mittel 3, Streuung 1 der wahren Effekte, Pilotfehler 2, in beliebigen Einheiten): Die Simulation der Überschätzung stimmt mit der geschlossenen Formel (Erwartungswerte der Ordnungsstatistiken per Quadratur: 3,094 erwartet) im Band ±0,06 überein. Eine Schrumpfung mit bekannter Varianz je Standort (Mittel und Streuung der wahren Effekte geschätzt) hebt die Überschätzung der Gewählten auf (unter 0,1). Eine Vormessung mit anderer Zufallsquelle war die Erwartung; wo sie von der Neumessung abweicht, gilt die Neumessung.

Grenzen

Was die Messung belegt: den Gewinner-Fluch der Rohdifferenz in vier erzeugten Welten gegen eine bekannte Wahrheit, seinen Rückgang mit dem Pilotumfang, die Kipppunkte der Rohdifferenz und von T-linear mit ihrer Streuung über 20 Populationen, die Schrumpfung samt ihrem Kollaps bei kleinem Pilotumfang und die Rangfolge der Schätzerklassen in bestimmten Welten, Budgets und Pilotumfängen.

Was sie nicht belegt, und wo die Annahmen enden:

• Wahrheit = Poolmittel: Standorte gleichen Typs haben denselben wahren Effekt; der wahre Effekt hat selbst einen Fehler (Standardfehler einer Differenz zweier Poolmittel bei Sicherheitsfaktor 1,4 und Fensterlänge 7 Tage 0,24 Prozentpunkte, bei 224 Tagen 0,05). Alle Vergleiche benutzen dieselbe Wahrheit auf beiden Seiten. In einem echten Betrieb gibt es keinen Pool, die Wahrheit bleibt unbekannt, und die Schwelle \(c\) lässt sich so nicht bilden.
• Wechselwirkungswelt: Der Vorteil der Wälder gegenüber T-linear (ohne Produktterme) gilt für diese gesetzte Zuordnung der Regelstärke und nur bei bestimmten Budgets und Pilotumfängen (30 % Budget ab m = 4, 50 % ab m = 16, 10 % erst bei m = 64), nicht allgemein. Gegenüber T-linear mit Produkttermen ist er klein und nur bei 30 % Budget vorhanden (30 % Budget, m = 8: +2,1 Prozentpunkte Fang-Anteil, in 17 von 20 Populationen vorn).
• Effekt und Streuung nur schwach gekoppelt (glatt, Wechselwirkung): Die Korrelation ist in allen 40 Populationen negativ (kurze Fenster: kleinerer Effekt, größere Streuung), in 6 und 2 von 20 mindestens 0,3 im Betrag; sie ist also schwach gekoppelt, nicht entkoppelt. In der Falle hängen beide eng zusammen, und die Schrumpfung schneidet dort bei 10 und 30 % Budget schlechter ab als die Rohdifferenz. Warum, ist eine Deutung (Standorte mit großem Effekt streuen stark und werden stärker zurückgezogen), keine Messung.
• Pilotumfang kostet nichts, gleiche Kosten je Standort: Ein größerer Pilot kostet in der Wirklichkeit Fenster, die Demo wägt Pilot und Behandlung nicht ab. Bei ungleichen Kosten (Rucksack) ist nicht mehr der Effekt allein die Rangfolge; das ist nicht gemessen.
• Einstellungen der Schätzer: Die Blattgröße des Waldes liegt bei 6 von 7 Pilotumfängen am Rand des Gitters, T-Wald hat damit eine Abstimmung, die T-linear nicht hat; dazu 4 Pseudo-Freiheitsgrade und 40 Bäume. Die Aussagen gelten für diese Regeln, nicht für die Verfahrensklasse. Die T-Wald-Zahlen sind nicht neu gemessen.
• Eine Welt je Aussage: Aussagen über „glatt“ oder „Wechselwirkung“ gelten für diese Welten, nicht für jede Form des Effekts; „Falle“ ist ein Vehikel-Effekt, kein Modell der Praxis. Eine Anomalie bei 80 % Budget (Rohdifferenz bei kleinem m schlechter als Zufall, nur in der Welt Falle, Fang-Anteil -16,4 [-25,1 bis -12,6] bei m = 1) ist nicht untersucht, 80 % wird deshalb nicht angeboten.
• Nicht behandelt: die Zuteilung des Piloten selbst (Bandit), die Planung des Pilotumfangs für einen Effekt (Teststärke), der Gewinner-Fluch für die beste von \(k\) Varianten bei gleicher Wahrheit samt Korrekturen der Fehlalarmrate (Mehrfachtests), das Training eines Modells nach dem Regret der Entscheidung statt nach dem Fehler, und Praxisdaten.

Verweise

• Ein Vergleich im Mittel, Vehikel und Zufall: ab-test-demo.
• Wie viele Fenster für einen Effekt: test-power-demo.
• Gewinner-Fluch für die beste von \(k\) Varianten bei gleicher Wahrheit: multiple-testing-demo.

Quellen

• Quelltext, Messreihe und Tests der Demo: github.com/sebastian-hanisch/wen-behandeln-demo.

Die README der Demo nennt keine Literatur (den Gewinner-Fluch nennt sie auch Fluch des Optimierers). Literaturangaben wurden für diese Seite nicht nachgeschlagen und fehlen deshalb. Die Herleitung ist Standardwissen und Rechnung dieser Seite, keine Messung der Demo.