Konfundierung verständlich erklärt

Ein Händler gibt manchen Filialen einen größeren Vorrat als Puffer. Danach sehen genau diese Filialen schlechter bedient aus als die übrigen, obwohl der Puffer hilft. Diese Seite zeigt, wie so ein Vergleich in die Irre führt und was dagegen hilft.

Zuletzt aktualisiert: 11. November 2026

Ein Wort unbekannt? Das Begriffsverzeichnis erklärt es in wenigen Sätzen.

Ein Puffer, der zu schaden scheint

Stellen Sie sich einen Händler mit sechzehn Filialen vor. Die Kundschaft will jederzeit finden, was sie sucht. Wie oft das gelingt, heißt Servicegrad. Er wird in Punkten angegeben, mehr ist besser.

Die Person, die plant, wie viel Ware in jede Filiale kommt, heißt Disponent. Sie kann einer Filiale einen Puffer geben: zusätzlichen Vorrat über den erwarteten Bedarf hinaus (Fachwort: Sicherheitsfaktor). Der Puffer fängt Ansturm auf, bevor das Regal leer ist.

Die Filialen sind nicht gleich. In ruhigen Filialen ist der Andrang an jedem Tag ähnlich. In unruhigen wechseln Tage mit Ansturm und Tage mit Flaute. Diese Unruhe (Fachwort: Schwankung der Nachfrage) macht leere Regale wahrscheinlicher. Unruhige Filialen sind deshalb ohne Puffer schlechter bedient. Der Disponent weiß das und gibt den Puffer eher den unruhigen Filialen.

Nehmen wir ein ausgedachtes Beispiel mit je acht ruhigen und acht unruhigen Filialen. Die Tabelle zeigt, wie viele Filialen einen Puffer haben und wie hoch ihr Servicegrad im Mittel liegt, jeweils in Punkten.

Gruppe	Mit Puffer (Servicegrad in Punkten)	Ohne Puffer (Servicegrad in Punkten)
Acht ruhige Filialen	zwei Filialen, im Mittel 95	sechs Filialen, im Mittel 91
Acht unruhige Filialen	sechs Filialen, im Mittel 85	zwei Filialen, im Mittel 80

Jetzt der Gesamtvergleich: alle acht Filialen mit Puffer gegen alle acht ohne. Die mit Puffer liegen im Mittel knapp einen Punkt unter den anderen. Der Puffer scheint zu schaden.

Der Blick in jede Gruppe

Vergleichen Sie nun nur ruhige mit ruhigen. Mit Puffer liegen sie bei 95, ohne bei 91, also vier Punkte besser. Bei den unruhigen sind es 85 gegen 80, fünf Punkte besser. In beiden Gruppen hilft der Puffer.

Warum kippt dann der Gesamtvergleich? Von den acht Filialen mit Puffer sind sechs unruhig, und die sind ohnehin schlechter bedient. Von den acht ohne Puffer sind sechs ruhig. Der Gesamtvergleich stellt zwei verschieden zusammengesetzte Gruppen gegeneinander. Er misst nicht nur den Puffer, sondern auch die Unruhe.

Die Unruhe wirkt auf zwei Dinge zugleich: darauf, wer den Puffer bekommt, und darauf, wie gut eine Filiale bedient ist. Fachleute nennen das Konfundierung (die Unruhe ist die gemeinsame Ursache).

Ein zweites Bild: Je mehr Feuerwehrleute an einem Brandort, desto größer der Schaden. Hier entspricht die Feuerwehr dem Puffer und der Brand der Unruhe. Die Feuerwehr richtet den Schaden nicht an. Ein großer Brand ruft viele Einsatzkräfte und richtet viel Schaden an.

Gesucht ist die wahre Wirkung des Puffers: Was ändert sich in einer Filiale, wenn man ihr den Puffer gibt? Das ist etwas anderes als der Vergleich dessen, was man vorfindet.

Das Programm zum Ausprobieren

Zu dieser Seite gehört ein Programm zum Ausprobieren im Browser, die Demo. Der erste Knopf unten öffnet es, der zweite führt zum zweiten Teil für Fachleute. Zum Verstehen brauchen Sie die Demo nicht.

Die Demo erfindet eine Welt mit Filialen (dort Standorte genannt). Der Disponent vergibt den Puffer nach der Unruhe, oder eine Münze entscheidet. Weil die Welt erfunden ist, kann das Programm einer Filiale den Puffer einfach geben oder nehmen, ohne dass der Disponent mitentscheidet, und sehen, was sich ändert. So kennt es die wahre Wirkung. Die Aussagen in diesem Teil beschreiben diese erfundene Welt, in der der Puffer überall gleich viel bringt.

Was die Demo zeigt

Mehr Filialen machen es sicherer, nicht richtiger. Die Demo zog die Filialen 400 Mal neu und rechnete jedes Mal den Gesamtvergleich. Bei 200 Filialen zeigte er in 90 % der Fälle einen Schaden, bei 5000 Filialen in allen. Mehr Filialen glätten den Zufall, aber nicht die schiefe Zusammensetzung der Gruppen.

Der Fehler braucht beides. Wählt der Disponent nicht nach der Unruhe, sind beide Gruppen gleich gemischt. Hat die Unruhe keinen Einfluss auf den Servicegrad, verzerrt die Mischung nichts. In beiden Fällen stimmt der Vergleich in der Demo im Mittel. Bei schwächerer Auswahl oder schwächerem Einfluss liegt der Vergleich im Mittel zu niedrig, bleibt aber im Plus. Erst wenn beides stark ist, wird aus dem Vorteil ein scheinbarer Schaden. Die Demo probierte sechzehn Paare aus Auswahlstärke und Einfluss der Unruhe aus, jeweils beides über null. Nur in fünf davon geschieht das, nämlich wenn Auswahl und Einfluss zusammen groß genug sind.

Was hilft?

• Das Los entscheiden lassen. Eine Münze verteilt den Puffer. Dann hat die Unruhe keinen Einfluss darauf, wer ihn bekommt, und beide Gruppen sind gleich gemischt. In der Demo trifft der Vergleich dann im Mittel die wahre Wirkung.
• Gruppenweise vergleichen. Man vergleicht ruhige mit ruhigen und unruhige mit unruhigen und bildet den Durchschnitt. Im Beispiel liegt er zwischen vier und fünf Punkten.

Das gruppenweise Vergleichen klappt nur unter drei Bedingungen:

• Die Unruhe ist der einzige gemeinsame Grund. Ein verborgener zweiter bliebe im Vergleich stecken.
• Die Unruhe ist ohne Messfehler bekannt. Eine ungenaue Messung rechnet nur einen Teil heraus. Angenommen, eine Messung besteht zu 90 % aus echter Unruhe. Herausrechnen lässt sich die Unruhe nur innerhalb der Gruppen mit und ohne Puffer. Dort besteht die Messung nur noch zu rund 86 % aus echter Unruhe. Ein Teil der Unruhe steckt nämlich schon im Unterschied zwischen den Gruppen. Darum bleiben in der Demo noch 15 % des Fehlers.
• Der Puffer verändert die Unruhe nicht selbst.

Häufige Missverständnisse

• „Die Zahlen zeigen, was Ursache und was Folge ist.“ Nein. In der Demo erzeugen zwei Erzählungen dieselben Zahlen. In der ersten bestimmt die Unruhe, wer den Puffer bekommt. In der zweiten verändert der Puffer die Unruhe. Dann wäre der scheinbare Schaden echt, und die Unruhe herauszurechnen wäre falsch. Welche Erzählung stimmt, sagt das Wissen über die Filialen, nicht die Tabelle.
• „Ein verzerrter Vergleich ist wertlos.“ Nein. Er beschreibt richtig, wie sich Filialen mit und ohne Puffer so unterscheiden, wie der Puffer vergeben wurde. Falsch ist nur der Schluss, der Puffer habe diesen Unterschied bewirkt.

Woran Sie das im Alltag erkennen

Anzeichen, dass ein Vergleich Gruppen mischt:

• Die Gruppen wurden ausgesucht, nicht ausgelost. Wer ein Medikament nimmt, ist im Mittel kränker als wer keines nimmt, weil Kranke es bekommen.
• Die Gruppen unterschieden sich schon vorher in etwas, das auch das Ergebnis beeinflusst, etwa Kinder mit Nachhilfe und ihre Noten.
• Zu einem Vergleich fehlt die Auskunft, wer entschieden hat, wer in welche Gruppe kam.

Wie ernst ist das Modell zu nehmen?

Die Welt der Demo ist einfach gebaut: Der Disponent folgt einer festen Auswahlregel, und der Puffer bringt überall gleich viel. Die Zahlen zeigen, wie der Fehler entsteht, nicht wie groß er bei echten Filialen wäre.

Was Sie mitnehmen:

• Ein Unterschied zwischen zwei Gruppen ist noch keine Wirkung.
• Mehr Zahlen machen eine schiefe Zusammensetzung nicht gerade, sondern nur gewisser.
• Ob man etwas herausrechnen darf, hängt vom Wissen über die Ursachen ab, nicht von den Zahlen allein.

Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.

Modell und Annahmen

Dieser Teil ist eigenständig lesbar. Das Modell ist ein simuliertes Strukturmodell aus drei Größen an Standorten eines Händlers. Alles ist erfunden, und die Wahrheit ist darin exakt bekannt.

• Schwankung: \(Z \sim N(0,1)\) ist die standardisierte Nachfrageschwankung eines Standorts und zugleich die gemeinsame Ursache von Faktor und Servicegrad.
• Zuteilung: \(X \in \{0,1\}\) ist der hohe Sicherheitsfaktor der Bestandsregel. Es gilt \(X = 1\) genau dann, wenn \(S = a + \gamma Z + \eta > 0\) mit \(\eta \sim N(0,1)\) (Probit-Schwelle). Die Auswahlstärke \(\gamma\) legt fest, wie stark der Disponent nach der Schwankung vergibt. Mit \(a = 0\) bekommt im Mittel die Hälfte der Standorte den hohen Faktor, und für \(\gamma = 0\) hängt die Zuteilung nicht von \(Z\) ab.
• Servicegrad: \(Y = b - \beta Z + \tau X + \sigma\varepsilon\) mit \(\varepsilon \sim N(0,1)\) und dem Basiswert \(b = 80\) in Punkten. \(\beta\) ist der Verlust je Einheit Schwankung, \(\tau\) die wahre Wirkung des hohen Faktors, \(\sigma\) die Reststreuung. Die Standardwelt hat \(\gamma = 1\), \(\beta = 4\), \(\tau = 3{,}5\) und \(\sigma = 5\).
• Wahrheit: die Wirkung beim Festsetzen von \(X\) (do-Operator). Im linearen Modell ist sie die Summe der Pfadprodukte von \(X\) nach \(Y\), hier \(\tau\). Die Simulation rechnet sie zusätzlich als gekoppelten Lauf: Derselbe Zufallsstrom wird einmal mit beobachtetem und einmal mit festgesetztem \(X\) durchgerechnet.
• Schätzer: Der naive Unterschied ist das Mittel von \(Y\) mit hohem Faktor minus das Mittel ohne, mit dem Standardfehler nach Welch und einem 95-%-Intervall in Normalnäherung. Der adjustierte Schätzer ist der Koeffizient von \(X\) in der Kleinste-Quadrate-Regression von \(Y\) auf \(X\) und \(Z\).
• Messreihen: Die Experimente laufen auf festen Zufallsströmen: Wiederholungen je Zelle, einige Läufe oder eine einzige große Stichprobe (die Größen stehen bei den Befunden). Eine einzelne Stichprobe, wie ein Anwender sie sieht, ist ausdrücklich ein Einzelfall und kein Befund.

Die Formeln

Die Wirkung beim Festsetzen ersetzt die Gleichung von \(X\) durch den festen Wert \(x\) und lässt \(Z\) unberührt. Der Unterschied der Erwartungswerte ist dann die Wirkung:

\[E[Y \mid \mathrm{do}(X=1)] - E[Y \mid \mathrm{do}(X=0)] = \tau\]

Der naive Unterschied misst dagegen unter Beobachtung. Durch die Auswahl hat \(Z\) in der Gruppe \(X = 1\) ein anderes Mittel als in der Gruppe \(X = 0\), und \(\beta\) macht daraus einen Fehler:

\[E[Y \mid X=1] - E[Y \mid X=0] = \tau - \beta\,(E[Z \mid X=1] - E[Z \mid X=0])\]

Mit \(c = -a/\sqrt{1+\gamma^2}\), der Dichte \(\varphi\) und der Verteilungsfunktion \(\Phi\) der Standardnormalverteilung sind die bedingten Mittel der Schwankung (abgeschnittene Normalmittel, inverse Mills-Quote):

\[E[Z \mid X=1] = \tfrac{\gamma}{\sqrt{1+\gamma^2}}\,\tfrac{\varphi(c)}{1-\Phi(c)}\]

\[E[Z \mid X=0] = -\tfrac{\gamma}{\sqrt{1+\gamma^2}}\,\tfrac{\varphi(c)}{\Phi(c)}\]

Der Fehler hängt nicht von der Stichprobengröße ab. Er verschwindet im Modell genau dann, wenn \(\gamma = 0\) oder \(\beta = 0\), weil für \(\gamma > 0\) stets \(E[Z \mid X=1] > E[Z \mid X=0]\) gilt (die Demo lässt nur nichtnegative Auswahlstärken zu). Der naive Unterschied läuft mit wachsendem \(n\) gegen die rechte Seite der zweiten Formel.

Herleitungen Schritt für Schritt

Die folgenden Herleitungen und Nachrechnungen sind Rechnungen dieser Seite, keine Messungen der Demo. Wo die Messung dieselbe Größe liefert, steht der Vergleich dabei.

Der naive Unterschied und sein Grenzwert.

• Schritt 1: \(\varepsilon\) ist von \(Z\) und \(X\) unabhängig und hat den Mittelwert 0. Also ist \(E[Y \mid X=x] = b - \beta\,E[Z \mid X=x] + \tau x\).
• Schritt 2: Die Differenz der Fälle \(x = 1\) und \(x = 0\) ist die zweite Formel oben.
• Schritt 3: \(S\) ist \(N(a, 1+\gamma^2)\), und \(X = 1\) heißt \(S > 0\). Weil \(Z\) und \(S\) gemeinsam normalverteilt sind, gilt \(E[Z \mid S] = \gamma(S-a)/(1+\gamma^2)\). Mit dem abgeschnittenen Normalmittel \(E[S \mid S > 0] = a + \sqrt{1+\gamma^2}\,\varphi(c)/(1-\Phi(c))\) folgt die dritte Formel, die vierte entsprechend für \(S \le 0\).
• Schritt 4: Für \(a = 0\) ist \(c = 0\) und \(\varphi(0)/(1-\Phi(0)) = \varphi(0)/\Phi(0) = \sqrt{2/\pi}\). Der Grenzwert ist dann \(\tau - 2\beta\gamma\sqrt{2/\pi}/\sqrt{1+\gamma^2}\), in der Standardwelt \(\tau - 2\beta/\sqrt{\pi}\), also \(3{,}5 - 8/\sqrt{\pi}\). Das ist der in den Befunden genannte Grenzwert −1,01 und damit negativ, obwohl die Wirkung \(\tau\) positiv ist.

Warum die Deckung mit \(n\) gegen 0 geht und das Vorzeichen eindeutig wird.

• Schritt 1: Der naive Schätzer hat die feste Verzerrung \(\delta = -\beta\,(E[Z \mid X=1] - E[Z \mid X=0])\). In der Standardwelt sind das gut viereinhalb Punkte nach unten.
• Schritt 2: Sein Standardfehler fällt wie \(1/\sqrt{n}\), das Intervall wird proportional schmaler. Das Verhältnis \(|\delta|\) zu Standardfehler wächst wie \(\sqrt{n}\).
• Schritt 3: Die Deckung ist die Wahrscheinlichkeit, dass das Rauschen die Verzerrung innerhalb der Intervallbreite ausgleicht. Sie geht deshalb mit \(n\) gegen 0, auch wenn sie bei kleinem \(n\) noch spürbar ist (Befunde unten).
• Schritt 4: Das Vorzeichen des Schätzers geht gegen das Vorzeichen des Grenzwerts. Bei negativem Grenzwert wird der Anteil falscher Vorzeichen also 1. Bei positivem, aber kleinem Grenzwert geht er mit \(n\) gegen 0, ist aber bei mittlerem \(n\) noch hoch: Die Zellen \(\gamma = 2, \beta = 2\) und \(\gamma = 0{,}5, \beta = 4\) haben beide einen positiven Grenzwert von rund einem Fünftel von \(\tau\) und zeigen bei 200 Standorten dennoch in 18 % bzw. 22 % der Stichproben ein negatives Vorzeichen.

Standardisierung an der Mini-Instanz. Die Gruppen \(g\) (hier ruhig und unruhig) haben die Anteile \(w_g\) der Standorte und die Mittel \(m_{g,x}\) von \(Y\) bei Faktor \(x\). Der Anteil der Gruppe \(g\) unter den Standorten mit Faktor \(x\) sei \(w_{g \mid x}\).

• Schritt 1: Der naive Unterschied ist \(\sum_g w_{g \mid 1}\,m_{g,1} - \sum_g w_{g \mid 0}\,m_{g,0}\).
• Schritt 2: Der standardisierte Unterschied ist \(\sum_g w_g\,(m_{g,1} - m_{g,0})\). Er gewichtet beide Gruppen mit ihrem Anteil an allen Standorten und ist die Wirkung, wenn sie in jeder Gruppe gilt.
• Schritt 3: Beide stimmen überein, wenn \(w_{g \mid 1} = w_{g \mid 0}\) in jeder Gruppe gilt, die Gruppen also bei beiden Faktorstufen gleich gemischt sind (hinreichend, nicht notwendig). Eine Münze stellt das im Erwartungswert her, in einer einzelnen Stichprobe weichen die Anteile zufällig ab. Die Auswahl nach \(Z\) verletzt es.
• Beispiel: In der Mini-Instanz (16 Standorte, zwei Gruppen zu je acht) bekommen in der unruhigen Gruppe sechs, in der ruhigen zwei Standorte den hohen Faktor. Die Mittel von \(Y\) sind in der ruhigen Gruppe 95 mit hohem Faktor und 4 weniger ohne, in der unruhigen 80 ohne und 5 mehr mit hohem Faktor. Der naive Unterschied ist −0,75, in den Gruppen sind es +4 und +5, standardisiert bei gleichen Gewichten +4,5. Die Regression auf \(X\) und das Gruppenmerkmal gibt hier ebenfalls 4,5: Sie gewichtet die Gruppen mit \(n_g\,p_g(1-p_g)\), wobei \(p_g\) der Anteil mit hohem Faktor in Gruppe \(g\) ist, und beide Gruppen haben dieselben Werte (acht Standorte, ein Viertel bzw. drei Viertel).

Überlappung. Bei \(a = 0\) ist \(P(X=1 \mid Z=z) = \Phi(\gamma z)\). Für \(z = -2\) sind das 2,3 % bei \(\gamma = 1\); für \(\gamma = 2\) steht der Wert in den Befunden. Je stärker die Auswahl, desto weniger Vergleichsstandorte gibt es an den Rändern von \(Z\).

Das zweite Diagramm: dieselbe Verteilung, anderer Pfeil.

• Schritt 1: Diagramm A (Schwankung → Faktor, Schwankung → Servicegrad, Faktor → Servicegrad) zerlegt die gemeinsame Verteilung als \(p(Z)\,p(X \mid Z)\,p(Y \mid Z, X)\).
• Schritt 2: Diagramm B (Faktor → Schwankung → Servicegrad, Faktor → Servicegrad) zieht erst \(X\) mit \(P(X=1) = \Phi(a/\sqrt{1+\gamma^2})\), dann \(Z\) aus seinem Gesetz gegeben \(X\) (abgeschnittene Normalverteilung) und dann \(Y\) aus derselben Gleichung wie in A. Das ist die Zerlegung \(p(X)\,p(Z \mid X)\,p(Y \mid Z, X)\) mit demselben Produkt, also derselben gemeinsamen Verteilung von \((Z, X, Y)\).
• Schritt 3: In B gibt es keine gemeinsame Ursache. Der Faktor wirkt direkt mit \(\tau\) und über \(Z\) mit \(-\beta\,(E[Z \mid X=1] - E[Z \mid X=0])\). Die Wirkung ist die Summe, also der naive Unterschied (Befunde), statt \(\tau\) wie in A.
• Schritt 4: Die Regression mit \(Z\) ergibt in beiden Diagrammen \(\tau\). In A ist das die Wirkung, in B nur ihr direkter Teil: Die Kontrolle rechnet dort den Weg über \(Z\) weg.

Verrauschte Kontrolle. Beobachtet wird \(Z^* = Z + u\) mit unabhängigem Messfehler \(u\) und der Reliabilität \(r = \mathrm{Var}(Z)/\mathrm{Var}(Z^*)\), also \(\mathrm{Var}(u) = 1/r - 1\).

• Schritt 1: Nach dem Herausrechnen von \(X\) (Satz von Frisch-Waugh-Lovell: Der Koeffizient von \(Z^*\) ist derselbe wie in der Regression der von \(X\) bereinigten Größen) bleibt für \(Z\) die Streuung innerhalb der Gruppen des Faktors, \(v_w = \mathrm{Var}(Z) - p(1-p)\,(E[Z \mid X=1] - E[Z \mid X=0])^2\) mit \(p = P(X=1)\). Bei \(a = 0\) und \(\gamma = 1\) ist \(p = 1/2\) und \(v_w = 1 - 1/\pi\).
• Schritt 2: Der Koeffizient von \(Z^*\) in der Regression von \(Y\) auf \(X\) und \(Z^*\) rechnet nur den Anteil \(r_w = v_w/(v_w + \mathrm{Var}(u))\) des Einflusses von \(Z\) heraus, die Reliabilität innerhalb der Gruppen. Sie ist kleiner als \(r\). Die Rechnung braucht nur zweite Momente (lineare Projektion) und keine Normalverteilung von \(Z\) gegeben \(X\).
• Schritt 3: Vom Fehler des naiven Unterschieds bleibt der Anteil \(1 - r_w\) im Koeffizienten von \(X\). Für die Reliabilität 0,9 ist \(r_w\) rund 86 %, es bleibt also ein Anteil von rund 14 % des Fehlers und nicht 10 %. Für die anderen genannten Reliabilitäten weichen die so berechneten Anteile um höchstens etwa einen Prozentpunkt von den gemessenen ab. Die Messung ist eine einzelne Stichprobe, solche Abweichungen sind Stichprobenfehler.

Die 48 Tests auf gleiche Verteilung. Je Lauf werden vier Zwei-Stichproben-Tests nach Kolmogorov und Smirnov gerechnet (für \(Z\) und für \(Y\), je getrennt für \(X=0\) und \(X=1\)), in 12 Läufen also 48; die Zahl der Läufe ist eine Festlegung der Demo. Nach der Konstruktion in B sind die Verteilungen von \(Z\) und \(Y\) gegeben \(X\) gleich. Die Tests prüfen also die Umsetzung, nicht eine offene Frage. Bei 48 unabhängigen Tests zum Niveau 0,05 wären rund zwei bis drei Treffer zu erwarten, und mindestens fünf kämen mit einer Wahrscheinlichkeit von knapp einem Zehntel vor (Rechnung dieser Seite). Die vier Tests je Lauf sind abhängig, die Zahl ist also nur ein Richtwert.

Befunde

Alle Zahlen stammen aus Simulationen der Standardwelt (\(\gamma = 1\), \(\beta = 4\), \(\tau = 3{,}5\), \(\sigma = 5\)), wenn nicht anders genannt. Die Messreihen laufen auf festen Zufallsströmen mit 400 Wiederholungen je Zelle; Anteile aus 400 Wiederholungen haben im Binomialmodell eine Standardabweichung von höchstens etwa zweieinhalb Prozentpunkten (Rechnung dieser Seite). Die Deckung ist der Anteil der Wiederholungen, in denen das 95-%-Intervall die wahre Wirkung enthält. Derselbe Fall (Standardwelt, 200 Standorte) erscheint zweimal, mit 90 % in der Größenreihe und 86 % im Gitter; beide Läufe nutzen getrennte Zufallsströme, und der Abstand von rund vier Punkten ist knapp zwei Standardabweichungen der Differenz (Rechnung dieser Seite).

Frage	Befund
Wohin läuft der naive Vergleich?	Gegen −1,01 Punkte, nicht gegen +3,5. Geschlossene Form und eine Simulation mit 300 000 Standorten stimmen überein.
Eine einzelne Stichprobe von 400 Standorten (der feste Zufallsstrom der Einzelansicht; warum gerade dieser, ist nicht dokumentiert)	Naiver Unterschied −1,10 Punkte, 95-%-Intervall von −2,2 bis knapp über 0 (die Null liegt knapp darin); 53 % der Standorte haben den hohen Faktor, Mittel 80,8 gegen 81,9. Der Punktschätzer zeigt in die falsche Richtung, das Intervall verfehlt +3,5; ein gesicherter Schaden ist es nicht.
Deckt das Intervall mit mehr Daten besser? (400 Wiederholungen je Größe)	Schlechter. Deckung der wahren Wirkung: 27 % bei 50 Standorten, 0 % bei 200, 1 000 und 5 000.
Wie oft zeigt der Vergleich das falsche Vorzeichen?	69 % bei 50 Standorten, 90 % bei 200, 99,5 % bei 1 000, 100 % bei 5 000.
Und bei Münzwurf statt Auswahl?	Deckung 94 bis 96 % für alle Größen, Mittel der Schätzung +3,5.
Mit der Schwankung als Kontrolle gerechnet?	Ebenfalls Deckung 94 bis 96 % (Regression mit \(Z\)). Die Rechnung ist erlaubt, wenn \(Z\) die einzige gemeinsame Ursache ist, ohne Messfehler beobachtet wird und nicht auf dem Weg vom Faktor zum Servicegrad liegt.
Wie stark muss die Auswahl sein? (Gitter: Auswahlstärke \(\gamma\) von 0 bis 2 und Einfluss \(\beta\) von 0 bis 6 in je fünf Stufen, 400 Wiederholungen je Zelle)	In 5 von 16 Zellen mit \(\gamma > 0\) und \(\beta > 0\) ist der Grenzwert negativ (\(\gamma = 1, \beta = 4\): −1,0; \(\gamma = 2, \beta = 4\): −2,2; \(\gamma = 0{,}5, \beta = 6\): −0,8). Ohne Auswahl (\(\gamma = 0\)) oder ohne Einfluss der Schwankung (\(\beta = 0\)) ist er in jeder Zelle +3,5.
Falsches Vorzeichen bei 200 Standorten	86 % (\(\gamma = 1, \beta = 4\)), 6 % (\(\gamma = 1, \beta = 2\)), 18 % (\(\gamma = 2, \beta = 2\)), 22 % (\(\gamma = 0{,}5, \beta = 4\)); ab \(\gamma = 2, \beta = 4\) praktisch immer.
Gibt es ein zweites Diagramm mit denselben Daten? (12 Läufe)	Ja: Faktor → Schwankung → Servicegrad. Von 48 Tests auf gleiche Verteilung liegen 5 unter 0,05, der kleinste p-Wert ist 0,003. In Diagramm B ist der naive Unterschied die Wahrheit (−1,01), in Diagramm A sind es +3,5.
Hilft eine verrauschte Kontrolle? (eine Stichprobe von 100 000 Standorten)	Nur teilweise. Reliabilität 0,9: Schätzung 2,82, 15 % des Fehlers bleiben. Reliabilität 0,5: 0,74 (60 %). Reliabilität 0,2: −0,41 (86 %).
Überlappung	Bei \(\gamma = 1\) hat ein Standort mit Schwankung −2 nur 2,3 % Wahrscheinlichkeit auf den hohen Faktor, bei \(\gamma = 2\) rund 0,003 %.
Mini-Instanz von Hand	16 Standorte in zwei Gruppen: naiv −0,75, je Gruppe +4 und +5, standardisiert +4,5.

Grenzen: was die Messung zeigt und was nicht

Was sie belegt: den Grenzwert des naiven Vergleichs in dieser Welt (geschlossene Form gegen Simulation), den Verlauf von Deckung und Vorzeichenanteil in der Standardwelt, die Gegenüberstellung mit Münzwurf und mit der Regression auf \(Z\) sowie die Lage der Zellen im Gitter.

Was sie nicht belegt:

• Aussagen über echte Standorte. Alle Zahlen sind erzeugt; die Wahrheit ist die Rechnung im simulierten Modell.
• Einzelfälle als Häufigkeiten. Die einzelne Stichprobe von 400 Standorten und die verrauschte Kontrolle mit 100 000 Standorten sind je ein Lauf. Die gemessenen Anteile verbleibenden Fehlers haben also einen Stichprobenfehler, den die Messung nicht ausweist.
• Die Schwankung ist die einzige gemeinsame Ursache. Weitere verborgene Einflüsse auf Faktor und Servicegrad bleiben im Fehler, mit Daten allein sind sie nicht zu sehen.
• Die Schwankung ist ohne Messfehler beobachtet. Bei Reliabilität 0,9 bleiben 15 % des Fehlers übrig.
• Es gibt überall Standorte mit und ohne hohen Faktor. Bei starker Auswahl fehlen an den Rändern Vergleichsstandorte (Überlappung oben).
• Die Wirkung ist überall gleich. Im Modell ist \(\tau\) konstant. Wirkt der Faktor je Standort verschieden, mittelt ein einziger Unterschied darüber hinweg.
• Linear und normalverteilt. Die geschlossene Formel gilt für dieses Modell; schiefe Verteilungen oder Schwellen im Servicegrad verändern die Zahlen.
• Die Auswahlregel ist erfunden. Ein wirklicher Disponent hat weitere Gründe; die Schwelle \(a + \gamma Z + \eta > 0\) ist eine Annahme.
• Die zwei Diagramme. Dass die Daten nicht zwischen A und B entscheiden, gilt für diese beiden Welten mit derselben gemeinsamen Verteilung. Beide Diagramme sind vollständig (je zwei Größen sind verbunden) und deshalb allein aus der Verteilung nicht zu unterscheiden (Markov-Äquivalenz). Aussagen über die Unterscheidbarkeit anderer Diagramme folgen daraus nicht.

Erweiterungen und Verweise

Was die Demo auslässt, zeigen andere Demos dieser Website:

• Zufällige Zuteilung: Die ab-test-demo teilt denselben Servicegrad der Bestandsregel zufällig zu; ihr 95-%-Intervall hält dort in 94 bis 96 % der Experimente, so wie hier in der Münzwurf-Spalte.
• Das Diagramm lesen: Welche Unabhängigkeiten ein Ursachen-Diagramm behauptet, zeigt die d-separation-demo.
• Welche Variablen man festhält: Die backdoor-demo macht aus dem Diagramm eine Regel für die Kontrollvariablen.
• Andere Schätzer: Diese Demo vergleicht nur Mittelwerte und die lineare Regression. Regression bei gekrümmtem Ergebnis, Gewichten, Schichten und Matching zeigt die schaetzen-demo.
• Verborgene Ursache: Wie stark ein unbeobachteter Einfluss sein müsste, um ein Ergebnis zu kippen, behandelt die sensitivitaet-demo.

Quellen

• J. Pearl: Causality. Cambridge University Press 2009 (do-Operator, Konfundierung).
• E. H. Simpson: The interpretation of interaction in contingency tables. Journal of the Royal Statistical Society B 13, 1951 (Simpson-Umkehr).
• Quelltext, Messreihen und Tests der Demo: github.com/sebastian-hanisch/konfundierung-demo.

Die beiden Veröffentlichungen wurden für diese Seite nicht nachgeschlagen; die Angaben stehen so in der Demo und sind dort als „aus dem Gedächtnis, nicht geprüft“ vermerkt. Die Herleitungen, die Nachrechnung der Reliabilitäten und die Betrachtung der 48 Tests sind Rechnungen dieser Seite und keine Messungen der Demo.