Experimente und Wirkungsmessung erklärt

Zwölf Stücke mit demselben wachsenden Beispiel: eine neue Bestandsregel (ein höherer Sicherheitsfaktor) an Standorten, gemessen am Servicegrad. Die Wahrheit ist bekannt, weil die Standort-Fenster simuliert sind: der Faktor 1,4 hebt den Servicegrad um 3,49 Prozentpunkte. Das erste Stück prüft, ob ein A/B-Test diese Wirkung findet; jedes Folgestück hebt eine Annahme auf, die in der Praxis bricht: zu wenige Fenster, hinsehen während des Tests, viele Kennzahlen, schiefe Daten und Ausreißer, ein Verhältnis aus Tageswerten, eine Zuteilung nach den Ergebnissen, Standorte, die einander beeinflussen, ein einzelner umgestellter Standort und eine Regel, die nie gefahren wurde.

Alle Zahlen stehen in den README der Demos. Jede Demo prüft ihre Kernrechnung gegen einen unabhängigen Weg (eine exakte Formel, scipy, eine vollständige Aufzählung) und benennt den Fall, in dem das Verfahren versagt, mit Zahlen. Das Beispiel ist erfunden; was es zeigt, gilt für dieses Beispiel und sagt nichts darüber, wie ein reales Experiment ausgeht.

In short: Covers experimentation and causal impact measurement: A/B testing, statistical power, sequential (interim) looks, switchback experiments and analysis of log data. Interactive demos use one simulated policy change with a known true effect.

Hintergrund zum Thema: Bestandsmanagement.

Diese Seite gehört zu Algorithmen und Verfahren erklärt. So lesen Sie sie: Das Diagramm zeigt, wie die Stücke zusammenhängen. Jede Kachel darunter öffnet eine interaktive Demo, wo es eine gibt, mit einer Erklärseite für Einsteiger und Fachleute. Auf der Suche nach einer Lösung für ein konkretes Problem? Zu den Interaktiven Demos.

Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.

Zuletzt aktualisiert: 28. Oktober 2026

Welches Verfahren passt zu Ihrem Fall? Zum Entscheidungsbaum ↓

Zum Nachlesen: erst einfach, dann fachlich

Die zwölf Stücke im Überblick

Der A/B-Test ist die Wurzel: zwei Regeln, ein Servicegrad, ein Welch-Test. Daraus verzweigt die Linie nach der Schwäche, die jeweils behoben wird: Teststärke (wie viele Fenster), Gültigkeit der Zuteilung, Mehrfachtests, schiefe Daten und Ausreißer. Von der Teststärke aus folgen Zwischenblicke (nur am Ende hinsehen) und CUPED (zu viel Streuung); von den schiefen Daten die Verhältniskennzahlen, dann die Interferenz zwischen Standorten und zuletzt der einzelne Standort mit synthetischer Kontrolle.

Zwei Gegenstücke stellen die Zuteilung selbst in Frage: der Bandit verschiebt die Fenster nach den bisherigen Ergebnissen und verliert weniger, aber der naive Test gilt dann nicht mehr; die Off-Policy-Evaluation (Doppelrahmen) führt zusammen, was Gewichtung (Bandit) und Modell (CUPED als Regressionsanpassung) leisten, um eine nie gefahrene Regel aus Logdaten zu bewerten.

Die Kästen sind klickbar und öffnen die jeweilige Demo direkt.

• behebt eine Schwäche des Vorgängers oder baut darauf auf
• Gegenstück: derselbe Zweck, andere Bauweise (kein Fix)
• übernimmt nur eine Idee
• Zusammenfluss mehrerer Stränge
• Baustein aus einer anderen Linie

Gestrichelte graue Knoten gehören zu anderen Linien: gemeinsame Zufallszahlen (Warteschlangentheorie), der Bandit (Reinforcement Learning) und Prognoseintervalle (Zeitreihen-Prognose).

Verwandt in anderen Linien

• Reinforcement Learning — Der Bandit dort ist das Fundament von Bandit statt A/B-Test hier: dieselbe Thompson-Zuteilung, aber auf Standort-Fenstern und mit der Frage, was die Auswertung danach noch gilt. Und das „off-policy“ der Auswertung aus Logdaten meint etwas anderes als im Q-Learning dort: nicht, mit welcher Regel gelernt wird, sondern wie sich der Wert einer nie gefahrenen Regel aus Logdaten schätzen lässt.
• Zeitreihen-Prognose — Die Prognoseintervalle dort fragen, ob ein Intervall hält, was es verspricht (Abdeckung). Die synthetische Kontrolle hier stellt dieselbe Frage für das Gegenfaktische: ihr Placebo-Rangtest zählt, wie oft eine Kontrolle einen so großen Effekt zeigt, und der kleinste mögliche p-Wert ist 1/(J+1). Die Verwandtschaft zur konformen Kalibrierung dort ist eine Deutung, keine Messung.
• Warteschlangentheorie und Simulation — Die Output Analysis dort misst die Varianzersparnis durch gemeinsame Zufallszahlen beim Vergleich zweier Systeme; CUPED hier ist die verwandte Varianzreduktion mit einer Vorab-Kovariate statt gekoppelter Läufe, und sie braucht dauerhaft verschiedene Standorte, sonst bringt sie nichts.
• Ranking — Rangintervalle und Shrinkage zeigt dieselbe Überschätzung der Besten: Dort wird nicht die Teststatistik korrigiert, sondern die Schätzung per Shrinkage, und die Rangfolge bleibt fast gleich.
• Kausale Diagramme und Adjustierung — Hier teilt eine Münze den Faktor zu; in der Konfundierung der Linie Kausale Diagramme und Adjustierung hat ein Disponent nach der Nachfrageschwankung zugeteilt, und der naive Vergleich läuft gegen −1,01 Punkte statt gegen die wahre Wirkung +3,5. Die Schätz-Stücke dort gewichten mit geschätzter statt bekannter Zuteilung, wie es die Off-Policy-Evaluation hier mit bekannter tut.
• Spektral- und Wavelet-Analyse — Der höchste Gipfel eines Spektrums ist ein Mehrfachtest über alle Frequenzen: Die Demo Peak oder Rauschen zeigt, wie oft er bei reinem Rauschen täuscht und welche Schwelle das korrigiert.
• Mittelwerte und Lagemaße — Der Permutationstest nutzt das Winsorisieren als Vorbehandlung eines Tests. Die Trimm-und-Huber-Demo der Linie Mittelwerte und Lagemaße misst Trimmen, Winsorisieren und Huber als Schätzer der Lage und zeigt, dass Winsorisieren bei zweiseitigen Ausfällen schlechter als das Mittel sein kann.
• Korrelation — Die Korrelationsmatrix der Linie Korrelation stellt die Frage des Mehrfachtests für die vielen Paare einer Matrix: Bei reinem Rauschen, 50 Kennzahlen und 30 Wochen wirkt in der Demo in jedem gezogenen Datensatz mindestens ein Paar „signifikant“.

Weitere Linien in diesem Bereich