Welcher Weg gewinnt? Verständlich erklärt
Ein Café backt jeden Morgen Kuchen, bevor es weiß, wie viele Gäste kommen. Welcher Weg, die Menge zu planen, gewinnt, hängt an zwei Fragen: Ist der Zusammenhang zwischen Wetter und Verkäufen gekrümmt? Schwankt die Streuung der Verkäufe mit dem Wetter? Die Seite erklärt beide und wo die Antwort an eine Grenze kommt.
Zuletzt aktualisiert:
Ein Wort unbekannt? Das Begriffsverzeichnis erklärt es in wenigen Sätzen.
Ein Café plant seine Kuchen
Stellen Sie sich ein Café mit Terrasse vor. Jeden Morgen muss es Kuchen backen, bevor die Gäste kommen. Backt es zu wenig, gehen Gäste enttäuscht und kommen vielleicht nicht wieder. Backt es zu viel, bleibt Kuchen übrig. Ein fehlendes Stück ärgert mehr, als ein übriges kostet. Hilfen sind der Wetterbericht und die Erinnerung an frühere Tage.
Es gibt mehrere Wege, aus dieser Erinnerung eine Backmenge abzuleiten. Ein Programm zum Ausprobieren, die Demo zu dieser Seite, lässt sie in erfundenen Welten gegeneinander antreten. Nur dort ist das wahre Gesetz hinter den Verkäufen und damit die bestmögliche Backmenge bekannt; im echten Café kennt man sie vorher nie. Gemessen werden die Mehrkosten: wie viel mehr Geld ein Weg kostet als die bestmögliche Menge.
Vier Wege, die Backmenge zu bestimmen
- Der erwartete Absatz: Aus dem Wetter ableiten, wie viel an so einem Tag im Durchschnitt verkauft wird, und genau so viel backen.
- Prognose mit Zuschlag: Dieselbe Prognose plus ein Zuschlag. Man schaut, um wie viel sie früher zu niedrig lag, und schlägt umso mehr davon auf, je teurer ein fehlendes Stück ist. Der Zuschlag ist an jedem Tag derselbe.
- Direkt auf die Kosten lernen: Keine Verkaufsprognose bilden, sondern aus den früheren Tagen die Regel suchen, die am wenigsten Geld gekostet hätte. Der Zuschlag darf hier mit dem Wetter wechseln.
- Ähnliche Tage gewichten: Frühere Tage mit ähnlichem Wetter zählen mehr. Aus ihren Verkäufen wählt man eine Menge aus dem oberen Bereich, wenn ein fehlendes Stück teuer ist, sonst aus der Mitte.
Zwei Fragen an die Verkaufszahlen entscheiden
Ist der Zusammenhang gekrümmt? Gerade heißt: Jedes Grad Wärme bringt etwa gleich viele Gäste mehr. Gekrümmt heißt: Der Kuchenabsatz steigt mit der Wärme bis zu einer Grenze, aber an brütend heißen Tagen bleiben die Gäste lieber zu Hause. Auf einer Kurve liegt eine gerade Prognose an manchen Tagen zu hoch, an anderen zu niedrig, und ein Zuschlag gleicht das nicht aus. In der Demo gewinnt dann das Gewichten ähnlicher Tage, weil es keine Gerade voraussetzt.
Schwankt die Streuung mit den Umständen? An Regentagen liegen die Verkäufe nah beieinander. An Sonnentagen streuen sie breit: mal Ansturm, mal leere Terrasse. Dann sollte der Zuschlag an Regentagen klein und bei Sonne groß sein; ein einziger Zuschlag für alle Tage passt zu keinem von beiden. Hier gewinnt in der Demo das direkte Lernen auf den Kosten, weil es den Zuschlag mit dem Wetter wechseln lässt, vorausgesetzt, es liegen genug Tage vor: Die Demo verlangt zehn Tage Grundstock plus zehn je berücksichtigter Wetterangabe.
Ist der Zusammenhang gerade und die Streuung gleichbleibend, genügt in der Demo die Prognose mit einem einzigen Zuschlag. Sind außerdem ein fehlendes und ein übriges Stück gleich teuer, reicht schon der erwartete Absatz.
Die Regel der Demo und was sie leistet
Die Demo beantwortet beide Fragen rechnerisch an den früheren Verkaufszahlen. Jede Prüfung fragt: Könnte das Muster reiner Zufall sein? Wäre es bei Zufall in weniger als 1 von 100 Fällen so deutlich, schlägt sie an. Schlägt die erste (Krümmung) an, nimmt die Demo ähnliche Tage. Sonst lernt sie direkt auf den Kosten, wenn die zweite (Streuung) anschlägt und genug Tage vorliegen, und nimmt in allen anderen Fällen die Prognose mit Zuschlag.
Getestet wurde die Regel in vier erfundenen Welten: gerade mit gleichbleibender Streuung, gerade mit wachsender Streuung, Streuung an beiden Enden groß, gekrümmt. Im Mittel über diese vier hatte sie 44 % weniger Mehrkosten als das Verfahren, das man fest gewählt hätte und das im Mittel am besten war. Dass in drei der vier Welten ein anderes festes Verfahren besser war als die Regel, widerspricht dem nicht: Kein festes Verfahren war in allen vier besser, und in der gekrümmten Welt kostete die Prognose mit Zuschlag mehr als doppelt so viel. Mit dem einfacheren Gewichten der Demo sind es 31 % statt 44 %.
Der blinde Fleck
Die Regel hat eine Schwäche, die die Demo zeigt, aber nicht behebt. Der zweite Test merkt nur, wenn die Streuung gleichmäßig mit dem Wetter steigt oder fällt. Ist das Café bei Frost und bei Hitze unberechenbar und bei mildem Wetter verlässlich, schlägt der Test in der Demo bei höchstens 6 von 100 erfundenen Datensätzen an. In einer nachgebildeten Lage dieser Art (1000 Tage in den Büchern, drei Einflüsse wie Temperatur, Regen und Wochentag, teure Fehlmengen) hatten ähnliche Tage kleinere Mehrkosten als Prognose mit Zuschlag und direktes Lernen.
Woran Sie das im Betrieb erkennen
Zwei Auftragungen der früheren Tage zeigen, welche Frage bei Ihnen zutrifft:
- Zusammenhang gekrümmt? Zeichnen Sie je früherem Tag einen Punkt: waagerecht die Temperatur, senkrecht, um wie viele Stück die Prognose danebenlag (zu hoch: oben, zu niedrig: unten). Bildet die Punktwolke einen Bogen statt eines flachen Bandes, ist der Zusammenhang gekrümmt.
- Streuung schwankt? Zeichnen Sie dieselben Punkte, aber senkrecht nur die Größe der Abweichung ohne Vorzeichen (aus minus 3 wird 3). Wird die Wolke mit der Temperatur gleichmäßig breiter oder schmaler, schwankt die Streuung. Ist sie an beiden Enden hoch und in der Mitte niedrig, sieht der Test der Demo das nicht, das Bild schon.
Was Sie daraus machen: gekrümmt, dann ähnliche Tage. Sonst bei schwankender Streuung und genug Tagen direkt auf den Kosten, sonst Prognose mit Zuschlag.
Wie ernst ist das Modell zu nehmen?
Es sind vier erfundene Welten mit 3 oder 10 Einflüssen, kein echtes Café. Wie sich die Wege bei echten Daten verhalten, ist nicht gemessen.
Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.
Modell und Annahmen
Dieser Teil ist eigenständig lesbar. Er behandelt eine Bestellmenge, die aus Trainingsdaten gelernt wird, und die Frage, welches von drei Lernverfahren man wählen soll, wenn nur diese Trainingsdaten vorliegen. Die Antwort der Demo ist eine Wahlregel mit zwei Diagnosen, gemessen in simulierten Welten, nicht an echten Daten.
- Entscheidung und Kosten: Bestellt wird eine Menge \(q\), bevor die Nachfrage \(D\) bekannt ist. Eine fehlende Einheit kostet \(b\), eine überschüssige \(h = 1\); das kritische Verhältnis ist \(\tau = b/(b+h)\), also \(b = \tau/(1-\tau)\). Die beste Menge bei Merkmalen \(x\) ist das \(\tau\)-Quantil der Nachfrage, das sogenannte Orakel.
- Vier Welten: Merkmale \(x \sim \mathcal N(0, I_p)\) mit \(p\) Merkmalen, Nachfrage \(D = \max(0, Y)\) mit \(Y \sim \mathcal N(\mu(x), \sigma(x)^2)\). (1) Wahrheit linear, Streuung konstant: \(\mu = 60 + 10\,(x \cdot \beta)\), \(\sigma = 8\). (2) Streuung wächst linear mit \(x_1\): \(\sigma = \max(1,\, 6 + 4 x_1)\), \(\mu\) wie in (1). (3) Streuung hängt von \(|x_1|\) ab und ist damit nicht monoton: \(\sigma = 4 + 6\,|x_1|\), \(\mu\) wie in (1). (4) Wahrheit quadratisch in \(x_1\): \(\mu + 8\,(x_1^2 - 1)\) mit dem Mittelwert aus (1), \(\sigma = 8\). Der Vektor \(\beta\) ist je Zufalls-Seed ein zufälliger Einheitsvektor.
- Drei Verfahren: KQ plus Quantil ist die lineare Anpassung nach Kleinsten Quadraten plus das Residuum der Rangzahl \(\lceil \tau n \rceil\) als ein gemeinsamer Aufschlag. Direkt ist die lineare Quantilregression, gelöst als lineares Programm. Gewichte aus Ähnlichkeit bilden das gewichtete \(\tau\)-Quantil der beobachteten Nachfragen; die Vormessung benutzt einen Zufallswald mit 50 Bäumen, die Demo rechnet live Gauß-Kerngewichte mit per Leave-one-out gewählter Bandbreite und zusätzlich Gewichte der nächsten Nachbarn.
- Messaufbau: Eine Zeile ist ein Datensatz aus Welt, \(p \in \{3, 10\}\), \(n \in \{100, 1000\}\), \(\tau \in \{0{,}5;\, 0{,}8;\, 0{,}95\}\) und Zufalls-Seed: \(4 \cdot 2 \cdot 2 \cdot 3 \cdot 30 = 1440\) Zeilen je Satz von Zufalls-Seeds (0 bis 29, unabhängig davon 100 bis 129). Die Kosten werden exakt als Erwartung über die Nachfrage und über 2000 feste Testpunkte gerechnet. Die Mehrkosten sind der Aufschlag gegen das Orakel in Prozent der Orakelkosten.
- Zwei Messreihen: Die Vormessung rechnet die Gewichte mit einem Zufallswald (scikit-learn, 50 Bäume) und dem Zufallsstrom von numpy; ihre Zahlen sind eingefroren, nicht live. Der Nachbau ist die Rechnung mit dem Code der Demo (Gauß-Kerngewichte statt Wald, anderer Zufallsstrom), vorgerechnet.
- Der Entscheidungsbaum ordnet die Verfahren aus den neun Demos zu den einzelnen Verfahren mit elf Fragen und sechzehn Blättern; jedes Blatt nennt ein Verfahren und einen Messwert aus der Demo, in der es gemessen ist. Er enthält keine neue Messung. Im Zweig „Menge je Fall“ steht die Frage nach der Form des Mittelwerts vor der Frage nach schiefen Kosten, weil auch bei \(\tau = 0{,}5\) das Mittel bei gekrümmter Wahrheit nicht genügt (siehe Befunde).
Die Formeln
Kosten. Mit der Bestellmenge \(q\) und der Nachfrage \(D\) kostet die Entscheidung \(b\,(D-q)_+ + h\,(q-D)_+ = (b+h)\,\rho_\tau(D-q)\), wobei \(\rho_\tau\) der Pinball-Verlust ist. Direktes Lernen auf den Kosten heißt daher: den Pinball-Verlust minimieren, also eine Quantilregression.
Diagnose. Sie besteht aus zwei F-Tests geschachtelter linearer Modelle auf den Trainingsdaten \((x_i, y_i)\), \(i = 1, \dots, n\). \(X\) ist die Designmatrix \([1, x]\) mit \(p + 1\) Spalten, \(\tilde X\) die erweiterte Designmatrix \([1, x, x^2]\) (Quadrate elementweise) mit \(2p + 1\) Spalten; \(\mathrm{RSS}_0\) und \(\mathrm{RSS}_1\) sind die Summen der Fehlerquadrate des kleinen und des großen Modells.
Test (a), Krümmung. Kleines Modell \(X\), großes Modell \(\tilde X\), beide auf \(y\). Gefragt wird, ob die Quadrate der Merkmale die lineare Anpassung verbessern:
\[F_a = \frac{(\mathrm{RSS}_0 - \mathrm{RSS}_1)/p}{\mathrm{RSS}_1/(n - 2p - 1)}, \qquad p_{\mathrm{Krümmung}} = \Pr\bigl(F_{p,\,n-2p-1} \ge F_a\bigr).\]
Test (b), Streuung. Die Residuen \(\hat r_i\) der linearen Anpassung von \(y\) auf \(X\) liefern \(\varepsilon_i = \lvert \hat r_i \rvert\). Kleines Modell: nur der Achsenabschnitt, großes Modell \(X\), beide auf \(\varepsilon\). Gefragt wird, ob der Betrag des Residuums linear von den Merkmalen abhängt:
\[F_b = \frac{(\mathrm{RSS}_0 - \mathrm{RSS}_1)/p}{\mathrm{RSS}_1/(n - p - 1)}, \qquad p_{\mathrm{Streuung}} = \Pr\bigl(F_{p,\,n-p-1} \ge F_b\bigr).\]
Regel (vor der Messung festgelegt, die Schwellen sind nicht abgestimmt):
- Gilt \(p_{\mathrm{Krümmung}} < 0{,}01\), wähle Gewichte.
- Sonst, wenn \(p_{\mathrm{Streuung}} < 0{,}01\) und \(n \ge 10\,(p+1)\) gilt, wähle direkt.
- Sonst wähle KQ plus Quantil.
Randfälle: Ist ein Modell nicht definiert (Freiheitsgrade im Nenner höchstens 0), gilt der p-Wert 1; passt schon das kleine Modell bis auf Rundung, ebenfalls 1; passt nur das große Modell bis auf Rundung, gilt 0. Die Mehrkosten sind mit den erwarteten Kosten \(K(\cdot)\) über einen festen Testsatz von Merkmalen \(100\,\bigl(K(\text{Regel}) - K(\text{Orakel})\bigr)/K(\text{Orakel})\) in Prozent.
Ein Handbeispiel
Fünf Fälle mit einem Merkmal, \(x = -2, -1, 0, 1, 2\) und \(y = 4, 1, 0, 1, 5\): Der Krümmungstest hat dann \(F = 320\) bei 1 und 2 Freiheitsgraden und in geschlossener Form \(p = 1 - \sqrt{320/322}\). Dieser Wert liegt unter 0,01 (Rechnung dieser Seite: \(\sqrt{320/322}\) ist größer als 0,99), der Test spräche also an, und die Regel wählte Gewichte. Der Beispielsatz ist nur eine Rechenprobe der Diagnose, nicht ein Fall, in dem die Regel sinnvoll wäre.
Befunde
Alle Zahlen sind Mehrkosten gegen das Orakel in Prozent, Mittel über die 1440 Zeilen eines Satzes (4 Welten, \(p \in \{3, 10\}\), \(n \in \{100, 1000\}\), \(\tau \in \{0{,}5;\, 0{,}8;\, 0{,}95\}\), 30 Zufalls-Seeds), wenn nichts anderes dasteht. Sie stammen aus der Dokumentation der Demo und sind dort an Tests gebunden: die Vormessung exakt, der Nachbau als vorgerechnete Zeilen, die sich mit einer Neurechnung bis auf 0,01 Prozentpunkte decken. Die Welten sind die oben beschriebenen; die Aussagen gelten nicht für echte Daten.
Vormessung (Zufallswald), Zufalls-Seeds 0 bis 29. Die beste Wahl je Zeile ist das Verfahren mit den kleinsten Mehrkosten in dieser Zeile, im Nachhinein und mit Kenntnis der Welt; sie ist keine ausführbare Regel, sondern eine Untergrenze.
| Verfahren | Mittel | Median |
|---|---|---|
| Regel | 18,84 | 9,60 |
| immer KQ plus Quantil | 33,68 | 13,06 |
| immer direkt | 35,21 | 9,77 |
| immer Gewichte aus dem Wald | 33,45 | 28,50 |
| beste Wahl je Zeile | 17,54 | 7,87 |
Mit unabhängigen Zufalls-Seeds 100 bis 129 liegt die Regel bei 18,75 gegen 33,28, 35,12 und 34,67 für immer KQ plus Quantil, immer direkt und immer Wald; die beste Wahl bei 17,83. Die Wiederholung prüft nur die Zufallsziehung, nicht die Welten.
Je Welt (Vormessung, Zufalls-Seeds 0 bis 29):
| Welt | Regel | immer KQ + Quantil | immer direkt | immer Wald | beste Wahl |
|---|---|---|---|---|---|
| Wahrheit linear, Streuung konstant | 3,5 | 3,4 | 6,8 | 22,5 | 3,2 |
| Streuung wächst linear mit \(x_1\) | 11,5 | 19,6 | 9,0 | 39,5 | 8,4 |
| Streuung in \(|x_1|\), nicht monoton | 13,0 | 11,9 | 16,2 | 24,4 | 11,3 |
| Wahrheit quadratisch in \(x_1\) | 47,4 | 99,8 | 108,8 | 47,4 | 47,3 |
In der quadratischen Welt wählt die Regel in 360 von 360 Zeilen die Gewichte, bei Streuung in \(|x_1|\) in 306 von 360 Zeilen KQ plus Quantil. Wo der Vorsprung entsteht, hängt vom Vergleichsverfahren ab (Rechnung dieser Seite aus der Tabelle): Gegen immer KQ plus Quantil und immer direkt liegt er vor allem in der quadratischen Welt (99,8 und 108,8 gegen 47,4). Gegen das beste feste Verfahren nach dem Mittel, immer Wald, ist die Regel in der quadratischen Welt gleich (47,4) und gewinnt in den drei übrigen Welten (3,5 gegen 22,5, 11,5 gegen 39,5 und 13,0 gegen 24,4).
| Frage | Befund |
|---|---|
| Halbiert die Regel die Mehrkosten? | Nein, sie senkt sie im Mittel über die vier Welten um 44 %: 18,84 gegen 33,45 (bestes festes Verfahren nach dem Mittel: immer Wald, Zufalls-Seeds 0 bis 29) beziehungsweise 18,75 gegen 33,28 (immer KQ plus Quantil, Zufalls-Seeds 100 bis 129), das 0,56-fache. Im Median liegt die Regel bei 9,60 gegen 9,77 für immer direkt, der Vorsprung ist dort klein. |
| Wo liegt die Regel unter jedem festen Verfahren? | In beiden Zufallssätzen der Vormessung in 4 von 4 Kombinationen aus \(n\) und \(p\), aber in keiner der vier Welten: In der quadratischen Welt ist sie gleich dem Wald (47,4 gegen 47,4 in Zufalls-Seeds 0 bis 29, 48,3 gegen 48,3 in Zufalls-Seeds 100 bis 129); in den drei übrigen Welten hat je ein festes Verfahren kleinere Mehrkosten (KQ plus Quantil bei konstanter Streuung und bei Streuung in \(|x_1|\), direkt bei linear wachsender Streuung). |
| Je \(n\) und \(p\) (Regel / beste Wahl, Vormessung, Zufalls-Seeds 0 bis 29) | \(n = 100\), \(p = 3\): 23,8 / 21,9; \(n = 100\), \(p = 10\): 31,5 / 29,4; \(n = 1000\), \(p = 3\): 9,2 / 8,2; \(n = 1000\), \(p = 10\): 10,8 / 10,7. |
| Erkennt die Diagnose die Welten? (Vormessung) | Krümmung erkannt in 100 % der Zeilen der quadratischen Welt, Fehlalarm in 6 % der übrigen (Zufalls-Seeds 100 bis 129: 2 %); lineare Streuung erkannt in 98 % (97 %); blinder Fleck: Streuung in \(|x_1|\) erkannt in 4 % (3 %). |
| Regel gegen feste Verfahren, Nachbau mit Kerngewichten, Zufalls-Seeds 0 bis 29 | Regel 23,19 gegen immer KQ plus Quantil 33,70, immer direkt 35,68, immer Kerngewichte 38,43; beste Wahl 21,52. Das sind 31 % weniger als das beste feste Verfahren (Zufalls-Seeds 100 bis 129: 22,34 gegen 32,86, 32 % weniger; beste Wahl 20,63). |
| Wo gewinnt der Nachbau, wo nicht? | In 3 von 4 Kombinationen aus \(n\) und \(p\) liegt die Regel mehr als 1 Punkt unter dem besten festen Verfahren; bei \(n = 100\), \(p = 10\) gewinnt sie nichts (Zufalls-Seeds 0 bis 29: 40,45 gegen 40,36 für immer KQ plus Quantil; Zufalls-Seeds 100 bis 129: 38,34 gegen 38,47). In der quadratischen Welt wählt sie in 360 von 360 Zeilen die Gewichte. |
| Diagnose im Nachbau | Krümmung erkannt in 100 %, Fehlalarm 3,9 % (Zufalls-Seeds 100 bis 129: 4,4 %); lineare Streuung erkannt in 97,5 % (97,5 %); Streuung in \(|x_1|\) in 0,8 % (5,8 %); konstante Streuung 0,0 % (1,7 %). Die Quote für den blinden Fleck ist ein seltenes Ereignis und streut zwischen den zwei Sätzen. |
| Blinder Fleck, live gezählt (20 feste Instanzen) | \(n = 1000\), \(p = 3\): Der Streuungstest schlägt bei linear wachsender Streuung in 20 von 20 Instanzen an, bei Streuung in \(|x_1|\) in 0 von 20. \(n = 100\), \(p = 10\): 16 von 20 und 3 von 20; dort wählt die Regel auch bei linear wachsender Streuung in 0 von 20 Instanzen direkt, weil \(n = 100\) unter \(10\,(p+1) = 110\) liegt. |
| Genügt das Mittel bei \(\tau = 0{,}5\) auch bei gekrümmter Wahrheit? | Nein. Nachbau, \(p = 3\), \(n = 1000\), \(\tau = 0{,}5\), Mittel über 30 Zufalls-Seeds (0 bis 29): quadratische Welt immer KQ plus Quantil 56,6 %, immer Kerngewichte 15,2 %; lineare Welt 0,2 % und 5,4 %. Zufalls-Seeds 100 bis 129: 55,3 und 14,7 % (quadratisch), 0,2 und 5,3 % (linear). Das reine Mittel ohne Residuenquantil ist nicht gerechnet. |
Was die Messung zeigt und was nicht
Was sie belegt:
- Die Regel hat im Mittel über die vier simulierten Welten kleinere Mehrkosten als jedes feste Verfahren (Vormessung 18,84 gegen mindestens 33,45; Nachbau 23,19 gegen mindestens 33,70), aber nicht in jeder einzelnen Welt.
- Der Krümmungstest erkennt die quadratische Welt in 100 % der Zeilen, bei einem Fehlalarm von 6 % in den übrigen (Vormessung); der Streuungstest erkennt eine linear wachsende Streuung in 98 % der Zeilen.
- Eine nicht monotone Streuung bleibt unerkannt: Der Streuungstest schlägt höchstens in 5,8 % der Zeilen an, in allen vier Sätzen.
Was sie nicht belegt, und die Grenzen:
- Simulierte Daten, eine Familie von Welten: Normalrauschen, bei 0 gestutzt, vier Welten, \(p \in \{3, 10\}\), \(n \in \{100, 1000\}\), \(\tau \in \{0{,}5;\, 0{,}8;\, 0{,}95\}\). Keine Echtdaten. Mehrkosten gegen ein Orakel lassen sich nur messen, wo die wahre Verteilung bekannt ist; auf echten Daten bleibt der Vergleich auf Testdaten.
- Die Regel ist an der Familie gemessen, aus der sie entworfen wurde. Die Wiederholung mit anderen Zufalls-Seeds prüft nur die Zufallsziehung. Die Schwellen 0,01 und \(10\,(p+1)\) wurden nicht variiert; wie die Regel auf andere Schwellen reagiert, ist nicht gemessen.
- Blinder Fleck: Nicht monotone Streuung wird nicht erkannt; die Regel wählt dort meist KQ plus Quantil und liegt bei 13,0 gegen 11,3 für die beste Wahl je Zeile (Vormessung). Ein Test auf nicht monotone Streuung ist nicht gebaut.
- Wald nur eingefroren: Die Zahlen mit Zufallswald sind eine Vormessung (50 Bäume, mindestens 5 je Blatt, nicht abgestimmt) und sagen nichts über Zufallswälder im Allgemeinen. Mit Kerngewichten fällt der Vorsprung kleiner aus (31 statt 44 %). Als Ursache liegt nahe, dass Kerngewichte bei \(p = 10\) viel schlechter sind als der Wald; die Demo zum Gewichten misst bei quadratischer Wahrheit, \(p = 10\), \(n = 1000\), \(\tau = 0{,}95\) 32,9 % für den Wald und 80,8 % für den Kern. Das ist aus diesen Zahlen abgelesen, nicht durch einen Wald im Nachbau nachgemessen.
- Quantil und Kosten: Die Vormessung benutzt das linear interpolierte Quantil, die Demo die Rangregel \(\lceil \tau n \rceil\), und die Kosten sind dort exakt statt an gezogenen Nachfragen. Die Ziffern beider Messreihen stimmen deshalb nicht überein; die Rangfolge der Verfahren in den Mittelwerten ist dieselbe.
- Form der Krümmung: Der Krümmungstest fragt nur nach den Quadraten der einzelnen Merkmale (Rechnung dieser Seite aus der Formel). Wechselwirkungen zwischen Merkmalen sind weder Teil des Tests noch der Welten.
- Zweig für Entscheidungen mit Löser (ein Optimierungsmodell wie der kürzeste Weg im Gitter): Er beruht nicht auf einer Diagnose, sondern auf den Messungen sechs anderer Demos zum entscheidungsorientierten Lernen (Modellklasse, Ersatzverlust, Glättung, gestörte Optimierer, Black-Box-Löser, Schranke) in deren eigenen Welten (Gitter 5 × 5, 20 Zufalls-Seeds); die Antworten des Baums sind Annahmen des Nutzers. Die Messwerte der Blätter sind untereinander nicht vergleichbar: andere Welten, andere Maße (Mehrkosten, Regret), andere Zahl der Zufalls-Seeds.
- Nicht gemessen: andere Schwellen, ein Zufallswald im Nachbau, die Regel auf echten Daten, eine Diagnose für den Gitter-Zweig.
Quellen
- Die beiden Tests sind die klassischen F-Tests geschachtelter linearer Modelle; die Wahlregel ist eine Festlegung der Demo und keine Aussage aus der Literatur.
- Ban, G.-Y.; Rudin, C.: The Big Data Newsvendor: Practical Insights from Machine Learning, Operations Research 67(1), 2019. Laut Abstract lernen sie die Bestellmenge direkt aus Merkmalen und Nachfragen statt über eine Prognose.
- Hu, Kallus, Mao: Fast Rates for Contextual Linear Optimization, Management Science 68(6), 2022 (arXiv 2011.03030), und Elmachtoub, Grigas, Management Science 68(1), 2022: Quellen der Demos zu den einzelnen Verfahren, hier nur genannt.
Die Demo zu dieser Seite zitiert selbst keine Literatur. Die genannten Arbeiten wurden für diese Seite nicht nachgeschlagen; die Angaben stammen aus den Dokumentationen der Demos zu den einzelnen Verfahren, und dort sind Ban und Rudin sowie Elmachtoub und Grigas nur auf der Ebene des Abstracts gelesen. Die Rechnungen dieser Seite (Verteilung des Vorsprungs auf die Welten, Handbeispiel, Form der Krümmung) sind keine Messungen.