Entscheidungsorientiertes Lernen: auf die Entscheidung statt auf den Fehler trainieren erklärt
Stellen Sie sich vor: Ein Lager bestellt jeden Morgen verderbliche Ware, bevor es weiß, wie viel verlangt wird. Fehlt eine Einheit, geht ein Kunde verloren, und das kostet viermal so viel, wie wenn eine Einheit übrig bleibt und verdirbt. Die Prognose der Nachfrage ist so gut, wie ein Modell überhaupt sein kann. Und doch bestellt das Lager, wenn es der Prognose einfach folgt, deutlich zu wenig. Wie kann die beste Prognose zu einer teuren Entscheidung führen, und woran misst man ein Modell dann?
Das ist entscheidungsorientiertes Lernen: Ein Modell wird nicht daran gemessen, wie nah seine Vorhersage an der Wahrheit liegt, sondern daran, wie gut die Entscheidung ist, die aus ihr folgt. Dieses Maß heißt Regret, also die Kosten der gewählten Entscheidung minus die Kosten der besten. Das übliche Vorgehen ist zweistufig: erst die Kosten schätzen, dann entscheiden (im Englischen estimate, then optimize). Die Leitfrage dieser Linie lautet: Wann lohnt es sich, stattdessen auf die Entscheidung zu trainieren, und was tut man, wenn zwischen Modell und Entscheidung ein Löser steht, den man nicht ableiten kann?
Zehn Stücke gehen dem nach. Sie handeln vom Bestellen mit perfekter Prognose und teurer Entscheidung, vom direkten Lernen der Bestellmenge auf den Kosten, vom kürzesten Weg in einem Gitter, bei dem der Löser in jeder Trainingsrunde mitläuft, und davon, wann welcher Weg gewinnt. Dazu kommen das Bestellen ohne Modell nur mit ähnlichen Fällen, der Löser als Treppe ohne Gradient mit drei Auswegen, das Mitliefern einer Schranke für die Kosten der Entscheidung und zum Schluss die Wahl des Verfahrens.
Was diese Linie ist und was nicht: Es sind Modelle mit gewählten Annahmen und erzeugten Daten, ein Newsvendor mit Normalrauschen und ein abstraktes Gitter mit 70 Wegen. Alle Befunde sind Messungen in diesen Welten mit ihren Bedingungen, keine Aussage über echte Lager oder Netze. Die Linie zeigt nicht, dass das Training auf die Entscheidung besser ist, sondern wann welcher Weg gewinnt.
In short: Interactive demos on decision-focused learning (predict-then-optimize): training a model on the cost of the decision it leads to, not on its prediction error. Topics are regret, a newsvendor, SPO+ on a shortest-path grid, derivatives through a solver, a conformal cost bound and method choice.
Hintergrund zum Thema: Bestandsmanagement.
Diese Seite gehört zu Algorithmen und Verfahren erklärt. So lesen Sie sie: Das Diagramm zeigt, wie die Stücke zusammenhängen. Jede Kachel darunter öffnet eine interaktive Demo, wo es eine gibt, mit einer Erklärseite für Einsteiger und Fachleute. Auf der Suche nach einer Lösung für ein konkretes Problem? Zu den Interaktiven Demos.
Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.
Zuletzt aktualisiert:
Welches Verfahren passt zu Ihrem Fall? Zum Entscheidungsbaum ↓
Zum Nachlesen: erst einfach, dann fachlich
Beste Prognose, beste Menge verständlich erklärt
Warum ein Händler, der die durchschnittliche Nachfrage bestellt, bei ungleichen Kosten trotz perfekter Prognose draufzahlt: erst für Einsteiger ohne Formeln, dann für Fachleute mit Modell, Formeln und Messwerten.
Der Löser als Treppe verständlich erklärt
Warum sich ein Modell nicht auf die Qualität einer gewählten Route trainieren lässt, solange der Löser eine Treppe ist, und wie die Glättung daraus eine Rampe macht, die bei passender Temperatur hilft: erst für Einsteiger ohne Formeln, dann für Fachleute mit Formeln und Messwerten.
Welcher Weg gewinnt? Verständlich erklärt
Warum in den gemessenen Welten kein Weg zur Bestellmenge überall gewinnt und zwei Fragen an die eigenen Daten entscheiden, ob der erwartete Absatz, die Prognose mit Zuschlag, direktes Lernen oder ähnliche Tage vorn liegen, samt blindem Fleck: erst für Einsteiger ohne Formeln, dann für Fachleute mit Modell, Formeln und Messwerten.
Die zehn Stücke im Überblick
Der Graph zeigt, wie die zehn Stücke zusammenhängen. Am Anfang steht der Regret beim Bestellen: Von dort führt ein Weg zum direkten Lernen der Bestellmenge, einer zum kürzesten Weg im Gitter mit dem SPO-Verlust und ein gepunkteter zur gewichteten Stichprobe, die ganz ohne Modell auskommt. Beide Wege münden in die Frage, wann welcher gewinnt: Das Stück zur Modellklasse stellt sie, und die Verfahrenswahl am Schluss führt alles zusammen.
Der SPO-Verlust führt weiter zum Stück über den Löser als Treppe, das zugleich die Glättung zeigt. Von dort gehen zwei Wege aus: das Stören mit Rauschen, das mehrfach löst und mittelt, und die Black-Box-Interpolation, die den Löser gar nicht öffnet. Beide stehen im Kontrast zueinander, denn beide brauchen nur Löseraufrufe. Aus dem SPO-Verlust folgt außerdem die Schranke für die Kosten der gewählten Entscheidung. Zur Verfahrenswahl führen die Stücke, die ein Verfahren oder eine Frage herausgreifen.
Die Kästen sind klickbar und öffnen die jeweilige Demo direkt.
- behebt eine Schwäche des Vorgängers oder baut darauf auf
- Gegenstück: derselbe Zweck, andere Bauweise (kein Fix)
- übernimmt nur eine Idee
- Zusammenfluss mehrerer Stränge
- Baustein aus einer anderen Linie
Durchgezogene Pfeile bauen auf dem Vorgänger auf, gepunktete übernehmen nur eine Idee, der gestrichelte Doppelpfeil ist ein Kontrast (derselbe Zweck, andere Bauweise). Graue gestrichelte Knoten sind Bausteine aus anderen Linien, der Doppelrahmen markiert die Verfahrenswahl, in der mehrere Stränge zusammenlaufen.
Verwandt in anderen Linien
- Optimierung unter Unsicherheit — Die Stichproben-Demo rechnet SAA aus einer Stichprobe von Szenarien ohne Merkmale; in der gewichteten Stichprobe haben die Fälle Merkmale, und die Gewichte kommen aus der Ähnlichkeit. Die Wert-der-Information-Demo kennt die Verteilung und fragt nach dem Wert der Information, in der Regret-Demo ist sie unbekannt und wird aus Daten geschätzt.
- Zeitreihen-Prognose — Die Demo Von der Prognose zum Bestand bestimmt Sicherheitsbestände aus der Prognoseunsicherheit bei Zeitreihen, die Prognoseintervall-Demo prüft konforme Intervalle. Die Entscheidungsschranke übernimmt die Idee, Summenfehler statt Einzelfehler zu begrenzen, und legt eine konforme Schranke auf die Kosten der Entscheidung, die der Löser wählt.
- Konvexe und konische Optimierung — Die Demo zur impliziten Differentiation leitet die Lösung eines Kegelprogramms am fertigen Ergebnis ab; sie setzt eine eindeutige, reguläre Lösung voraus. Die Nullgradient-Demo misst am kürzesten Weg, wie oft eine kleine Störung den gewählten Weg ändert, und glättet den Löser statt ihn abzuleiten. Die Entrollte-Netze-Demo ist der Gegenpol: die Ableitung durch die Schritte eines Verfahrens statt am Ergebnis.
- Zielfunktionsdesign — Die Ziel-lernen-Demo rechnet aus beobachteten Entscheidungen das Gewicht zwischen Kosten und Zeit zurück, also das Ziel. Die Demos dieser Linie lernen dagegen bei festem Ziel die Kosten oder die Entscheidungsregel; die Verfahrenswahl nennt das Lernen des Ziels als Nachbarproblem, das sie nicht misst.
- Experimente und Wirkungsmessung — Die Off-Policy-Demo bewertet eine nie gefahrene Bestandsregel aus Aufzeichnungen der alten Regel. Die Direkt-Demo lernt die Bestellregel dagegen aus simulierten Fällen mit beobachteter Nachfrage; die Verfahrenswahl nennt die Off-Policy-Evaluation aus Logdaten als Nachbarproblem, das sie nicht misst.
- Überlebenszeit — Die Demo Direkt auf den Kosten lernen lernt die Bestellregel direkt aus den Kosten, statt erst die Nachfrage zu prognostizieren; Zensierte Nachfrage der Linie Überlebenszeit fragt, was sich dafür aus Verkäufen statt aus der Nachfrage lesen lässt, und misst die Mehrkosten einer Menge, die aus Verkäufen bestimmt wurde.
Regret statt Fehler: die beste Prognose bestellt nicht die beste Menge
Sehen Sie, warum die beste Prognose nicht die beste Bestellmenge ist: Kostet eine fehlende Einheit viermal so viel wie eine überschüssige, zahlt der Mittelwert einer normalverteilten Nachfrage auch mit perfektem Modell 42,5 % Mehrkosten. Eine Regel, die die Streuung einrechnet, drückt das bei 1 000 Fällen auf 0,1 %. Der Haken: Bei zehn Merkmalen und nur 30 Fällen bleiben es mit dieser Regel im Median 29,0 %.
Verständlich erklärt: erst für Einsteiger, dann für Fachleute
Demo starten →Direkt auf den Kosten lernen: Pinball-Verlust und Quantilregression
Sehen Sie, wann es sich lohnt, die Bestellregel direkt auf den Kosten zu lernen, statt erst die Nachfrage vorherzusagen: Der Verlust der Entscheidung ist der Pinball-Verlust, den eine Quantilregression als lineares Programm löst. Wächst die Streuung mit einem Merkmal, kostet die direkte Regel bei drei Merkmalen, 1 000 Fällen und Kostenverhältnis 0,95 nur 7,8 % Mehrkosten statt 34,5 %. Der Haken: Bei konstanter Streuung oder zu wenig Daten verliert sie.
Demo starten →Der kürzeste Weg und der SPO-Verlust: der Löser in der Schleife
Verfolgen Sie, wie ein Modell auf die Wahl des Weges statt auf den Kostenfehler trainiert wird: Der Löser läuft in jeder Trainingsrunde, der SPO-Verlust misst den Regret des gewählten Weges. Ohne Rauschen und bei stark gekrümmten Kosten sinkt der Regret von 2,0 auf 0,5 %, obwohl der Quadratfehler steigt. Der Haken: Bei linearen Kosten gewinnt es nicht, mit Rauschen und wenig Daten liegt es im Median hinter Kleinsten Quadraten.
Demo starten →Zweistufig oder integriert: auf die Modellklasse kommt es an
Sehen Sie, wann welcher Weg gewinnt: Kosten schätzen und lösen, auf die Entscheidung trainieren oder Nachbarn gewichten. Passt das lineare Modell zur Wahrheit, gewinnt in dieser Welt keine Alternative. Passt es nicht, hilft ohne Rauschen eine flexible Modellklasse mehr als ein anderer Verlust: 0,05 % Regret gegen 0,51 % für SPO+ und 2,0 % für Kleinste Quadrate. Der Haken: Mit Rauschen und wenig Daten bleibt kein klarer Gewinner.
Demo starten →Gewichtete Stichprobe: Nachbarn statt Modell
Sehen Sie, wie sich ganz ohne Modell der Nachfrage bestellen lässt: Jeder vergangene Fall bekommt ein Gewicht nach seiner Ähnlichkeit zum neuen, bestellt wird das Quantil der gewichteten Nachfragen. Bei quadratischer Wahrheit kostet das mit drei Merkmalen und 1 000 Fällen 30,4 statt 134,9 % Mehrkosten. Der Haken: Bei linearer Wahrheit sind es 9,3 statt 0,3 %, und in den meisten Messzellen liegt die parametrische Regel vorn.
Demo starten →Warum der Gradient fehlt: der Löser ist eine Treppe
Verfolgen Sie, warum der Löser keinen Gradienten hat: Sein Regret ist eine Treppe. Störungen der Vorhersage bis 1 % lassen den Weg bei stark gekrümmten Kosten in 97,6 % der Testfälle gleich. Glättet man ihn mit einer Wahrscheinlichkeit über alle 70 Wege, die mit den Kosten sinkt, schlägt das Training bei passender Temperatur Kleinste Quadrate. Der Haken: Zu kleine und große Temperaturen verlieren, mit Rauschen und wenig Daten hilft keine.
Verständlich erklärt: erst für Einsteiger, dann für Fachleute
Demo starten →Gestörte Optimierer und Fenchel-Young: Rauschen, mitteln, lernen
Sehen Sie, wie man den Löser ableitbar macht, indem man die Vorhersage mit Rauschen stört, mehrfach löst und die Wege mittelt. Bei Rauschen in den Daten und passender Stärke liegt der Regret bei 12,2 statt 13,1 % für Kleinste Quadrate, gleichauf mit SPO+. Der Haken: Zu schwaches Rauschen bringt keinen Gewinn, und fünf Störungen je Schritt kosten das Fünffache an Löseraufrufen für etwa 0,1 Punkte.
Demo starten →Der Löser als Black Box: Interpolation statt Ableitung
Sehen Sie, was bleibt, wenn man den Löser nicht öffnen darf: Ein zweiter Aufruf mit verschobenen Kosten liefert einen Gradienten, und ohne Rauschen lernt das Modell damit gut (Regret 0,57 gegen 1,96 % bei Kleinsten Quadraten). Der Haken: Mit verrauschten Zielwegen ist es in diesem Aufbau in allen 20 Zufallsläufen schlechter als Kleinste Quadrate; nur mit sauberen Zielwegen hilft es wieder.
Demo starten →Unsicherheit mitliefern: eine Schranke für die Kosten der gewählten Entscheidung
Sehen Sie, wie sich zu einer gewählten Entscheidung eine obere Schranke für ihre tatsächlichen Kosten mitliefern lässt: Eine konforme Schranke, direkt auf die Wegkosten gelegt, trifft das Ziel von 90 %, die Summe der Schranken je Bogen überdeckt mehr und ist breiter. Der Haken: Die Vorhersage des gewählten Weges ist zu optimistisch, und die Garantie gilt nur im Mittel über Kalibrierungen.
Demo starten →Verfahrenswahl: welches Verfahren, gemessen woran?
Verfolgen Sie, wie sich das Verfahren aus den Trainingsdaten wählen lässt: Ein Entscheidungsbaum ordnet die Stücke, eine Wahlregel prüft für die Bestellmenge zwei Dinge, gekrümmte Nachfrage und merkmalsabhängige Streuung. Im Mittel über vier Welten kostet sie 18,84 % Mehrkosten gegen 33,45 % für das beste feste Verfahren (Vormessung mit Zufallswald). Der Haken: In drei von vier Welten schlägt ein festes Verfahren sie, und nicht monotone Streuung übersieht sie.
Verständlich erklärt: erst für Einsteiger, dann für Fachleute
Demo starten →Welches Stück passt zu meiner Frage?
Stellen Sie sich vor, ein Modell soll aus Merkmalen eine Entscheidung ableiten, und Sie fragen sich, wie Sie es trainieren sollen. Der Baum führt von Ihrer Frage zum passenden Stück: Geht es um eine Menge je Fall oder um einen Weg, den ein Löser wählt? Ist der Mittelwert linear, hängt die Streuung von den Merkmalen ab, darf das Modell flexibel sein, und was weiß man über den Löser?
Welches Stück passt zu meiner Frage?
Beige Kästen sind Fragen (nicht klickbar), weiße Kästen sind Ergebnisse (klickbar, sie öffnen die jeweilige Demo). Mehrere Fragen können zugleich zutreffen; der Baum ordnet nach Frage, nicht nach Rangfolge. Die Antworten im Zweig mit dem Löser beruhen nicht auf einer Diagnose der Daten, sondern auf den Messungen der Stücke; sie sind Annahmen des Nutzers. Alle Antworten gelten für die simulierten Welten der Demos. Mittel bestellen genügt dabei nur für symmetrische Nachfrage.
Weitere Linien in diesem Bereich
Clustering
Punkte ohne Vorgaben gruppieren: von k-Means über DBSCAN, Gaussian Mixtures und Spectral Clustering bis HDBSCAN, mit Entscheidungsbäumen für die Wahl.
Dimensionsreduktion
Zwölf Kennzahlen auf zwei Achsen: PCA, Isomap, LLE, t-SNE, UMAP, PaCMAP und Autoencoder, jedes mit gemessenen Stärken und Schwächen.
Anomalie-Erkennung
Was fällt aus dem Rahmen? Neun Verfahren von der robusten Ellipse bis zum Autoencoder, jedes mit seiner gemessenen Schwäche.
Baumbasierte Verfahren
Ein Baum wird zum Wald, dann zum Ensemble, das seine eigenen Fehler nachbessert: neun Verfahren von CART bis CatBoost, die erste Linie dieses Portfolios mit überwachtem Lernen.
Graph Neural Networks
Was sieht ein Kunde von seinem Netz? Sechs Verfahren, die auf Graphen lernen, vom Mittel über die Nachbarn bis zur Aufmerksamkeit über das ganze Netz.
Zeitreihen-Prognose
Wie prognostiziert man die Tagesaufträge eines Depots, und wie sicher ist die Prognose? Zwölf Verfahren von der naiven Messlatte bis zum vortrainierten Netz, mit ehrlichen Negativbefunden.
Neuronale Netze
Wo hört eine Gerade auf zu reichen, und was kommt danach? Sechs Architekturen vom einfachsten Klassifikator bis zum Aufmerksamkeitsmechanismus, an eigenen numpy-Implementierungen von Hand nachgerechnet.
Reinforcement Learning
Ein Lagerroboter lernt ohne Vorgabe der richtigen Antwort: acht Verfahren, jedes mit seinem gemessenen Befund, vom einfachsten Banditen bis zum gelernten Kritiker.