Konzepte · Maschinelles Lernen

Entscheidungsorientiertes Lernen: auf die Entscheidung statt auf den Fehler trainieren erklärt

Stellen Sie sich vor: Ein Lager bestellt jeden Morgen verderbliche Ware, bevor es weiß, wie viel verlangt wird. Fehlt eine Einheit, geht ein Kunde verloren, und das kostet viermal so viel, wie wenn eine Einheit übrig bleibt und verdirbt. Die Prognose der Nachfrage ist so gut, wie ein Modell überhaupt sein kann. Und doch bestellt das Lager, wenn es der Prognose einfach folgt, deutlich zu wenig. Wie kann die beste Prognose zu einer teuren Entscheidung führen, und woran misst man ein Modell dann?

Das ist entscheidungsorientiertes Lernen: Ein Modell wird nicht daran gemessen, wie nah seine Vorhersage an der Wahrheit liegt, sondern daran, wie gut die Entscheidung ist, die aus ihr folgt. Dieses Maß heißt Regret, also die Kosten der gewählten Entscheidung minus die Kosten der besten. Das übliche Vorgehen ist zweistufig: erst die Kosten schätzen, dann entscheiden (im Englischen estimate, then optimize). Die Leitfrage dieser Linie lautet: Wann lohnt es sich, stattdessen auf die Entscheidung zu trainieren, und was tut man, wenn zwischen Modell und Entscheidung ein Löser steht, den man nicht ableiten kann?

Zehn Stücke gehen dem nach. Sie handeln vom Bestellen mit perfekter Prognose und teurer Entscheidung, vom direkten Lernen der Bestellmenge auf den Kosten, vom kürzesten Weg in einem Gitter, bei dem der Löser in jeder Trainingsrunde mitläuft, und davon, wann welcher Weg gewinnt. Dazu kommen das Bestellen ohne Modell nur mit ähnlichen Fällen, der Löser als Treppe ohne Gradient mit drei Auswegen, das Mitliefern einer Schranke für die Kosten der Entscheidung und zum Schluss die Wahl des Verfahrens.

Was diese Linie ist und was nicht: Es sind Modelle mit gewählten Annahmen und erzeugten Daten, ein Newsvendor mit Normalrauschen und ein abstraktes Gitter mit 70 Wegen. Alle Befunde sind Messungen in diesen Welten mit ihren Bedingungen, keine Aussage über echte Lager oder Netze. Die Linie zeigt nicht, dass das Training auf die Entscheidung besser ist, sondern wann welcher Weg gewinnt.

In short: Interactive demos on decision-focused learning (predict-then-optimize): training a model on the cost of the decision it leads to, not on its prediction error. Topics are regret, a newsvendor, SPO+ on a shortest-path grid, derivatives through a solver, a conformal cost bound and method choice.

Hintergrund zum Thema: Bestandsmanagement.

Diese Seite gehört zu Algorithmen und Verfahren erklärt. So lesen Sie sie: Das Diagramm zeigt, wie die Stücke zusammenhängen. Jede Kachel darunter öffnet eine interaktive Demo, wo es eine gibt, mit einer Erklärseite für Einsteiger und Fachleute. Auf der Suche nach einer Lösung für ein konkretes Problem? Zu den Interaktiven Demos.

Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.

Zuletzt aktualisiert:

Welches Verfahren passt zu Ihrem Fall? Zum Entscheidungsbaum ↓

Zum Nachlesen: erst einfach, dann fachlich

REGRET

Beste Prognose, beste Menge verständlich erklärt

Warum ein Händler, der die durchschnittliche Nachfrage bestellt, bei ungleichen Kosten trotz perfekter Prognose draufzahlt: erst für Einsteiger ohne Formeln, dann für Fachleute mit Modell, Formeln und Messwerten.

TREPPE UND RAMPE

Der Löser als Treppe verständlich erklärt

Warum sich ein Modell nicht auf die Qualität einer gewählten Route trainieren lässt, solange der Löser eine Treppe ist, und wie die Glättung daraus eine Rampe macht, die bei passender Temperatur hilft: erst für Einsteiger ohne Formeln, dann für Fachleute mit Formeln und Messwerten.

WELCHER WEG GEWINNT

Welcher Weg gewinnt? Verständlich erklärt

Warum in den gemessenen Welten kein Weg zur Bestellmenge überall gewinnt und zwei Fragen an die eigenen Daten entscheiden, ob der erwartete Absatz, die Prognose mit Zuschlag, direktes Lernen oder ähnliche Tage vorn liegen, samt blindem Fleck: erst für Einsteiger ohne Formeln, dann für Fachleute mit Modell, Formeln und Messwerten.

Die zehn Stücke im Überblick

Der Graph zeigt, wie die zehn Stücke zusammenhängen. Am Anfang steht der Regret beim Bestellen: Von dort führt ein Weg zum direkten Lernen der Bestellmenge, einer zum kürzesten Weg im Gitter mit dem SPO-Verlust und ein gepunkteter zur gewichteten Stichprobe, die ganz ohne Modell auskommt. Beide Wege münden in die Frage, wann welcher gewinnt: Das Stück zur Modellklasse stellt sie, und die Verfahrenswahl am Schluss führt alles zusammen.

Der SPO-Verlust führt weiter zum Stück über den Löser als Treppe, das zugleich die Glättung zeigt. Von dort gehen zwei Wege aus: das Stören mit Rauschen, das mehrfach löst und mittelt, und die Black-Box-Interpolation, die den Löser gar nicht öffnet. Beide stehen im Kontrast zueinander, denn beide brauchen nur Löseraufrufe. Aus dem SPO-Verlust folgt außerdem die Schranke für die Kosten der gewählten Entscheidung. Zur Verfahrenswahl führen die Stücke, die ein Verfahren oder eine Frage herausgreifen.

Die Kästen sind klickbar und öffnen die jeweilige Demo direkt.

Seitlich verschieben oder die Gesamtansicht wählen.
Regret statt Fehler die beste Prognose bestellt nicht die beste Menge Direkt auf den Kosten lernen Pinball-Verlust und Quantilregression VERLUST AUS DEN KOSTEN STATT AUS DEM FEHLER Der kürzeste Weg und der SPO-Verlust der Löser in der Schleife DIE ENTSCHEIDUNG IST EIN WEG Gewichtete Stichprobe Nachbarn statt Modell ÄHNLICHE FÄLLE STATT MODELL Zweistufig oder integriert auf die Modellklasse kommt es an GEWINNT NUR UNTER BEDINGUNGEN GEWINNT NUR BEI FALSCHER KLASSE Warum der Gradient fehlt der Löser ist eine Treppe DER LÖSER IST EINE TREPPE Unsicherheit mitliefern eine Schranke für die Kosten der gewählten Entscheidung KEINE AUSSAGE ÜBER DIE KOSTEN Verfahrenswahl welches Verfahren, gemessen woran? ES FEHLT EINE WAHLREGEL NUR EIN VERFAHREN Gestörte Optimierer Rauschen, mitteln, lernen AUFZÄHLEN ALLER WEGE Der Löser als Black Box Interpolation statt Ableitung DER LÖSER BLEIBT ZU RAUSCHEN GEGEN VERSCHIEBEN NUR EIN VERFAHREN NUR EIN VERFAHREN KEIN VERFAHREN, NUR EINE GARANTIE Wert der Information Verteilung bekannt VERTEILUNG BEKANNT Stichprobe statt Verteilung SAA ohne Merkmale MIT MERKMALEN UND GEWICHTEN Von der Prognose zum Bestand Summenfehler statt Einzelfehler SUMMENFEHLER STATT EINZELFEHLER Implizite Differentiation Ableitung am fertigen Ergebnis EINDEUTIGE LÖSUNG GEFORDERT Ziel lernen Gewicht aus Entscheidungen ZIEL STATT KOSTEN LERNEN
  • behebt eine Schwäche des Vorgängers oder baut darauf auf
  • Gegenstück: derselbe Zweck, andere Bauweise (kein Fix)
  • übernimmt nur eine Idee
  • Zusammenfluss mehrerer Stränge
  • Baustein aus einer anderen Linie

Durchgezogene Pfeile bauen auf dem Vorgänger auf, gepunktete übernehmen nur eine Idee, der gestrichelte Doppelpfeil ist ein Kontrast (derselbe Zweck, andere Bauweise). Graue gestrichelte Knoten sind Bausteine aus anderen Linien, der Doppelrahmen markiert die Verfahrenswahl, in der mehrere Stränge zusammenlaufen.

Verwandt in anderen Linien

DIE WURZEL: REGRET

Regret statt Fehler: die beste Prognose bestellt nicht die beste Menge

Sehen Sie, warum die beste Prognose nicht die beste Bestellmenge ist: Kostet eine fehlende Einheit viermal so viel wie eine überschüssige, zahlt der Mittelwert einer normalverteilten Nachfrage auch mit perfektem Modell 42,5 % Mehrkosten. Eine Regel, die die Streuung einrechnet, drückt das bei 1 000 Fällen auf 0,1 %. Der Haken: Bei zehn Merkmalen und nur 30 Fällen bleiben es mit dieser Regel im Median 29,0 %.

Verständlich erklärt: erst für Einsteiger, dann für Fachleute

Demo starten →
DIREKT AUF DEN KOSTEN

Direkt auf den Kosten lernen: Pinball-Verlust und Quantilregression

Sehen Sie, wann es sich lohnt, die Bestellregel direkt auf den Kosten zu lernen, statt erst die Nachfrage vorherzusagen: Der Verlust der Entscheidung ist der Pinball-Verlust, den eine Quantilregression als lineares Programm löst. Wächst die Streuung mit einem Merkmal, kostet die direkte Regel bei drei Merkmalen, 1 000 Fällen und Kostenverhältnis 0,95 nur 7,8 % Mehrkosten statt 34,5 %. Der Haken: Bei konstanter Streuung oder zu wenig Daten verliert sie.

Demo starten →
DER LÖSER IN DER SCHLEIFE

Der kürzeste Weg und der SPO-Verlust: der Löser in der Schleife

Verfolgen Sie, wie ein Modell auf die Wahl des Weges statt auf den Kostenfehler trainiert wird: Der Löser läuft in jeder Trainingsrunde, der SPO-Verlust misst den Regret des gewählten Weges. Ohne Rauschen und bei stark gekrümmten Kosten sinkt der Regret von 2,0 auf 0,5 %, obwohl der Quadratfehler steigt. Der Haken: Bei linearen Kosten gewinnt es nicht, mit Rauschen und wenig Daten liegt es im Median hinter Kleinsten Quadraten.

Demo starten →
WANN GEWINNT WELCHER WEG

Zweistufig oder integriert: auf die Modellklasse kommt es an

Sehen Sie, wann welcher Weg gewinnt: Kosten schätzen und lösen, auf die Entscheidung trainieren oder Nachbarn gewichten. Passt das lineare Modell zur Wahrheit, gewinnt in dieser Welt keine Alternative. Passt es nicht, hilft ohne Rauschen eine flexible Modellklasse mehr als ein anderer Verlust: 0,05 % Regret gegen 0,51 % für SPO+ und 2,0 % für Kleinste Quadrate. Der Haken: Mit Rauschen und wenig Daten bleibt kein klarer Gewinner.

Demo starten →
NACHBARN STATT MODELL

Gewichtete Stichprobe: Nachbarn statt Modell

Sehen Sie, wie sich ganz ohne Modell der Nachfrage bestellen lässt: Jeder vergangene Fall bekommt ein Gewicht nach seiner Ähnlichkeit zum neuen, bestellt wird das Quantil der gewichteten Nachfragen. Bei quadratischer Wahrheit kostet das mit drei Merkmalen und 1 000 Fällen 30,4 statt 134,9 % Mehrkosten. Der Haken: Bei linearer Wahrheit sind es 9,3 statt 0,3 %, und in den meisten Messzellen liegt die parametrische Regel vorn.

Demo starten →
DIE TREPPE UND IHRE GLÄTTUNG

Warum der Gradient fehlt: der Löser ist eine Treppe

Verfolgen Sie, warum der Löser keinen Gradienten hat: Sein Regret ist eine Treppe. Störungen der Vorhersage bis 1 % lassen den Weg bei stark gekrümmten Kosten in 97,6 % der Testfälle gleich. Glättet man ihn mit einer Wahrscheinlichkeit über alle 70 Wege, die mit den Kosten sinkt, schlägt das Training bei passender Temperatur Kleinste Quadrate. Der Haken: Zu kleine und große Temperaturen verlieren, mit Rauschen und wenig Daten hilft keine.

Verständlich erklärt: erst für Einsteiger, dann für Fachleute

Demo starten →
RAUSCHEN, MITTELN, LERNEN

Gestörte Optimierer und Fenchel-Young: Rauschen, mitteln, lernen

Sehen Sie, wie man den Löser ableitbar macht, indem man die Vorhersage mit Rauschen stört, mehrfach löst und die Wege mittelt. Bei Rauschen in den Daten und passender Stärke liegt der Regret bei 12,2 statt 13,1 % für Kleinste Quadrate, gleichauf mit SPO+. Der Haken: Zu schwaches Rauschen bringt keinen Gewinn, und fünf Störungen je Schritt kosten das Fünffache an Löseraufrufen für etwa 0,1 Punkte.

Demo starten →
DER LÖSER ALS BLACK BOX

Der Löser als Black Box: Interpolation statt Ableitung

Sehen Sie, was bleibt, wenn man den Löser nicht öffnen darf: Ein zweiter Aufruf mit verschobenen Kosten liefert einen Gradienten, und ohne Rauschen lernt das Modell damit gut (Regret 0,57 gegen 1,96 % bei Kleinsten Quadraten). Der Haken: Mit verrauschten Zielwegen ist es in diesem Aufbau in allen 20 Zufallsläufen schlechter als Kleinste Quadrate; nur mit sauberen Zielwegen hilft es wieder.

Demo starten →
EINE SCHRANKE MITLIEFERN

Unsicherheit mitliefern: eine Schranke für die Kosten der gewählten Entscheidung

Sehen Sie, wie sich zu einer gewählten Entscheidung eine obere Schranke für ihre tatsächlichen Kosten mitliefern lässt: Eine konforme Schranke, direkt auf die Wegkosten gelegt, trifft das Ziel von 90 %, die Summe der Schranken je Bogen überdeckt mehr und ist breiter. Der Haken: Die Vorhersage des gewählten Weges ist zu optimistisch, und die Garantie gilt nur im Mittel über Kalibrierungen.

Demo starten →
DER SCHLUSS: VERFAHRENSWAHL

Verfahrenswahl: welches Verfahren, gemessen woran?

Verfolgen Sie, wie sich das Verfahren aus den Trainingsdaten wählen lässt: Ein Entscheidungsbaum ordnet die Stücke, eine Wahlregel prüft für die Bestellmenge zwei Dinge, gekrümmte Nachfrage und merkmalsabhängige Streuung. Im Mittel über vier Welten kostet sie 18,84 % Mehrkosten gegen 33,45 % für das beste feste Verfahren (Vormessung mit Zufallswald). Der Haken: In drei von vier Welten schlägt ein festes Verfahren sie, und nicht monotone Streuung übersieht sie.

Verständlich erklärt: erst für Einsteiger, dann für Fachleute

Demo starten →

Welches Stück passt zu meiner Frage?

Stellen Sie sich vor, ein Modell soll aus Merkmalen eine Entscheidung ableiten, und Sie fragen sich, wie Sie es trainieren sollen. Der Baum führt von Ihrer Frage zum passenden Stück: Geht es um eine Menge je Fall oder um einen Weg, den ein Löser wählt? Ist der Mittelwert linear, hängt die Streuung von den Merkmalen ab, darf das Modell flexibel sein, und was weiß man über den Löser?

Welches Stück passt zu meiner Frage?

Seitlich verschieben oder die Gesamtansicht wählen.
Was wird aus den Merkmalen entschieden? Ist der Mittelwert der Nachfrage linear in den Merkmalen? EINE MENGE JE FALL Trifft ein lineares Modell die Kosten? EIN WEG, DEN EIN LÖSER WÄHLT Konforme Schranke auf die Kosten der Entscheidung ZUSÄTZLICH: EINE SCHRANKE FÜR DIE KOSTEN Sind die Kosten ungleich (fehlende Einheit teurer als überschüssige)? JA Gewichte aus Ähnlichkeit Nachbarn, Kern, Wald NEIN, GEKRÜMMT Hängt die Streuung von den Merkmalen ab? JA Mittel bestellen genügt symmetrische Kosten, lineare Form NEIN Gibt es mindestens zehn Fälle je Merkmal plus eins? JA, LINEAR Kleinste Quadrate plus Quantil der Residuen NEIN Blinder Fleck der Diagnose nicht monotone Streuung JA, NICHT MONOTON Direkt lernen Quantilregression JA Kleinste Quadrate plus Quantil (zu wenig Fälle für direkt) NEIN Darf das Modell flexibel sein? NEIN Kleinste Quadrate SPO+ gewinnt hier nicht JA Was ist über den Löser bekannt? NEIN, LINEAR Flexibles Modell Gauß-Kern-Ridge JA Rauschen und Zahl der Trainingsfälle? LÖSER BEKANNT, ERSATZVERLUST Sind die Zielwege sauber? NUR AUFRUFE, MIT INTERPOLATION Glättung des Lösers Gibbs-Verteilung WEGE LASSEN SICH AUFZÄHLEN Gestörte Lösung Fenchel-Young NUR AUFRUFE, MIT STÖRUNG SPO+ ohne Rauschen OHNE RAUSCHEN SPO+ mit Rauschen, genug Fälle RAUSCHEN, VIELE FÄLLE Kleinste Quadrate behalten SPO+ lohnt hier nicht RAUSCHEN, WENIG FÄLLE Black-Box-Interpolation nur mit sauberen Zielwegen SAUBER Black-Box-Interpolation scheitert bei verrauschten Zielwegen VERRAUSCHT

Beige Kästen sind Fragen (nicht klickbar), weiße Kästen sind Ergebnisse (klickbar, sie öffnen die jeweilige Demo). Mehrere Fragen können zugleich zutreffen; der Baum ordnet nach Frage, nicht nach Rangfolge. Die Antworten im Zweig mit dem Löser beruhen nicht auf einer Diagnose der Daten, sondern auf den Messungen der Stücke; sie sind Annahmen des Nutzers. Alle Antworten gelten für die simulierten Welten der Demos. Mittel bestellen genügt dabei nur für symmetrische Nachfrage.

Weitere Konzepte · Maschinelles Lernen

Weitere Linien in diesem Bereich

Clustering

Punkte ohne Vorgaben gruppieren: von k-Means über DBSCAN, Gaussian Mixtures und Spectral Clustering bis HDBSCAN, mit Entscheidungsbäumen für die Wahl.

Dimensionsreduktion

Zwölf Kennzahlen auf zwei Achsen: PCA, Isomap, LLE, t-SNE, UMAP, PaCMAP und Autoencoder, jedes mit gemessenen Stärken und Schwächen.

Anomalie-Erkennung

Was fällt aus dem Rahmen? Neun Verfahren von der robusten Ellipse bis zum Autoencoder, jedes mit seiner gemessenen Schwäche.

Baumbasierte Verfahren

Ein Baum wird zum Wald, dann zum Ensemble, das seine eigenen Fehler nachbessert: neun Verfahren von CART bis CatBoost, die erste Linie dieses Portfolios mit überwachtem Lernen.

Graph Neural Networks

Was sieht ein Kunde von seinem Netz? Sechs Verfahren, die auf Graphen lernen, vom Mittel über die Nachbarn bis zur Aufmerksamkeit über das ganze Netz.

Zeitreihen-Prognose

Wie prognostiziert man die Tagesaufträge eines Depots, und wie sicher ist die Prognose? Zwölf Verfahren von der naiven Messlatte bis zum vortrainierten Netz, mit ehrlichen Negativbefunden.

Neuronale Netze

Wo hört eine Gerade auf zu reichen, und was kommt danach? Sechs Architekturen vom einfachsten Klassifikator bis zum Aufmerksamkeitsmechanismus, an eigenen numpy-Implementierungen von Hand nachgerechnet.

Reinforcement Learning

Ein Lagerroboter lernt ohne Vorgabe der richtigen Antwort: acht Verfahren, jedes mit seinem gemessenen Befund, vom einfachsten Banditen bis zum gelernten Kritiker.