Bayessche Optimierung und Gauß-Prozesse erklärt
Sieben Stücke mit demselben Gedanken: Eine Simulation kostet Minuten und streut, also kann man nur wenige Einstellungen ausprobieren. Die Bayessche Optimierung baut aus den bisherigen Läufen ein Ersatzmodell (einen Gauß-Prozess) und wählt die nächste Einstellung dort, wo es am meisten verspricht. Das Beispiel ist ein Containerterminal mit Gate, Kran und Stapel: gesucht ist die billigste Einstellung aus Plätzen und Tempo am Stapel, bewertet an der Wahrheit aus Läufen mit 100 000 Lkw. Zur Abgrenzung dienen Testfunktionen mit bekanntem Optimum (Branin, Hartmann6, Ackley). Die Wurzel vergleicht das Verfahren mit Zufall, einer einfacheren Suche und dem Wissen über das System; die Folgestücke heben je eine Annahme auf: das Ersatzmodell wird verstellt, die Auswertung streut, es gibt eine Grenze, die Zahl der Eingaben wächst, mehrere Läufe gehen zugleich, und es gibt kurze und lange Läufe.
Fast jedes Stück endet mit einem unbequemen Befund: Eine Formel mit einer Faustregel findet am Terminal ohne einen Lauf die beste Einstellung, Wiederholen schadet bei festem Budget, das naheliegende Verfahren für Nebenbedingungen verletzt die Grenze in den meisten Läufen, und BO mit langen Läufen ist am Terminal nicht besser als Zufall. Alle Zahlen stehen in den README der Demos, jede Demo prüft ihren Kern gegen eine unabhängige Referenz (Orakel-Tests), und die Wahrheit ist stets eine Tabelle echter Simulationen oder eine bekannte Funktion, nie ein Praxisdatensatz.
In short: Covers Bayesian optimization with Gaussian process surrogate models and expected improvement for expensive simulations. Interactive demos extend one example to noise, constraints, high dimensions, parallel evaluations and multi-fidelity settings.
Hintergrund zum Thema: Hafenlogistik.
Diese Seite gehört zu Algorithmen und Verfahren erklärt. So lesen Sie sie: Das Diagramm zeigt, wie die Stücke zusammenhängen. Jede Kachel darunter öffnet eine interaktive Demo, wo es eine gibt, mit einer Erklärseite für Einsteiger und Fachleute. Auf der Suche nach einer Lösung für ein konkretes Problem? Zu den Interaktiven Demos.
Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.
Zuletzt aktualisiert:
Welches Verfahren passt zu Ihrem Fall? Zum Entscheidungsbaum ↓
Zum Nachlesen: erst einfach, dann fachlich
Bayessche Optimierung verständlich erklärt
Wie man mit wenigen teuren Simulationsläufen die beste Einstellung findet, indem ein Ersatzmodell den nächsten Versuch wählt, und warum am Terminal der Demo Wissen über das System die Suche nahezu überflüssig macht: erst für Einsteiger ohne Formeln, dann für Fachleute mit Modell, Formeln und Messwerten.
Die sieben Stücke im Überblick
Die Bayessche Optimierung ist die Wurzel: ein Ersatzmodell wählt die nächste Einstellung. Daraus verzweigt die Linie nach der Annahme, die jeweils aufgehoben wird: das Ersatzmodell lässt sich verstellen, die Auswertung streut, die Zahl der Eingaben wächst, mehrere Auswertungen laufen gleichzeitig, und es gibt billige, ungenaue Läufe neben teuren, genauen. Aus der streuenden Auswertung folgt die Nebenbedingung: Auch die Grenze ist nur aus verrauschten Läufen bekannt.
Die mehreren Genauigkeiten (Doppelrahmen) führen Rauschen und Kosten zusammen: Ein kurzer Lauf streut mehr und kostet weniger. Die gestrichelten Fremdknoten sind Bausteine anderer Linien: das Jackson-Netz der Warteschlangentheorie, das den teuren Simulator liefert, CMA-ES der Populations-Metaheuristiken als Gegner in hohen Dimensionen und das Thompson-Sampling der Bandit-Demo, auf dem der Thompson-Batch beruht.
Die Kästen sind klickbar und öffnen die jeweilige Demo direkt.
- behebt eine Schwäche des Vorgängers oder baut darauf auf
- Gegenstück: derselbe Zweck, andere Bauweise (kein Fix)
- übernimmt nur eine Idee
- Zusammenfluss mehrerer Stränge
- Baustein aus einer anderen Linie
Verwandt in anderen Linien
- Warteschlangentheorie und Simulation — Der teure Simulator der Linie ist das Terminal-Netz aus der Jackson-Netz-Demo, und die Surrogat-Demo dort fragt ebenfalls, wann ein Gauß-Prozess als Ersatz taugt. Die Wurzel hier misst, wie weit man dem Modell glauben darf: Das nominale 95-%-Intervall deckt die wahren Kosten im Median zu 65 % (10 Beobachtungen) bis 86 % (30) ab.
- Populations-Metaheuristiken — CMA-ES aus den Populations-Metaheuristiken ist in der Hohe-Dimensionen-Demo der Gegner ohne Ersatzmodell (Paket cma): bei 48 Eingaben und 100 Auswertungen 0,558 gegen 0,129 für die Bayessche Optimierung mit je einem Längenmaß je Eingabe. Dass ein Verfahren mit Modell hier vorn liegt, gilt für diese rauschfreien Testfunktionen, nicht allgemein.
- Reinforcement Learning — Der Thompson-Batch der Batch-Demo übernimmt die Idee des Thompson Sampling der Bandit-Demo: Aus dem Modell wird eine Stichprobe gezogen und deren Minimum gewählt, hier aus einem Gauß-Prozess statt aus einer Beta-Verteilung. Er ist unter den vier Batch-Regeln die schwächste.
Bayessche Optimierung: teure Simulationen mit wenigen Läufen
Verfolgen Sie, wie ein Ersatzmodell aus wenigen Simulationsläufen lernt, wo die nächste Auswertung am meisten verspricht, statt blind auszuprobieren. Die Demo vergleicht es mit Zufall, einer einfacheren Suche und mit Wissen über das System, am Beispiel eines Containerterminals. Der Haken: Eine Formel mit Faustregel findet am Terminal die beste Einstellung (791 EUR/h) ohne einen einzigen Lauf und liegt im vollen Netz vor jedem Suchverfahren.
Verständlich erklärt: erst für Einsteiger, dann für Fachleute
Demo starten →Das Ersatzmodell entscheidet: wie viel hängt an seinen Stellschrauben?
Sehen Sie, wie sich die Stellschrauben des Ersatzmodells auswirken: Kern, Längenmaß, Rauschannahme, Akquisitionsfunktion und Logarithmus, in 14 Varianten gegen das Standardmodell. Der ehrliche Befund: Das gelernte Standardmodell ist schwer zu schlagen, und nachweislich schaden nur die Ränder, etwa eine sehr neugierige Konfidenzschranke. Bei verrauschten Auswertungen ist keine Variante nachweisbar anders, was nicht heißt, dass es keinen Unterschied gibt.
Demo starten →Verrauschte Auswertungen: empfehlen, wiederholen, gemeinsame Zufallszahlen
Verfolgen Sie, was passiert, wenn eine Simulation nie den Wert einer Einstellung liefert, sondern einen, der um ihn streut: Welche Einstellung empfiehlt man, lohnt Wiederholen, helfen gemeinsame Zufallszahlen? Ein Vergleich über Rauschstufen zeigt es. Der Haken: Wiederholen schadet bei festem Budget, und die beste Beobachtung ist zu schön, am Terminal mit kurzen Läufen um 21 EUR/h.
Demo starten →Nebenbedingungen: günstig und trotzdem zulässig
Sehen Sie, wie die billigste Einstellung gesucht wird, bei der die mittlere Gesamtzeit eine Grenze einhält, obwohl die Zeit nur aus verrauschten Läufen bekannt ist. Verglichen werden Zufall, Strafe und Zulässigkeitswahrscheinlichkeit. Der Haken: Das naheliegende Verfahren sitzt am Rand und hält die Grenze über zwölf Einstellungen nur in 28 % der Läufe wirklich ein, der Zufall in 73 %, und keines schlägt den Zufall.
Demo starten →Hohe Dimensionen: wann trägt Bayessche Optimierung noch?
Prüfen Sie die Faustregel, Bayessche Optimierung versage in hohen Dimensionen, an zwei Testfunktionen: einer mit nur sechs wirkenden Eingaben, einer mit lauter wirkenden. Das Modell lernt je Eingabe, ob sie zählt. Bei 48 Eingaben und 100 Auswertungen erreicht es 0,129 gegen 1,27 beim Zufall, weil es unwichtige Eingaben ausblendet. Wirken alle Eingaben, schrumpft der Vorsprung mit der Dimension.
Demo starten →Parallele Auswertungen: Runden gegen Auswertungen
Verfolgen Sie, was gewonnen und verloren wird, wenn mehrere Auswertungen gleichzeitig laufen und das Modell die Ergebnisse der anderen Punkte der Runde nicht kennt. Vier Regeln für die Wahl des Batches treten gegen den sequentiellen Lauf an. Der Haken: Je Auswertung verliert der Batch, auf Hartmann6 bei allen zwölf Varianten nachweisbar, je Runde gewinnt er überall. Der Thompson-Batch ist die schwächste Regel.
Demo starten →Mehrere Genauigkeiten: der kurze Lauf als Vorfilter
Sehen Sie, wann sich viele kurze, ungenaue Simulationsläufe gegen wenige lange tauschen lassen, bei festem Rechenbudget und gemessen an der Wahrheit. Ein Regler für das Kostenverhältnis zeigt den Umschlagpunkt. Der Haken: Der kurze Lauf lohnt nur, wenn er höchstens etwa 0,22 eines langen kostet, und ein Modell mit beiden Genauigkeiten ist hier nie nachweisbar besser als eines nur mit kurzen Läufen.
Demo starten →Welches Stück passt zu meiner Optimierung?
Ein Entscheidungsbaum über alle sieben Stücke: Er fragt nach dem, was bei der Optimierung schwierig ist, nicht nach dem Verfahren.
Beige Kästen sind Fragen (nicht klickbar), weiße Kästen sind Ergebnisse (klickbar, sie öffnen die jeweilige Demo). Alle sieben Antworten sind durch die Messreihen der Demos belegt (siehe jede README), auch dort, wo das einfachere Verfahren genügt: Eine Formel mit Faustregel schlägt am Terminal die Suche, Wiederholen schadet bei festem Budget, und kein Verfahren für Nebenbedingungen schlägt den Zufall.
Weitere Linien in diesem Bereich
Exakte Suche
Bewiesen beste statt nur guter Lösungen: zwei Linien, Rucksack und Cutting Stock, von Branch & Bound bis Column Generation und Branch & Price.
Lineare Programmierung
Was steckt in einem LP-Löser? Elf Stücke vom Tableau-Simplex über Schattenpreise und Innere Punkte bis zum Crossover, alle von Grund auf geschrieben und gemessen.
Nichtlineare Optimierung
Wie findet man ein Minimum, wenn nichts linear ist? Acht Stücke vom ersten Schritt bergab über Krümmung und Nebenbedingungen bis zur Brücke ins Deep Learning, jedes mit gemessenem statt behauptetem Befund.
Populations-Metaheuristiken
Wie durchsucht eine ganze Population den Lösungsraum? Elf Verfahren von der Kreuzung über Kovarianzmatrizen bis zu Pheromonspuren, jedes mit seiner gemessenen Grenze.
Trajektorien-Metaheuristiken
Wie kommt eine einzelne Lösung über ihr erstes lokales Optimum hinaus? Zwölf Verfahren von Verschlechterungen akzeptieren bis Destroy-and-Repair, jedes mit seiner gemessenen Grenze.
Heuristische Baumsuche
Was bleibt von der Suche, wenn man das Optimum nicht abwarten kann? Acht Verfahren von der gierigen Suche bis Monte Carlo Tree Search, jedes mit seiner gemessenen Grenze.
Novelty Search und Quality-Diversity
Ein Hof-Roboter im täuschenden Labyrinth, zwölf Stücke: von der Sackgasse der Fitness über Novelty Search und MAP-Elites bis zu Go-Explore, Routing und POET.
Standortplanung
Welche Standorte eröffnen, wenn jeder Kunde zum nächsten offenen geht? Sechs Stücke von der einfachen Fixkosten-Entscheidung über Kapazität, Maximum statt Summe und Lagerbestand bis zum Wettbewerb zweier Spieler und zum Hub mit Rabatt.
Klassische Scheduling-Theorie
Ein wachsendes Beispiel von einer Maschine bis zum allgemeinen Ressourcenmodell: elf Stücke, jedes hebt genau eine Annahme des vorigen auf.
Warteschlangentheorie und Simulation
Ein Terminal-Gate, dreizehn Stücke und ein Zusatzstück: jedes hebt genau eine Annahme der Formel davor auf, bis zum Netz aus Gate, Kran und Stapel und seinem Ersatzmodell.
Mittelwerte und Lagemaße
Welche Zahl steht für die Mitte der Daten, wie genau rechnet man sie, und was geschieht bei Ausreißern, Quotienten, Uhrzeiten und Standorten in der Ebene? Sieben Stücke vom Mittelwert bis zur Mitte im Raum.
Optimierung unter Unsicherheit
Eine Kapazität, die vor der unbekannten Nachfrage gewählt wird, sechs Stücke: vom Wert der Information über Stichprobe, CVaR, Robustheit und Garantie bis zur rollierenden Planung.
Mehrkriterien-Ranking
Eine neutrale Entscheidungsmatrix, fünfzehn Stücke: von der Pareto-Dominanz über Gewichte, AHP, TOPSIS und Outranking bis zu unsicheren Gewichten, DEA, Gruppen und dem Verfahrensvergleich.
Komplexitätsklassen
Was sagt es aus, wenn ein Problem als NP-schwer gilt, und welcher Ausweg passt zu welchem Grund der Härte? Zehn Stücke über Reduktionen, typische Instanzen, große Zahlen, Garantien, Parameter, Zufall, Zählen, Spiele und lokale Optima.