Reinforcement Learning erklärt

Acht Stücke, zwei Vehikel, ein gemeinsames Thema: was lernt ein einzelner Agent, wenn niemand ihm sagt, welche Aktion richtig ist? Das erste Stück (Bandit) hat keinen Zustand: ein Lagerroboter wählt wiederholt zwischen mehreren Ladestationen mit unbekannter, aber fester Erfolgswahrscheinlichkeit, die reine Frage Erkunden gegen Ausnutzen. Ab dem zweiten Stück bewegt sich derselbe Roboter auf einem Raster mit einer Klippe (Cliff-Walking, Sutton & Barto 2018): erst mit vollständig bekanntem Modell (Value Iteration und Policy Iteration), danach lernt er ausschließlich aus eigener Erfahrung.

Die Linie grenzt sich bewusst von zwei Nachbarn ab: No-Regret-Lernen ist derselbe Online-Lern-Gedanke, aber gegen sich gegenseitig beeinflussende Gegenspieler statt einer stationären, unbekannten Belohnung; Monte Carlo Tree Search plant bei jedem Zug neu, ohne eine wiederverwendbare gelernte Politik zwischen Entscheidungen mitzunehmen. Diese Linie lernt genau das. Multi-Agenten-Koordination baut direkt auf dem hier gelegten Ein-Agenten-Fundament auf.

In short: Covers reinforcement learning: multi-armed bandits, Q-learning, DQN, policy gradient and actor-critic methods. Interactive demos follow a warehouse robot that learns without being told the correct action, each with a measured finding.

Diese Seite gehört zu Algorithmen und Verfahren erklärt. So lesen Sie sie: Das Diagramm zeigt, wie die Stücke zusammenhängen. Jede Kachel darunter öffnet eine interaktive Demo, wo es eine gibt, mit einer Erklärseite für Einsteiger und Fachleute. Auf der Suche nach einer Lösung für ein konkretes Problem? Zu den Interaktiven Demos.

Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.

Zuletzt aktualisiert: 28. Oktober 2026

Welches Verfahren passt zu Ihrem Fall? Zum Entscheidungsbaum ↓

Zum Nachlesen: erst einfach, dann fachlich

Die acht Stücke im Überblick

Der Graph hat zwei Wurzeln, die zusammenlaufen: der Bandit liefert die Explorationsidee (epsilon-gierig, UCB1, Thompson Sampling) für Value Iteration und Policy Iteration, die mit einem vollständig bekannten Modell starten. Sobald das Modell unbekannt wird (Q-Learning), verzweigt sich die Linie in vier Richtungen: SARSA als Kontrast (on-policy statt off-policy), Dyna-Q als Zusammenfluss (lernt selbst ein Modell UND plant damit, wie die zweite Wurzel), DQN (eine Tabelle skaliert nicht) und Policy Gradient/REINFORCE als Kontrast (Politik direkt statt über eine Wertfunktion).

Der letzte Ast endet bei Actor-Critic, das REINFORCEs hohe Varianz mit einem gelernten Kritiker senkt, gemessen auf denselben Seeds wie sein Vorgänger.

Die Kästen sind klickbar und öffnen die jeweilige Demo direkt.

• behebt eine Schwäche des Vorgängers oder baut darauf auf
• Gegenstück: derselbe Zweck, andere Bauweise (kein Fix)
• übernimmt nur eine Idee
• Zusammenfluss mehrerer Stränge

Der Doppelrahmen (Dyna-Q) markiert das Stück, in dem zwei Stränge zusammenlaufen: das Erfahrungslernen von Q-Learning und die Planung mit einem Modell wie bei der Wurzel Value Iteration/Policy Iteration.

Verwandt in anderen Linien

• Multi-Agenten-Koordination — Dort lernt unabhängiges Q-Learning mit MEHREREN gleichzeitig lernenden Agenten (Nicht-Stationarität durch die anderen), und MAPPO baut direkt auf dem hier gezeigten Actor-Critic mit einem zentralen Kritiker auf.
• Spieltheorie — No-Regret-Lernen ist derselbe Online-Lern-Gedanke wie der Bandit hier, aber gegen sich gegenseitig beeinflussende, eigennützige Gegenspieler statt einer stationären, unbekannten Belohnung.
• Heuristische Baumsuche — Monte Carlo Tree Search plant bei jedem Zug neu durch simulierte Rollouts und trägt keine gelernte Werte- oder Politikfunktion zwischen Entscheidungen weiter. Genau das lernen die Verfahren dieser Linie.
• Adversarische Suche — Bellman-Rückwärtsinduktion taucht auch außerhalb von MDPs auf: die Endspiel-Tablebase-Demo dort löst ein Schach-Endspiel per Retrograde-Analyse, derselbe rückwärtsgerichtete Mechanismus wie die Value-Iteration hier, nur mit einem deterministischen Minimax- statt einem stochastischen Erwartungswert. Die dortige Selbstspiel-Demo nutzt außerdem denselben linearen Kritiker $w^\top x(s)$ wie Actor-Critic hier.
• Experimente und Wirkungsmessung — Der Bandit statt A/B-Test dort nimmt den Bandit von hier auf Standort-Fenster und fragt, was die Auswertung nach der adaptiven Zuteilung noch gilt (Fehlalarm, Schätzung, Trend). Und die Auswertung aus Logdaten dort meint mit „off-policy“ etwas anderes als das Q-Learning hier: nicht, mit welcher Regel gelernt wird, sondern wie sich der Wert einer bisher nicht gefahrenen Regel aus Logdaten schätzen lässt.
• Wiederholte Spiele — Zwei Q-Lernende gleichzeitig, wie in der algorithmischen Kollusion der Wiederholte-Spiele-Linie: Das Verfahren ist dasselbe tabellarische Q-Learning wie hier, aber jeder Agent ist für den anderen Teil einer nicht stationären Umgebung, und gemessen wird, bei welchen Preisen sie landen.
• Bayessche Optimierung und Gauß-Prozesse — Das Thompson Sampling dieser Linie taucht in der Bayesschen Optimierung als Regel für die Wahl eines Batches wieder auf: Der Thompson-Batch der Batch-Demo zieht aus dem Gauß-Prozess eine Stichprobe und nimmt deren Minimum, ist aber die schwächste der vier Batch-Regeln.
• Ranking — Das aktive Ranking bekommt nach einem Duell nur den Ausgang (Sieg oder Niederlage), der Bandit nach jedem Zug eine Zahl.

Weitere Linien in diesem Bereich