Baumbasierte Verfahren erklärt
Baumbasierte Verfahren sind die erste Linie dieses Portfolios mit überwachtem Lernen: Anders als beim Clustering oder der Anomalie-Erkennung gibt es hier eine bekannte Antwort, aus der gelernt wird. Vehikel aller neun Stücke sind Lieferungen mit acht echten Merkmalen (Distanz, Ladegewicht, Stopps, Verkehr, Wetter, Wochentag, Zeitfenster-Enge, Fahrerjahre) plus einstellbar viele Rauschmerkmale: Klassifikation („kommt die Lieferung zu spät?“) und Regression („wie lange dauert sie?“) auf denselben Merkmalen, meist als Umschalter in derselben Demo.
Die Linie hat eine Wurzel und zwei Äste: CART, ein einzelner Entscheidungsbaum, ist die Wurzel. Der Bagging-Ast (Bagging → Random Forest → Extra Trees) trainiert viele Bäume parallel und mittelt sie, um die Varianz zu senken. Der Boosting-Ast (AdaBoost → Gradient Boosting → XGBoost/LightGBM/CatBoost) trainiert Bäume nacheinander, jeder auf den Fehlern der vorigen, und fächert am Ende in drei Verfahren auf, die je eine andere Schwäche von Gradient Boosting beheben.
In short: Covers tree-based supervised learning: CART, bagging, random forest, extra trees, AdaBoost, gradient boosting, XGBoost, LightGBM and CatBoost. Interactive demos use one delivery dataset for classification and regression and report measured behavior.
Hintergrund zum Thema: Hafenlogistik.
Diese Seite gehört zu Algorithmen und Verfahren erklärt. So lesen Sie sie: Das Diagramm zeigt, wie die Stücke zusammenhängen. Jede Kachel darunter öffnet eine interaktive Demo, wo es eine gibt, mit einer Erklärseite für Einsteiger und Fachleute. Auf der Suche nach einer Lösung für ein konkretes Problem? Zu den Interaktiven Demos.
Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.
Zuletzt aktualisiert:
Welches Verfahren passt zu Ihrem Fall? Zum Entscheidungsbaum ↓
Zum Nachlesen: erst einfach, dann fachlich
Der Entscheidungsbaum verständlich erklärt
Wie ein Baum aus Ja-Nein-Fragen Lieferungen sortiert, warum ein flacher Baum lesbar bleibt und ein tiefer die Zufälle der Lerndaten mitlernt, und was Beschneiden dagegen tut: erst für Einsteiger ohne Formeln, dann für Fachleute mit Modell, Formeln und Messwerten.
Die neun Stücke im Überblick
CART ist die Wurzel: ein einzelner Baum. Von dort führen zwei unabhängige Äste weg. Der Bagging-Ast trainiert viele Bäume parallel auf Bootstrap-Stichproben und mittelt sie (Bagging), fügt eine zufällige Merkmalsteilmenge je Split hinzu (Random Forest) und endet mit einem Kontrast, der auch die Split-Schwellen würfelt (Extra Trees: weniger Rechenaufwand statt besserer Genauigkeit).
Der Boosting-Ast trainiert Bäume nacheinander: AdaBoost gewichtet falsch klassifizierte Zeilen höher, Gradient Boosting verallgemeinert das auf jede Verlustfunktion. Von dort fächert die Linie in drei unabhängige Verfahren auf, die je eine andere Schwäche von Gradient Boosting beheben: XGBoost mit Regularisierung und einem Newton-Schritt zweiter Ordnung, LightGBM mit blattweisem Wachsen und Histogramm-Splits, CatBoost mit geordnetem Boosting gegen die Prediction-Shift-Verzerrung.
Die Kästen sind klickbar und öffnen die jeweilige Demo direkt.
- behebt eine Schwäche des Vorgängers oder baut darauf auf
- Gegenstück: derselbe Zweck, andere Bauweise (kein Fix)
Alle neun Stücke arbeiten an denselben erzeugten Lieferungen (acht echte Merkmale plus einstellbare Rauschmerkmale); bei CatBoost kommt ein neuntes, kategoriales Merkmal (Depot, 24 Stufen) hinzu.
Verwandt in anderen Linien
- Anomalie-Erkennung — Der Isolation Forest der Anomalie-Erkennungs-Linie nutzt denselben Random-Tree-Mechanismus wie Random Forest und Extra Trees hier: viele zufällige Bäume. Er verfolgt aber ein anderes Ziel (wie leicht sich ein Punkt abtrennen lässt, statt eine Vorhersage) und gehört deshalb zu einer eigenen Linie, nicht als zehntes Stück hierher.
- Zeitreihen-Prognose — Das Boosting mit Lag-Merkmalen der Zeitreihen-Prognose-Linie baut auf dem Histogramm-Baumkern des LightGBM-Stücks dieser Linie auf: dort Klassifikation und Regression auf Lieferungen, hier Prognose mit Lag-Merkmalen und einem Modell für alle Depots.
CART an Lieferungen
Sehen Sie, wie ein einzelner Entscheidungsbaum Lieferungen anhand von Gini/Entropie-Splits sortiert: Flach (Tiefe 3, 8 Blätter) erreicht er 17,2 % Testfehler. Sehen Sie aber auch, wie instabil ein voll gewachsener Baum ist: Bootstrap-Stichproben ändern die Vorhersage auf über 16 % der Testlieferungen, nur die Wurzel bleibt stabil.
Verständlich erklärt: erst für Einsteiger, dann für Fachleute
Demo starten →Bagging an Lieferungen
Sehen Sie, wie Bagging viele Bäume auf neu gezogenen Stichproben der Lieferungen wachsen lässt und ihre Vorhersagen mittelt, damit sich die Zufallsschwankungen eines einzelnen, instabilen Baums wegmitteln. Ein Regler lässt den Wald Baum für Baum wachsen. Die Grenze: Mitteln senkt die Streuung, kaum die Verzerrung, und ein dominantes Merkmal begrenzt den Gewinn. Im Standardfall fällt der Testfehler von 25,6 % (ein Baum) auf 15,0 % (30 Bäume).
Demo starten →Random Forest an Lieferungen
Sehen Sie, was die zusätzliche Zufallsauswahl der Merkmale je Split gegenüber reinem Bagging bringt: Mit dem besten mtry sinkt der Testfehler leicht weiter (14,7 % gegen 15,0 %). Der größere Unterschied zeigt sich bei der Merkmalswichtigkeit: Bei 8 Rauschmerkmalen verteilt die Standardwichtigkeit 27,2 % ihrer Summe auf reines Rauschen, die Permutationswichtigkeit nur 3,1 %.
Demo starten →Extra Trees an Lieferungen
Sehen Sie den Kontrast zu Random Forest: Extra Trees zieht für jedes Kandidatenmerkmal nur eine zufällige Schwelle, statt die beste zu suchen. Ein Vergleich mit Random Forest zeigt live den gesparten Rechenaufwand: nur 3,7 % der geprüften (Merkmal, Schwelle)-Paare. Kein Fix, sondern ein Tausch: Auf diesem Datensatz liegt der Testfehler 1,9 Punkte über dem von Random Forest.
Demo starten →AdaBoost an Lieferungen
Sehen Sie, wie AdaBoost statt zu mitteln nachbessert: Es trainiert einfache Ein-Schnitt-Bäume (Stümpfe) nacheinander und gibt Zeilen, die bisher falsch lagen, mehr Gewicht. Runde für Runde sehen Sie die Gewichte wandern. Im Standardfall sinkt der Testfehler von 24,4 % (ein Stumpf) auf 18,9 % (30 Runden). Der Haken: Die Umgewichtung verstärkt auch falsch etikettierte Zeilen, daher wächst der Fehler bei Etiketten-Rauschen relativ stärker als bei Bagging mit denselben Stümpfen.
Demo starten →Gradient Boosting an Lieferungen
Sehen Sie, wie AdaBoosts Grundidee auf jede differenzierbare Verlustfunktion verallgemeinert, und damit erstmals auch Regression erlaubt: Die beste Lernrate liegt bei 0,1 (13,7 % Testfehler), nicht an den Rändern. Bei Ausreißern zeigt sich die Verlustwahl: Ohne Ausreißer liegt der quadratische Verlust knapp vorn, mit 15 % groben Ausreißern verschlechtert er sich am stärksten, während Huber und Absolut deutlich stabiler bleiben.
Demo starten →XGBoost an Lieferungen
Sehen Sie, wie XGBoost Strafen in den Baumbau einbaut: γ lässt einen Split nur zu, wenn er genug bringt, λ dämpft die Blattwerte, und der Schritt nutzt auch die Krümmung des Fehlers. Sie regeln λ und γ und sehen die Blätterzahl. Überraschend: λ bremst die Überanpassung kaum, erst γ. Bei Tiefe 4 fällt die Blätterzahl von 1536 ohne auf 157 mit starkem γ, doch zu viel γ unterpasst wieder.
Demo starten →LightGBM an Lieferungen
Sehen Sie, wie LightGBM bei gleicher Gain-Formel wie XGBoost Rechenzeit spart: Es sortiert Werte in grobe Fächer (Bins) statt jede Schwelle zu prüfen und teilt immer das Blatt mit dem größten Gewinn zuerst. Zwei Experimente trennen beide Änderungen. Der Haken: Die Fächer lohnen sich erst zwischen 280 und 560 Trainingszeilen, und blattweises Wachsen ist nicht besser: auf großen, sauberen Daten gleichauf, auf kleinen, verrauschten schlechter als ebenenweises.
Demo starten →CatBoost an Lieferungen
Sehen Sie, wie CatBoost nie mit dem eigenen Etikett einer Zeile rechnet, damit weder das Boosting noch die Kodierung eines kategorischen Merkmals Leckage erzeugen. Ein Experiment zeigt live, wie die Leckage mit der Zahl der Stufen wächst: bei 48 Depots +8,5 %. In dieser vereinfachten Fassung bringt geordnetes Boosting beim Testfehler keinen Gewinn.
Demo starten →Welches Verfahren passt zu meinen Daten?
Ein Entscheidungsbaum als Faustregel: Er führt von der gewünschten Lesbarkeit über die Trainingsart (parallel oder nacheinander) zum passenden Verfahren. Die Aussagen stammen aus Messungen an denselben erzeugten Lieferungen, nicht aus einem Praxiseinsatz.
Beige Kästen sind Fragen (nicht klickbar), weiße Kästen sind Ergebnisse (klickbar, sie öffnen die jeweilige Demo). Ehrlich dazu: Random Forest und Extra Trees liegen bei ähnlicher Baumzahl nah beieinander: der Gewinn von Extra Trees ist der Rechenaufwand (3,7 % der geprüften Splits), nicht die Genauigkeit. CatBoosts geordnetes Boosting schlägt gewöhnliches Boosting auf diesem Datensatz nicht zuverlässig; der gemessene Vorteil hier ist die Kodierung des kategorialen Merkmals, nicht die Ordered-Boosting-Idee selbst. LightGBMs Histogramm-Vorteil kippt zwischen 280 und 560 Zeilen, bei kleineren Daten ist die exakte Suche schneller. Bagging selbst taucht im Baum nicht auf: Random Forest verbessert es beim gleichen Rechenaufwand.
Weitere Linien in diesem Bereich
Clustering
Punkte ohne Vorgaben gruppieren: von k-Means über DBSCAN, Gaussian Mixtures und Spectral Clustering bis HDBSCAN, mit Entscheidungsbäumen für die Wahl.
Dimensionsreduktion
Zwölf Kennzahlen auf zwei Achsen: PCA, Isomap, LLE, t-SNE, UMAP, PaCMAP und Autoencoder, jedes mit gemessenen Stärken und Schwächen.
Anomalie-Erkennung
Was fällt aus dem Rahmen? Neun Verfahren von der robusten Ellipse bis zum Autoencoder, jedes mit seiner gemessenen Schwäche.
Korrelation
Wann sagt eine Korrelation, was sie zu sagen scheint, und wann täuscht sie? Elf Stücke von Pearson bis Kointegration.
Graph Neural Networks
Was sieht ein Kunde von seinem Netz? Sechs Verfahren, die auf Graphen lernen, vom Mittel über die Nachbarn bis zur Aufmerksamkeit über das ganze Netz.
Zeitreihen-Prognose
Wie prognostiziert man die Tagesaufträge eines Depots, und wie sicher ist die Prognose? Elf Verfahren von der naiven Messlatte bis zum vortrainierten Netz, mit ehrlichen Negativbefunden.
Neuronale Netze
Wo hört eine Gerade auf zu reichen, und was kommt danach? Sechs Architekturen vom einfachsten Klassifikator bis zum Aufmerksamkeitsmechanismus, an eigenen numpy-Implementierungen von Hand nachgerechnet.
Reinforcement Learning
Ein Lagerroboter lernt ohne Vorgabe der richtigen Antwort: acht Verfahren, jedes mit seinem gemessenen Befund, vom einfachsten Banditen bis zum gelernten Kritiker.
Experimente und Wirkungsmessung
Eine neue Bestandsregel, zwölf Stücke: vom einfachen A/B-Test über Teststärke, Zwischenblicke und Switchback bis zur Auswertung aus Logdaten.
Kausale Diagramme und Adjustierung
Eine Simulation mit bekannter Wahrheit, siebzehn Stücke: von der Konfundierung über Diagramm, Adjustierung, Schätzen, Frontdoor und Instrumente bis zum gelernten Diagramm, dem Fehler im Diagramm und dem Vergleich der Strategien.