Der Random Forest verständlich erklärt

Hören alle, die eine Fahrzeit schätzen, dieselbe Verkehrsmeldung, irren sie gemeinsam, und der Durchschnitt hilft wenig. Ein Random Forest, ein Wald aus vielen kleinen Fragebäumen, sorgt dafür, dass nicht alle dasselbe wissen. Die Seite zeigt, was das bringt und wo es zu weit geht.

Zuletzt aktualisiert: 11. November 2026

Ein Wort unbekannt? Das Begriffsverzeichnis erklärt es in wenigen Sätzen.

Eine Kette von Fragen

Stellen Sie sich eine Planerin bei einem Paketdienst vor. Jeden Morgen schätzt sie, welche Lieferungen heute zu spät ankommen. Dafür fragt sie der Reihe nach: Ist die Ladung schwer? Ist viel Verkehr? Jede Antwort führt zur nächsten Frage oder zu einem Urteil.

Gezeichnet ergibt das einen umgedrehten Baum, den Entscheidungsbaum. Die Eigenschaften einer Lieferung, etwa Entfernung, Gewicht und Verkehr, heißen Merkmale. Ein Rechenverfahren baut solche Bäume selbst. Es lernt aus früheren Lieferungen, von denen man schon weiß, ob sie pünktlich waren.

Ein einzelner Baum hat eine Schwäche. Bekommt er einen anderen Stapel früherer Lieferscheine, kann er weiter unten ganz andere Fragen stellen. Sein Urteil hängt also auch vom Zufall des Stapels ab.

Viele Planerinnen stimmen ab

Also lässt man viele Planerinnen schätzen und mittelt ihre Urteile. Jede bekommt einen eigenen Stapel. Er entsteht so: Man zieht zufällig einen Schein aus allen alten Lieferscheinen, notiert ihn und legt ihn zurück. Das wiederholt man immer wieder. Weil man zurücklegt, kommen manche Scheine mehrmals vor und andere fehlen. So sieht jeder Stapel anders aus. Das Ziehen heißt Bootstrap. Jede Planerin baut aus ihrem Stapel einen Baum. Alle Bäume zusammen heißen Wald.

Das Mitteln hilft nur, wenn sich die Planerinnen auf verschiedene Weise irren. Ein Bild: Eine Gruppe schätzt die Fahrzeit zum Flughafen. Haben alle dieselbe falsche Verkehrsmeldung gehört, liegen alle gleich daneben, und der Durchschnitt ist ebenso falsch. Haben sie Verschiedenes gehört, gleichen sich ihre Irrtümer teilweise aus.

Wenn alle zuerst dasselbe fragen

Bei den Bäumen droht genau das. Trennt ein Merkmal die Lieferungen klar am besten, etwa das Gewicht der Ladung, fragt jeder Baum zuerst danach. Ein klar bestes Merkmal bleibt auch in anderen Stapeln das beste, solange sein Vorsprung groß ist. Die Bäume ähneln sich dann, und der Durchschnitt bringt weniger.

Der Kniff: nicht alles sehen dürfen

Der Random Forest nimmt den Bäumen den Blick auf alle Merkmale. Vor jeder einzelnen Frage wird zufällig gezogen, welche Merkmale zur Wahl stehen. Nur unter ihnen sucht der Baum die beste Frage. Diese Zahl heißt mtry. Lesen Sie sie als „Merkmale je Frage“.

Das starke Merkmal fehlt dadurch an manchen Stellen im Baum. Dort muss der nächstbeste Hinweis einspringen. So entstehen verschiedenere Bäume, und ihre Irrtümer gleichen sich im Durchschnitt besser aus. Werden alle Merkmale gezogen, ist es wieder der Wald von eben, ohne Kniff.

Wie man das prüft

Wie gut ein Wald ist, zeigt sich nur an Lieferungen, die er nie gesehen hat. Deshalb legt man vorab einen Teil der bekannten Lieferungen beiseite, wie eine Probeklausur. Aus dem übrigen Teil, dem Training, entstehen die Bäume. Der beiseitegelegte Teil heißt Test. Das Beispiel stellt zwei Aufgaben: zu spät oder nicht, und wie lange eine Lieferung dauert. Bei der ersten zählt die Fehlerquote (Anteil falscher Urteile auf dem Test), bei der zweiten die mittlere Abweichung in Minuten.

Wer zu wenig sieht, fragt schlecht

Bei der Fahrdauer macht der Wald im Beispiel kleinere Fehler als ein einzelner Baum aus ihm. Gegenüber dem Wald ohne Kniff ist der Gewinn des Kniffs im Beispiel klein, im Mittel über mehrere erzeugte Beispiele.

Wer nur wenige Merkmale sieht, stellt schlechtere Fragen. Steht nur ein einziges Merkmal zur Wahl, entscheidet der Zufall fast allein, wonach gefragt wird. Jeder einzelne Baum wird dadurch schwächer.

Das wirkt wie ein Widerspruch. Wie kann ein Wald besser werden, wenn jeder Baum weniger weiß? Zwei Wirkungen stehen gegeneinander. Vielfalt hilft dem Durchschnitt, schwache Einzelurteile schaden ihm.

Im Beispiel gewinnt deshalb weder die kleinste noch die größte Zahl an Merkmalen je Frage, sondern eine Mitte. Bei nur einem Merkmal je Frage lag die Fehlerquote auf dem Test höher als bei allen Merkmalen. Die Zahlen stehen im zweiten Teil.

Welche Merkmale zählen wirklich?

Ein Wald liefert nebenbei eine Rangliste: Welches Merkmal war am wichtigsten? Dafür gibt es zwei Wege. Der erste zählt, wie oft die Bäume nach einem Merkmal gefragt haben und wie sauber diese Fragen pünktliche von verspäteten Lieferungen trennen. Wir nennen ihn den Zählweg (Fachwort: Gini-Wichtigkeit).

Dieser Weg hat einen Haken. Im Beispiel sind Zufallsmerkmale eingebaut, gewöhnliche Zufallszahlen ohne Bezug zur Pünktlichkeit. Auch ihnen schreibt der Zählweg einen Teil der Wichtigkeit zu. Vermutlich liegt das an den vielen Werten: Zu jedem Wert gibt es eine mögliche Grenze für eine Frage. Mit so vielen Fragen trifft eine leichter durch Zufall gut, und der Zählweg schreibt den Treffer dem Merkmal zu.

Der zweite Weg ist der Mischweg. Jeder Stapel enthält nur gezogene Scheine, also hat jeder Baum einige Lieferungen nie gesehen. Mit diesen prüft man ihn. Dort vertauscht man die Angaben zu einem Merkmal zwischen den Lieferungen, etwa den Verkehr. Danach hat jede Lieferung den Verkehr einer fremden. Wird das Urteil des Baums schlechter, hat er das Merkmal gebraucht (Fachwort: Permutationswichtigkeit). Bei einem Zufallsmerkmal ändert das Mischen im Mittel nichts.

Im Mittel über mehrere erzeugte Beispiele, bei drei Merkmalen je Frage, gab der Zählweg den Zufallsmerkmalen mehr Wichtigkeit als der Mischweg. Mit mehr Zufallsmerkmalen wuchs ihr Anteil beim Zählweg.

Häufige Missverständnisse

• „Zufall im Aufbau heißt zufälliges Urteil.“ Nein. Der Zufall bestimmt nur den Aufbau der Bäume. Das Urteil ist der Durchschnitt vieler Bäume und gleicht solche Zufälle teilweise aus.
• „Hohe Wichtigkeit zeigt die Ursache.“ Nein. Sie zeigt nur, worauf sich die Bäume beim Urteilen gestützt haben. Enthalten zwei Merkmale dieselbe Information, teilen sie sich beim Mischen erwartungsgemäß die Wichtigkeit (im Beispiel nicht gemessen). Fehlt eines, weicht der Baum auf das andere aus. Ein Beispiel sind Entfernung in Kilometern und in Meilen.

Woran Sie das im Alltag erkennen

• Eine Jury, deren Mitglieder alle dieselbe Vorabinformation bekommen haben, urteilt einstimmig. Ihre Einigkeit sagt wenig, weil niemand von einem anderen Punkt aus geschaut hat.
• Eine Bestenliste der wichtigsten Gründe, bei der niemand eine Gegenprobe gemacht hat, sagt nur, was gezählt wurde, nicht, was wirkt.

Wie ernst ist das Rechenbild zu nehmen?

Alle Lieferungen im Beispiel sind erfunden, und der Autor hat die Regeln dafür festgelegt. Die Aussagen in diesem Teil beschreiben das Beispiel, nicht die Wirklichkeit.

Was Sie mitnehmen

• Fragen Sie bei jedem Mehrheitsurteil, ob die Urteilenden unabhängig zu ihrer Meinung kamen.
• Weglassen kann nützen, wenn es Vielfalt schafft. Wer zu viel weglässt, macht jeden Einzelnen schwach.
• Fragen Sie bei jeder Rangliste von Einflüssen, womit sie gemessen wurde: durch Zählen oder durch eine Gegenprobe.

Selbst ausprobieren

Zu dieser Seite gehört ein Programm zum Ausprobieren im Browser, die Demo. Der erste Knopf unten öffnet sie, der zweite führt zum zweiten Teil für Fachleute. Dort sehen Sie den Wald Baum für Baum wachsen und können verstellen, wie viele Merkmale je Frage zur Wahl stehen. Zum Verstehen brauchen Sie sie nicht.

Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.

Modell und Annahmen

Dieser Teil ist eigenständig lesbar. Er beschreibt das Verfahren so, wie die Demo es umsetzt.

• Verbund: \(B\) Entscheidungsbäume \(T_1,\dots,T_B\) (CART). Jeder Baum wächst auf einer Bootstrap-Stichprobe (\(n\) Trainingszeilen mit Zurücklegen gezogen), voll, mit Mindestblattgröße 1 und ohne Beschneiden. Findet die gezogene Teilmenge an einem Knoten keinen zulässigen Split, bleibt er ein Blatt (bei mtry = 1 im Standardfall nach einer Nachmessung dieser Seite an weniger als zwei Prozent der Blätter, bei mtry = 3 an keinem). Voreinstellung des Kriteriums ist Gini. Die Vorhersage ist das Mittel der Baumvorhersagen. Ein Blatt liefert bei der Klassifikation den Anteil „zu spät“, bei der Regression den Mittelwert der Dauer; klassifiziert wird mit der Schwelle \(\hat f(x)>\tfrac{1}{2}\).
• Split: eine Frage \(x_j\le s\) an ein Merkmal \(j\). Der Gain eines Splits ist die Abnahme der Unreinheit (Gini oder Entropie bei der Klassifikation, Varianz bei der Regression); der Split mit dem größten Gain gewinnt.
• Der Zusatz gegenüber Bagging: Bagging heißt hier derselbe Verbund ohne Beschränkung der Merkmale. Beim Random Forest wird an jedem Knoten \(t\) vor der Split-Suche eine Teilmenge \(M_t\subset\{1,\dots,d\}\) mit \(|M_t|=\)mtry ohne Zurücklegen gezogen, jedes Mal frisch. Der beste Split wird nur über \(j\in M_t\) gesucht. Der Zufallsstrang der Merkmalswahl ist je Baum vom Bootstrap-Zufall unabhängig. Für mtry \(\ge d\) ist \(M_t\) die volle Menge, der Wald ist dann Bagging.
• Daten: erzeugte Lieferungen mit acht echten Merkmalen (Distanz, Ladegewicht, Stopps, Verkehr, Wetter, Wochentag, Zeitfenster-Enge, Fahrerjahre) und einstellbar vielen Rauschmerkmalen ohne Bezug zum Ziel, im Standardfall 3, also \(d=11\). Aufteilung: 70 % Training, 30 % Test. Die Klassifikation („kommt die Lieferung zu spät?“) und die Regression („wie lange dauert sie?“) laufen auf denselben Merkmalen. Fehlermaß ist bei der Klassifikation die Fehlerquote auf dem Test, bei der Regression der RMSE in Minuten.
• Einzelbaum als Maßstab: der erste Baum des Walds allein, also ein Bootstrap-Baum mit derselben mtry-Beschränkung.
• Out-of-Bag (OOB): die Zeilen, die in der Stichprobe eines Baums nicht vorkamen. Der OOB-Fehler mittelt je Trainingszeile nur die Bäume, die sie nicht gesehen haben.
• Baumkorrelation (Messgröße der Demo): Bei der Regression der Mittelwert der paarweisen Pearson-Korrelationen der Baumvorhersagen über die Testlieferungen. Bei der Klassifikation ist es der Anteil der Testlieferungen, bei denen zwei Bäume dasselbe Urteil abgeben, gemittelt über alle Baumpaare: keine Korrelation im strengen Sinn, sondern eine Übereinstimmung. Die Demo nennt beides Baumkorrelation, diese Seite sagt bei der Klassifikation „Übereinstimmung“.
• Gini-Wichtigkeit: die Summe der mit dem Zeilenanteil gewichteten Gain-Beiträge aller Splits auf das Merkmal, je Baum auf Summe 1 normiert und über die Bäume gemittelt. Sie wird auf den Trainingszeilen berechnet, auf denen die Bäume gewachsen sind.

Die Formeln

Die Vorhersage des Walds für eine Lieferung \(x\) ist das Mittel der Baumvorhersagen.

\[\hat f(x)=\frac1B\sum_b T_b(x)\]

Wovon der Gewinn durchs Mitteln abhängt: Sei \(\rho\) die mittlere Korrelation zwischen zwei Bäumen und \(\sigma^2\) die Varianz eines Baums. Haben alle Bäume dieselbe Varianz und dieselbe paarweise Korrelation, gilt für das Mittel von \(B\) Bäumen (bei festem \(x\), über die Zufälle von Stichprobe und Merkmalswahl):

\[\mathrm{Var}(\hat f) = \rho\sigma^2 + \frac{1-\rho}{B}\sigma^2\]

Mit wachsendem \(B\) fällt der zweite Summand weg. Die Varianz strebt gegen \(\rho\sigma^2\), und mehr Bäume helfen nicht darüber hinaus. Nur ein kleineres \(\rho\) senkt diese Grenze. Genau darauf zielt das Ziehen von mtry Merkmalen: Es senkt \(\rho\), macht aber die Splits schwächer. Das erhöht vor allem den Bias der Einzelbäume und typischerweise auch \(\sigma^2\). Ein Minimum des Produkts \(\rho\sigma^2\) bei mittlerem mtry ist die Deutung der Demo; \(\rho\) und \(\sigma^2\) werden nicht einzeln gemessen.

Permutationswichtigkeit (Breiman 2001) für Merkmal \(j\): Sei \(\mathrm{OOB}_b\) die Menge der Zeilen, die Baum \(b\) nicht sah, \(e_b\) der Fehler von \(T_b\) auf \(\mathrm{OOB}_b\) (Fehlerquote bzw. RMSE) und \(e_b^{(j)}\) derselbe Fehler, nachdem Spalte \(j\) unter den Zeilen von \(\mathrm{OOB}_b\) zufällig gemischt wurde. Gemittelt wird über die Bäume mit genügend OOB-Zeilen (mindestens zehn; \(B\) steht dann für deren Zahl, im Standardfall sind es alle).

\[\mathrm{Imp}(j) = \frac1B\sum_b \left(e_b^{(j)} - e_b\right)\]

Ein Merkmal ohne Vorhersagekraft hat \(\mathbb E[\mathrm{Imp}(j)]\approx 0\), weil das Mischen am Fehler im Mittel nichts ändert; ein Merkmal, dessen Verlust den Baum schlechter macht, hat \(\mathrm{Imp}(j)>0\). Für den Vergleich mit der Gini-Wichtigkeit werden negative Werte auf 0 gesetzt und die Summe auf 1 normiert. Ohne diesen Schritt hat \(\mathrm{Imp}\) die Einheit des Fehlers.

Herleitung in fünf Schritten

Die Schritte sind Rechnungen dieser Seite, keine Messungen der Demo.

• Varianz des Mittels. Mit \(\mathrm{Var}(T_b)=\sigma^2\) und \(\mathrm{Cov}(T_a,T_b)=\rho\sigma^2\) für \(a\ne b\) folgt \(\mathrm{Var}\big(\tfrac1B\sum_b T_b\big)=\tfrac1{B^2}\big(B\sigma^2+B(B-1)\rho\sigma^2\big)=\tfrac{\sigma^2}{B}+\tfrac{B-1}{B}\rho\sigma^2=\rho\sigma^2+\tfrac{1-\rho}{B}\sigma^2\). Das ist die Formel oben.
• Obergrenze des Gewinns durch mehr Bäume. Für \(B\to\infty\) bleibt \(\rho\sigma^2\). Wer nur \(B\) erhöht, kommt nie unter diese Grenze; das erklärt, warum ein dominantes Merkmal, das alle Bäume ähnlich macht (großes \(\rho\)), das Mitteln bremst. Die Formel betrifft nur die Varianz, nicht den Bias der Bäume.
• Wie oft ein Merkmal zur Wahl steht. Zieht man mtry aus \(d\) Merkmalen ohne Zurücklegen, steht ein bestimmtes Merkmal an einem Knoten mit Wahrscheinlichkeit \(\texttt{mtry}/d\) zur Wahl. Es fehlt mit \(1-\texttt{mtry}/d\), auch das insgesamt stärkste. Für mtry \(=d\) fehlt nie eines, für \(\texttt{mtry}=1\) steht jedes nur mit \(1/d\) zur Wahl.
• Warum Mischen bei Rauschen im Mittel nichts ändert. Ist Spalte \(j\) unabhängig vom Ziel und von den anderen Spalten, ändert das Mischen unter den OOB-Zeilen die gemeinsame Verteilung von Merkmalen und Ergebnis nicht. Dann haben \(e_b^{(j)}\) und \(e_b\) denselben Erwartungswert, und \(\mathrm{Imp}(j)\) streut um 0. Voraussetzung ist diese Unabhängigkeit; bei den erzeugten Rauschmerkmalen ist sie gegeben.
• Wirkung des Kappens auf 0 (Deutung dieser Seite). Das Kappen entfernt negative Zufallswerte und behält positive. Der Anteil der Rauschmerkmale an der Summe ist dadurch eher zu hoch als zu niedrig ausgewiesen. Der gemessene Permutationsanteil ist also keine Unterschätzung des Rauschens.

Durchgerechnet: Korrelation gegen Baumstärke

Rechnung dieser Seite mit erfundenen Zahlen, keine Messung der Demo. Es sei \(B=30\) und \(\sigma^2\) die Varianz eines Baums. Bei \(\rho=\tfrac{4}{5}\) ist \(\mathrm{Var}(\hat f)=\tfrac{4}{5}\sigma^2+\tfrac{1}{5B}\sigma^2\), bei \(\rho=\tfrac{3}{5}\) ist es \(\tfrac{3}{5}\sigma^2+\tfrac{2}{5B}\sigma^2\). Der zweite Summand ist bei \(B=30\) nur ein kleiner Bruchteil des ersten, im ersten Fall weniger als ein Prozent, im zweiten gut zwei Prozent. Selbst unendlich viele Bäume bei \(\rho=\tfrac{4}{5}\) blieben also bei \(\tfrac{4}{5}\sigma^2\) und damit über dem Wald aus nur 30 Bäumen bei \(\rho=\tfrac{3}{5}\).

Der Preis: Wächst \(\sigma^2\) durch die schwächeren Splits um ein Drittel (Faktor \(\tfrac{4}{3}\)), liegt \(\tfrac{4}{3}\big(\tfrac{3}{5}+\tfrac{2}{5B}\big)\) bei \(B=30\) schon über \(\tfrac{4}{5}+\tfrac{1}{5B}\). Der Vorteil des kleineren \(\rho\) ist dann aufgebraucht. Das zeigt, warum ein zu kleines mtry nicht hilft. Ein zweites Beispiel: Bei \(d=11\) und mtry \(=3\) steht ein bestimmtes Merkmal mit Wahrscheinlichkeit \(\tfrac{3}{11}\) an der Wurzel eines Baums zur Wahl, im Mittel also bei \(30\cdot\tfrac{3}{11}\approx8\) von 30 Bäumen.

Befunde

Alle Zahlen sind an erzeugten Lieferungen gemessen. Der Standardfall ist die Klassifikation „zu spät“ mit 1200 Lieferungen, 3 Rauschmerkmalen (\(d=11\)), 70 % Training und 30 % Test, 30 Bäumen und dem Datensatz mit dem Zufalls-Startwert 7. „Sechs Datensätze“ sind der Standarddatensatz und fünf weitere mit denselben Erzeugungsregeln und anderem Startwert; „drei Datensätze“ sind die ersten drei davon. Wo es nicht anders steht, sind es Einzelwerte des Standarddatensatzes.

Frage	Befund
Ist mtry = alle Merkmale dasselbe wie Bagging? (Standardfall)	Ja: gleiche Bootstrap-Stichproben und gleiche Baumregeln ergeben dieselben Bäume (gleiches Merkmal und gleiche Schwelle in jedem Knoten, Schwellen bis auf Rechengenauigkeit) und dieselbe Vorhersage. Testfehler 15,0 %, Übereinstimmung der Bäume 0,77.
Was geschieht bei mtry = 1? (Standardfall)	Die Übereinstimmung fällt auf 0,60, aber jeder Split ist fast zufällig: Testfehler 19,2 % gegen 15,0 % bei mtry = alle. Weniger Übereinstimmung allein genügt nicht.
Faustregel \(\sqrt d\approx3\)? (Standardfall)	Testfehler 15,3 %, besser als bei mtry = 1, aber nicht am gemessenen Optimum. Für die Regression ist \(d/3\) die übliche Faustregel; die Demo stellt dort 6 ein.
Ein gut gewähltes mtry? (Standardfall)	mtry = 4: Testfehler 14,7 % gegen 15,0 % bei mtry = alle. Das Minimum dieses Datensatzes liegt bei mtry = 7, gut einen Prozentpunkt unter mtry = alle (Nachmessung dieser Seite an 30 Bäumen, nicht in der Dokumentation der Demo). Zwischen mtry = 3 und 11 streuen die Einzelwerte ohne klare Ordnung.
mtry-Sweep, Klassifikation (Mittel über drei Datensätze, 20 Bäume)	Minimum bei mtry = 5 mit 13,9 %; bei mtry = 1 sind es 16,9 %, bei mtry = 11 (alle Merkmale) 15,5 %. In der Mitte ist die Kurve flach.
mtry-Sweep, Regression (Mittel über drei Datensätze, 20 Bäume)	Minimum bei mtry = 8 mit 9,9 min; bei mtry = 1 sind es 17,0 min, bei mtry = 11 10,2 min.
Wald gegen Einzelbaum, Regression (Standardfall, mtry = 6 eingestellt; das Sweep-Minimum liegt bei 8)	Testfehler 10,1 min gegen 10,3 min bei mtry = alle; ein einzelner Baum liegt bei rund 17 min. Im Sweep ist der Gewinn gegenüber Bagging bei der Regression kleiner als bei der Klassifikation; der Abstand 10,1 gegen 10,3 min im Standardfall ist nicht auf Streuung geprüft.
Wie viel Wichtigkeit bekommt reines Rauschen? (Mittel über sechs Datensätze, 30 Bäume, mtry = 3, auch bei 8 Rauschmerkmalen)	Klassifikation, 3 Rauschmerkmale: Gini-Wichtigkeit 12,4 % ihrer Summe, Permutationswichtigkeit 0,9 %. Bei 8 Rauschmerkmalen wächst der Unterschied auf 27,2 % gegen 3,1 %. Regression, 3 Rauschmerkmale: 9,1 % gegen 0,8 %.

Was die Messung zeigt und wo die Grenzen liegen

• Belegt nicht: die Abstände der Einzelwerte des Standarddatensatzes (14,7 gegen 15,0 gegen 15,3 %). Der Test umfasst 30 % von 1200 Lieferungen; 14,7 % und 15,0 % unterscheiden sich um eine einzige falsch beurteilte Lieferung (Rechnung dieser Seite). Der Standardfehler einer Fehlerquote um 15 % liegt bei dieser Testgröße bei knapp zwei Prozentpunkten (Binomialformel, Rechnung dieser Seite); die Abstände liegen darunter. Ein paarweiser Vergleich auf denselben Testlieferungen ist schärfer, wurde aber nicht quantifiziert. Belegt ist für den Standarddatensatz nur „ungefähr gleich“; die Beschreibung dieses Unterschieds als „kleine, aber echte Verbesserung“ in der Dokumentation der Demo geht über die Messung hinaus. Das Minimum des Datensatzes liegt ohnehin bei mtry = 7, nicht bei 4.
• Belegt, mit Einschränkung: der Sweep (Mittel über drei Datensätze, nur 20 Bäume statt 30, weil ein voller Sweep bei der Regression sonst zu lange dauert). Er zeigt zweimal dieselbe Richtung: mtry = 1 ist schlechter als alle Merkmale (16,9 gegen 15,5 % bzw. 17,0 gegen 10,2 min), und eine mittlere Wahl liegt vorn. Das Minimum über elf verrauschte Werte ist jedoch optimistisch (Deutung dieser Seite); der Gewinn einer vorab gewählten mittleren Zahl ist kleiner als der Abstand zum nachträglich gewählten Minimum. Die genaue Wahl in der Mitte zählt weniger als das Vermeiden des Extrems mtry = 1.
• Baumkorrelation ist nicht \(\rho\): Die Formel für die Varianz meint die Korrelation zweier Bäume bei festem \(x\) über die Zufälle von Stichprobe und Merkmalswahl. Die Demo misst eine Korrelation über Testlieferungen (Regression) bzw. eine Übereinstimmung der Klassen (Klassifikation). Beides ist ein Stellvertreter. Dass mtry die Übereinstimmung senkt (0,77 auf 0,60 bei mtry = 1), ist gemessen; dass dadurch die Varianz des Mittels sinkt und die Bäume zugleich einzeln schwächer werden, ist die Deutung der Formel. Die Übereinstimmung sinkt außerdem schon, wenn die Einzelbäume nur schlechter werden; sie trennt beide Wirkungen nicht.
• Bei der Wichtigkeit belegt: Der Unterschied zwischen 12,4 und 0,9 % (und zwischen 27,2 und 3,1 %) ist ein Mittel über sechs Datensätze und groß gegen jede plausible Streuung der Einzelwerte. Die Gini-Anteile liegen allerdings unter dem Anteil der Rauschspalten an allen Spalten (drei von elf, gut ein Viertel; acht von sechzehn, die Hälfte; Rechnung dieser Seite). Die Verzerrung ist also relativ zur Permutationswichtigkeit gemessen: Rauschen sollte null bekommen, bekommt aber mit Gini einen merklichen Teil.
• Bei der Wichtigkeit nicht belegt: die Erklärung „viele mögliche Schwellen“. Die Gini-Wichtigkeit wird auf den Trainingszeilen der gewachsenen Bäume berechnet, die Permutationswichtigkeit auf OOB-Zeilen. Beide Unterschiede (Rechenregel und Datengrundlage) wirken in der Messung zugleich. Dass viele Schwellen Gini verzerren, ist aus der Literatur bekannt (Strobl u. a. 2007) und wird an einem stetigen gegen ein grobes Rauschmerkmal gesondert geprüft. Die Rauschmerkmale der Demo sind stetig und damit der günstige Fall für diese Verzerrung; bei grob gestuftem Rauschen wäre sie vermutlich kleiner (Deutung dieser Seite, nicht gemessen).
• Erwartung der Demo, nicht gemessen: Gibt es nur ein wirklich informatives Merkmal und der Rest ist Rauschen, hilft auch ein kleines mtry nicht, weil die gezogene Teilmenge es oft gar nicht enthält. Bei stark korrelierten Merkmalen teilen sich beide die Permutationswichtigkeit und wirken einzeln weniger wichtig, als sie zusammen sind.
• Stufen statt Geraden: Jeder Einzelbaum liefert eine Treppe. Das Mitteln glättet sie, ersetzt aber keine echten Geraden oder schrägen Grenzen.
• Erzeugte Daten: Die Dauer der Lieferungen entsteht aus festen Regeln mit Schwellen. Alle Mittel laufen über Datensätze mit denselben Regeln, nicht über verschiedene Regeln. Ob echte Daten dieselbe Abstufung zeigen, zeigt die Demo nicht.
• Vergleichsrahmen: Der Vergleich mit Bagging läuft in jeder Analyse mit denselben Bootstrap-Stichproben und nur ohne die mtry-Beschränkung. Der Vorher-Nachher-Unterschied ist daher kein Unterschied zweier verschieden verrauschter Läufe. Der Einzelbaum ist der erste Baum des jeweiligen Walds und ändert sich mit mtry; das Urteil „schlechter als ein Einzelbaum“ vergleicht also mit einem Baum, der dieselbe Beschränkung hat.

Wie die Demo geprüft ist

• Mit mtry gleich der Merkmalszahl (auch größer oder nicht gesetzt) wächst derselbe Baum wie ohne Beschränkung: gleiche Merkmale und Schwellen im Rahmen der Rechengenauigkeit.
• Ein Wald ohne Beschränkung stimmt mit Bäumen überein, die auf denselben Bootstrap-Zeilen ohne mtry wachsen.
• Bei gezogener Teilmenge liegt der gewählte Split in der gezogenen Teilmenge (an einem Testbeispiel geprüft), und verschiedene Zufallsstränge ziehen verschiedene Mengen.
• Die Gegenprobe gegen scikit-learn (RandomForestClassifier und RandomForestRegressor) läuft nur als Fehlerband, weil Bootstrap und Merkmalswahl dort aus einer anderen Zufallsquelle kommen: keine exakte Übereinstimmung erwartet.
• Die OOB-Vorhersage wird gegen eine naive Schleife geprüft. Die Permutationswichtigkeit liegt für reines Rauschen nahe 0, und die Gini-Verzerrung zeigt sich bei einem stetigen gegen ein grobes Rauschmerkmal.

Quellen

• Breiman, L. (2001): Random Forests. Machine Learning 45(1), 5–32.
• Strobl, C., Boulesteix, A.-L., Zeileis, A., Hothorn, T. (2007): Bias in random forest variable importance measures. BMC Bioinformatics 8, 25.
• Hastie, T., Tibshirani, R., Friedman, J. (2009): The Elements of Statistical Learning, 2. Auflage, Kapitel 15. Springer.
• Quelltext, Tests und Gegenproben der Demo: github.com/sebastian-hanisch/random-forest-demo.

Die Arbeiten wurden für diese Seite nicht nachgeschlagen. Die Demo mittelt Blattanteile und klassifiziert mit der Schwelle ½; Breiman (2001) beschreibt nach Erinnerung des Autors eine Mehrheitsabstimmung. Autor und Jahr der Arbeiten von Breiman sowie von Strobl und Kollegen stammen aus der Dokumentation der Demo; Titel, Zeitschrift und Seitenzahlen sind aus dem Gedächtnis des Autors und nicht gegen die Originale geprüft. Das Buch von Hastie und Kollegen ist ebenfalls aus dem Gedächtnis genannt und nicht geprüft.