Konzepte · Maschinelles Lernen

Dimensionsreduktion erklärt

Dimensionsreduktion fragt, wie sich viele Kennzahlen je Objekt auf wenige aussagekräftige Koordinaten verdichten lassen, ohne die Struktur zu verlieren. In der Logistik zum Beispiel: zwölf Kennzahlen je Lieferroute (Distanz, Stopps, Ladegewicht, Zeitfenster-Enge, Verspätung, Überstunden und weitere) auf zwei Achsen, um ähnliche und ungewöhnliche Touren zu sehen. Alle sieben Stücke dieser Linie teilen dasselbe Vehikel: diese zwölf Kennzahlen, erzeugt aus wenigen versteckten Faktoren, sodass die wahre Dimension bekannt und prüfbar ist.

In short: Covers dimensionality reduction: PCA, Isomap, locally linear embedding (LLE), t-SNE, UMAP, PaCMAP and autoencoders. Interactive demos project the same high-dimensional data to two axes and report measured strengths and weaknesses of each method.

Diese Seite gehört zu Algorithmen und Verfahren erklärt. So lesen Sie sie: Das Diagramm zeigt, wie die Stücke zusammenhängen. Jede Kachel darunter öffnet eine interaktive Demo, wo es eine gibt, mit einer Erklärseite für Einsteiger und Fachleute. Auf der Suche nach einer Lösung für ein konkretes Problem? Zu den Interaktiven Demos.

Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.

Zuletzt aktualisiert:

Welches Verfahren passt zu Ihrem Fall? Zum Entscheidungsbaum ↓

Zum Nachlesen: erst einfach, dann fachlich

KENNZAHLEN VERDICHTEN

Die Hauptkomponentenanalyse verständlich erklärt

Wie sich zwölf Kennzahlen je Lieferroute auf wenige Richtungen verdichten lassen, indem man die Richtung mit der größten Streuung wählt, und wann das täuscht: erst für Einsteiger ohne Formeln, dann für Fachleute mit Modell, Formeln und Messwerten.

Die sieben Stücke im Überblick

Ein Graph statt eines Pfades: Die PCA ist die Wurzel, und ihre ehrlich gezeigte Schwäche ist die Linearitätsannahme. Vier Äste setzen daran an: Isomap ersetzt gerade Abstände durch geodätische, LLE ist dazu ein Kontrast, kein Fix (lokal statt global), t-SNE vergleicht Nachbarschafts-Wahrscheinlichkeiten und führt zu UMAP (Nachbarschaftsgraph plus Kräfte-Optimierung, zugleich eine Konvergenz mit der Graph-Idee von Isomap und LLE) und weiter zu PaCMAP. Der Autoencoder ist ein unabhängiger Ast: ohne versteckte Schichten ist er die PCA, mit ihnen ein gelernter Encoder samt Decoder. Jedes Stück misst seine Versprechen an denselben Daten: mehrere halten sich nicht.

Die Kästen sind klickbar und öffnen die jeweilige Demo direkt.

Seitlich verschieben oder die Gesamtansicht wählen.
PCA lineare Achsen maximaler Varianz Isomap geodätische Abstände GERADE ABSTÄNDE DURCH GEODÄTISCHE LLE lokal-linear rekonstruiert NICHTLINEAR, LOKAL t-SNE Nachbarschafts-Wahrscheinlichkeiten PROBABILISTISCH Autoencoder gelernter Encoder und Decoder LINEAR = PCA, NICHTLINEAR GELERNT LOKAL STATT GLOBAL UMAP Nachbarschaftsgraph + Kräfte GRAPH-IDEE GRAPH-IDEE GRAPH + KRÄFTE Spectral Clustering (Clustering) SPEKTRALER START PaCMAP drei Paartypen, drei Phasen PAARLISTEN STATT GRAPH
  • behebt eine Schwäche des Vorgängers oder baut darauf auf
  • Gegenstück: derselbe Zweck, andere Bauweise (kein Fix)
  • übernimmt nur eine Idee
  • Zusammenfluss mehrerer Stränge
  • Baustein aus einer anderen Linie

Die gepunkteten Kanten von Isomap und LLE zu UMAP stehen für die Graph-Idee, die UMAP nur übernimmt; die gestrichelte Doppelkante zwischen Isomap und LLE zeigt ihren Kontrast (lokal statt global); die Kette t-SNE, UMAP, PaCMAP ist die Hauptlinie.

Verwandt in anderen Linien

  • Clustering — Die Laplace-Eigen-Einbettung, mit der UMAP startet, ist dieselbe wie im Spectral Clustering.
  • Quellentrennung — ICA und NMF sind wie die PCA lineare Faktorisierungen, gehören aber in die Quellentrennung: Sie trennen Quellen, statt Dimensionen zu verringern. Die ICA wendet auf ihre Daten vorher eine PCA-Weißung an, und die PCA dient in ihrem Vergleich als Basis (Korrelation 0,65 gegen 0,98).
  • Anomalie-Erkennung — Die Lieferrouten-Kennzahlen der PCA-Demo sind auch das Beispiel der Anomalie-Erkennung: Die Elliptic Envelope schätzt dort Mittelwert und Kovarianz robust, und der Autoencoder-Detektor nutzt das Netz der Autoencoder-Demo hier und macht aus dem Rekonstruktionsfehler einen Anomalie-Wert.
  • Neuronale Netze — Der Autoencoder hier nutzt dasselbe MLP-mit-Backpropagation-Fundament wie die Neuronale-Netze-Linie, dort selbst erklärt, hier als Werkzeug für Dimensionsreduktion eingesetzt.
  • Novelty Search und Quality-Diversity — Die gelernte Verhaltensbeschreibung der AURORA-Demo der Linie Novelty Search und Quality-Diversity verdichtet die Rohdaten einer Fahrt mit einer PCA oder einem Autoencoder wie in dieser Linie: hier das Thema, dort eine Beschreibung für ein Archiv. Der Autoencoder rekonstruiert dort nicht besser als die PCA.
  • Inverse Probleme und Regularisierung — Die abgeschnittene SVD der Linie Inverse Probleme und Regularisierung behält wie die PCA die ersten Komponenten, wählt sie aber nach dem Rauschen der Messung statt nach der Streuung der Daten.
  • Korrelation — Die Korrelationsmatrix und die korrelierten Merkmale der Linie Korrelation prüfen, was an der Korrelationsstruktur, die die Hauptkomponentenanalyse zerlegt, bei wenigen Daten und in einem Modell trägt.
HAUPTKOMPONENTEN

PCA an Lieferrouten-Kennzahlen

Verfolgen Sie, wie eine Projektionsrichtung gedreht wird, bis die Varianz maximal ist, und wie zwölf Kennzahlen je Tour auf wenige Komponenten schrumpfen. Vier Regler führen die Schwierigkeit hoch und zeigen die bekannten Fallen live gemessen: Krümmung (die ersten zwei Komponenten behalten nur 54 statt 93 % der Varianz), Skalierung, Ausreißer und Rauschen.

Verständlich erklärt: erst für Einsteiger, dann für Fachleute

Demo starten →
GEODÄTISCHE ABSTÄNDE

Isomap an Lieferrouten-Kennzahlen

Sehen Sie, wie Isomap eine gebogene Fläche über kürzeste Wege in einem Nachbarschaftsgraphen entrollt: R² der wahren Faktoren 0,98 gegen 0,50 bei der PCA. Ein Sweep über k zeigt live das schmale Fenster, in dem das funktioniert (bei zu kleinem k zerfällt der Graph, bei zu großem entstehen Kurzschlüsse), und dass es bei geraden Daten keinen Vorteil bringt.

Demo starten →
LOKALE REKONSTRUKTION

LLE an Lieferrouten-Kennzahlen

Verfolgen Sie, wie LLE jede Tour als Mischung ihrer Nachbarn rekonstruiert, ein Kontrast zu Isomap, kein Fix: lokal statt global. Live nebeneinander gemessen: R² 0,96 gegen 0,98 bei Isomap, dafür ein engeres Fenster für k, Empfindlichkeit gegen die Regularisierung und ein ehrliches „nicht definiert“ bei singulärer Gram-Matrix; Stärken sind Out-of-sample und Rechenzeit.

Demo starten →
PROBABILISTISCHE EINBETTUNG

t-SNE an Lieferrouten-Kennzahlen

Sehen Sie, wie t-SNE Nachbarschafts-Wahrscheinlichkeiten in eine 2-D-Karte übersetzt: lokal stark (Trustworthiness 0,99), aber die globale Struktur leidet (Abstandstreue ferner Paare nur 0,69 gegen 0,91 bei Isomap). Ein Perplexity-Sweep, die Stabilität über zufällige Starts und die Out-of-sample-Näherung machen die bekannten Schwächen live sichtbar.

Demo starten →
GRAPH UND KRÄFTE

UMAP an Lieferrouten-Kennzahlen

Verfolgen Sie, wie UMAP einen unscharfen Nachbarschaftsgraphen mit einer Kräfte-Optimierung verbindet. Die Demo prüft die Versprechen gegenüber t-SNE einzeln: Neue Touren einbetten, Stabilität und Geschwindigkeit bei großem n halten sich, globale Struktur (Abstandstreue ferner Paare 0,56 gegen 0,69) und Sonderfahrten nicht.

Demo starten →
DREI PAARTYPEN

PaCMAP an Lieferrouten-Kennzahlen

Sehen Sie, wie PaCMAP mit festen Listen naher, mittlerer und ferner Paare arbeitet, die in drei Phasen gewichtet werden. Ein überwiegend negatives Ergebnis, ausdrücklich so gemeint: Die globale Struktur ist nicht besser als bei UMAP (ferne Paare 0,34 gegen 0,60), der Mechanismus der mittleren Paare und die Geschwindigkeit halten dagegen.

Demo starten →
NEURONALES NETZ

Autoencoder an Lieferrouten-Kennzahlen

Verfolgen Sie, wie ein Autoencoder einen Encoder und einen Decoder lernt: ohne versteckte Schichten ist er genau die PCA, das misst die Demo live nach. Mit Schichten rekonstruiert er die Touren weit besser als die PCA-Untergrenze und kommt als einziges nichtlineares Verfahren zurück in den Originalraum; dafür kosten Datenhunger, geringe Stabilität über zufällige Starts und eine schwächere Rückgewinnung der Faktoren.

Demo starten →

Welches Verfahren passt zu meinem Ziel?

Ein Entscheidungsbaum statt einer Rangliste: Kein Verfahren gewinnt überall, deshalb fragt er danach, was Sie vom Ergebnis brauchen. Jede Antwort stützt sich auf die Messungen der Demos an den Lieferrouten-Kennzahlen mit bekannter wahrer Dimension.

Seitlich verschieben oder die Gesamtansicht wählen.
Reicht ein linearer Zusammenhang zwischen den Kennzahlen? Was brauchen Sie vom Ergebnis? NEIN PCA lineare Achsen maximaler Varianz JA Sehr viele Punkte (n ab etwa 1000) oder neue Punkte einbetten? FAKTOREN ODER ABSTÄNDE ZURÜCKGEWINNEN Wichtigstes Kriterium für die Karte? KARTE ZUM ANSEHEN Autoencoder gelernter Encoder und Decoder NICHTLINEAR ZURÜCK IN DEN ORIGINALRAUM Isomap geodätische Abstände NEIN LLE lokal-linear rekonstruiert JA t-SNE Nachbarschafts-Wahrscheinlichkeiten SAUBERE NACHBARSCHAFT UMAP Nachbarschaftsgraph + Kräfte NEUE PUNKTE, STABILITÄT PaCMAP drei Paartypen, drei Phasen TEMPO BEI GROSSEM N

Beige Kästen sind Fragen (nicht klickbar), weiße Kästen sind Ergebnisse (klickbar, sie öffnen die jeweilige Demo). Was der Baum nicht zeigt: Mit Ausreißern (5 % Sonderfahrten) brechen t-SNE, UMAP und PaCMAP ein (R² der wahren Faktoren 0,12 bis 0,36), PCA und Isomap bleiben bei etwa 0,75. UMAP bettet neue Punkte mit R² 0,88 bis 0,93 ein (t-SNE nur näherungsweise, 0,67 bis 0,85), seine höhere Stabilität zeigte sich nur bei drei versteckten Faktoren. PaCMAP ist schnell (0,4 Sekunden bei 600 Touren), die globale Struktur ist aber nicht besser als bei UMAP. LLE ist bei 1000 Touren etwa sechsmal schneller als Isomap, bei höchstens 200 Punkten ist Isomap schneller.

Weitere Konzepte · Maschinelles Lernen

Weitere Linien in diesem Bereich

Clustering

Punkte ohne Vorgaben gruppieren: von k-Means über DBSCAN, Gaussian Mixtures und Spectral Clustering bis HDBSCAN, mit Entscheidungsbäumen für die Wahl.

Anomalie-Erkennung

Was fällt aus dem Rahmen? Neun Verfahren von der robusten Ellipse bis zum Autoencoder, jedes mit seiner gemessenen Schwäche.

Korrelation

Wann sagt eine Korrelation, was sie zu sagen scheint, und wann täuscht sie? Elf Stücke von Pearson bis Kointegration.

Baumbasierte Verfahren

Ein Baum wird zum Wald, dann zum Ensemble, das seine eigenen Fehler nachbessert: neun Verfahren von CART bis CatBoost, die erste Linie dieses Portfolios mit überwachtem Lernen.

Graph Neural Networks

Was sieht ein Kunde von seinem Netz? Sechs Verfahren, die auf Graphen lernen, vom Mittel über die Nachbarn bis zur Aufmerksamkeit über das ganze Netz.

Zeitreihen-Prognose

Wie prognostiziert man die Tagesaufträge eines Depots, und wie sicher ist die Prognose? Elf Verfahren von der naiven Messlatte bis zum vortrainierten Netz, mit ehrlichen Negativbefunden.

Neuronale Netze

Wo hört eine Gerade auf zu reichen, und was kommt danach? Sechs Architekturen vom einfachsten Klassifikator bis zum Aufmerksamkeitsmechanismus, an eigenen numpy-Implementierungen von Hand nachgerechnet.

Reinforcement Learning

Ein Lagerroboter lernt ohne Vorgabe der richtigen Antwort: acht Verfahren, jedes mit seinem gemessenen Befund, vom einfachsten Banditen bis zum gelernten Kritiker.

Experimente und Wirkungsmessung

Eine neue Bestandsregel, zwölf Stücke: vom einfachen A/B-Test über Teststärke, Zwischenblicke und Switchback bis zur Auswertung aus Logdaten.

Kausale Diagramme und Adjustierung

Eine Simulation mit bekannter Wahrheit, siebzehn Stücke: von der Konfundierung über Diagramm, Adjustierung, Schätzen, Frontdoor und Instrumente bis zum gelernten Diagramm, dem Fehler im Diagramm und dem Vergleich der Strategien.