Konzepte · Maschinelles Lernen

Korrelation und Abhängigkeit erklärt

Zwei Standorte haben ähnliche Nachfrageverläufe, eine Prognose liegt in der Grafik nah an den Ist-Werten, zwei Kennzahlen laufen im Gleichschritt: In allen drei Fällen greift man zur Korrelation. Diese Linie erzeugt Daten mit bekannter Wahrheit und misst, wie oft die Zahl trägt: bei schweren Rändern, bei Ausreißern, bei Zeitreihen, bei sehr vielen Variablen, bei der Wahl der Mittelungsebene und beim Vergleich von Prognose und Ist.

Die elf Stücke haben vier Stränge: das Maß selbst (Pearson, Ränge, nichtlineare Maße, Randabhängigkeit), Täuschungen (Scheinkorrelation in Zeitreihen und was danach wirklich hält, Aggregation und Auswahl), viele Variablen (Matrix, Netz, korrelierte Merkmale) und der Kontrast zwischen Gleichlauf und Gleichheit. Alle Ergebnisse sind Befunde an simulierten Daten mit bekannter Wahrheit, keine Aussagen über echte Lieferketten.

In short: Interactive demos on correlation and dependence: how reliable Pearson's r is, rank and nonlinear measures, spurious correlation in time series and cointegration, correlation matrices and networks, correlated features, tail dependence and agreement versus correlation.

Diese Seite gehört zu Algorithmen und Verfahren erklärt. So lesen Sie sie: Das Diagramm zeigt, wie die Stücke zusammenhängen. Jede Kachel darunter öffnet eine interaktive Demo, wo es eine gibt, mit einer Erklärseite für Einsteiger und Fachleute. Auf der Suche nach einer Lösung für ein konkretes Problem? Zu den Interaktiven Demos.

Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.

Zuletzt aktualisiert:

Welches Verfahren passt zu Ihrem Fall? Zum Entscheidungsbaum ↓

Zum Nachlesen: erst einfach, dann fachlich

SCHEIN-GLEICHLAUF

Scheinkorrelation verständlich erklärt

Warum zwei Zeitreihen ohne jeden Zusammenhang eine Weile im Gleichschritt laufen und der übliche Test das als Zusammenhang meldet, und welches Gegenmittel wann hilft: erst für Einsteiger ohne Formeln, dann für Fachleute mit Modell, Formeln und Messwerten.

ZUSCHNITT

Aggregation und Auswahl verständlich erklärt

Warum dieselben Zahlen eine andere Korrelation liefern, je nachdem, ob man Tage zu Wochen mittelt, nur die besten Standorte auswählt oder Standorte untereinander vergleicht: erst für Einsteiger ohne Formeln, dann für Fachleute mit Modell, Formeln und Messwerten.

GLEICHSCHRITT ODER GLEICH?

Übereinstimmung verständlich erklärt

Warum eine Prognose im Gleichschritt mit dem Ist laufen und trotzdem durchgehend zu hoch liegen kann, was Lins Übereinstimmungskorrelation misst und was sich durch Neukalibrieren beheben lässt: erst für Einsteiger ohne Formeln, dann für Fachleute mit Modell, Formeln und Messwerten.

Die elf Stücke im Überblick

Die Wurzel ist Pearson: Wie sicher ist eine einzelne Korrelationszahl, und was passiert bei schweren Rändern oder Ausreißern? Von dort führen vier Wege. Die Ränge sehen Ausreißer und monotone Kurven, die nichtlinearen Maße finden auch Muster, bei denen Pearson und Spearman null sagen, die Randabhängigkeit fragt nach gemeinsamen extremen Werten. Die Scheinkorrelation zeigt, was geschieht, wenn die Beobachtungen nicht unabhängig sind, und die Kointegration, wann ein Gleichlauf trotzdem echt ist.

Aus einem Paar werden bei vielen Variablen viele: Die Korrelationsmatrix, das Korrelationsnetz mit den direkten Kanten und die korrelierten Merkmale im Modell sind die Folgen. Zwei Stücke stehen für sich: Die Aggregation und Auswahl fragt, wie sehr die Zahl an der Ebene und an der Auswahl der Daten hängt, die Übereinstimmung stellt dem Gleichlauf die Gleichheit gegenüber.

Die Kästen sind klickbar und öffnen die jeweilige Demo direkt.

Seitlich verschieben oder die Gesamtansicht wählen.
Pearson eine Zahl, viele Daten Rangkorrelation Spearman, Kendall, Ränge EIN PUNKT KIPPT R Scheinkorrelation Reihen ohne Zusammenhang BEOBACHTUNGEN NICHT UNABHÄNGIG Korrelationsmatrix viele Variablen, was ist wahr? AUS EINEM PAAR WERDEN TAUSENDE Aggregation und Auswahl andere Ebene, andere Korrelation R HÄNGT AN DER EBENE Übereinstimmung stimmt die Prognose auch? GLEICHLAUF IST NICHT GLEICHHEIT Nichtlineare Abhängigkeit wenn r und ρ_S null sagen RÄNGE SEHEN NUR MONOTONIE Randabhängigkeit gleiche Korrelation, anderes Risiko NACH DEN RÄNGEN BLEIBT DIE KOPULA Kointegration Gleichlauf, der hält WANN HÄLT DER GLEICHLAUF Korrelationsnetz welche Kanten sind direkt? KORRELATION IST NICHT DIREKT Korrelierte Merkmale wem gehört die Wichtigkeit? DIESELBE MATRIX IM MODELL ARIMA Autokorrelation als Baustein AUTOKORRELATION ALS URSACHE Mehrfachtests Gewinnerfluch VIELE PAARE, VIELE TESTS PCA Korrelation in Achsen zerlegt MATRIX IN ACHSEN ZERLEGT Standort und Bestand Pooling im Lager POOLING-GEWINN HÄNGT AN DER ABHÄNGIGKEIT
  • behebt eine Schwäche des Vorgängers oder baut darauf auf
  • Gegenstück: derselbe Zweck, andere Bauweise (kein Fix)
  • übernimmt nur eine Idee
  • Baustein aus einer anderen Linie

Der gestrichelte Doppelpfeil ist ein Kontrast (gleiche Aufgabe, anderes Ziel oder andere Regel), gepunktete Pfeile übernehmen nur eine Idee, graue gestrichelte Knoten sind Bausteine aus anderen Linien. Die Stücke lassen sich in beliebiger Reihenfolge lesen, ein Pfeil ist keine vorgeschriebene Reihenfolge.

Verwandt in anderen Linien

DIE WURZEL: PEARSON

Pearson: eine Zahl, viele Daten

Sehen Sie, wie dieselbe Korrelation r ganz verschiedene Punktwolken tragen kann: Die Demo simuliert Standort-Wochen mit bekanntem wahrem Zusammenhang und prüft, was die Zahl und ihr Sicherheitsintervall wert sind. Der Haken: Bei schweren Rändern, also vielen extremen Wochen, trifft das übliche Intervall bei ρ = 0,5 und n = 1 000 den wahren Wert nur in 50,5 % der Fälle, und mit mehr Daten wird es schlechter.

Demo starten →
RÄNGE STATT WERTE

Rangkorrelation: Spearman, Kendall und was Ränge ändern

Verfolgen Sie, wie Rangmaße (Spearman, Kendall) statt der Werte nur deren Reihenfolge nutzen und so einzelne Ausreißer abfangen. Ein einzelner Punkt in fünf Standardabweichungen Entfernung lässt bei n = 30 und ohne echten Zusammenhang den Pearson-Test in 84,7 % der Läufe anschlagen, den Spearman-Test in 5,8 %. Der Haken: Bei einer schwach gekrümmten Kurve mit Rauschen liegt das Rangmaß unter Pearson, und Parabel oder Kreis sehen auch Ränge nicht.

Demo starten →
WENN R NULL SAGT

Nichtlineare Abhängigkeit: wenn r und ρ_S null sagen

Sehen Sie, ob bei Korrelation null wirklich nichts da ist: Neun Abhängigkeitsformen von der Parabel bis zum Kreis prüfen sechs Maße, die auch Krummes erkennen. Pearson und Spearman finden bei Parabel, Kreis, Schachbrett und wachsender Streuung in höchstens 15,8 % der Läufe etwas (bis n = 300). Der Haken: Welches Maß gewinnt, hängt von der Form ab, und bei einer Geraden mit n = 30 liegt Pearson vorn.

Demo starten →
GLEICHE ZAHL, ANDERER RAND

Randabhängigkeit: gleiche Korrelation, anderes Risiko

Verfolgen Sie, wie zwei Standorte mit gleichen Wochenverteilungen und gleicher Korrelationszahl ein anderes Risiko gleichzeitiger Spitzen haben, je nach Abhängigkeit am Rand. Bei ρ = 0,5 und Niveau 99,9 % ist die gemeinsame Spitze mit einer randstarken t-Kopula (drei Freiheitsgrade) das 5,8-Fache der Gauß-Kopula. Der Haken: Aus fünf Jahren Wochendaten erkennt ein Zählverfahren bei bekannten Parametern die richtige Kopula nur in 70,6 % der Fälle; Raten: 50 %.

Demo starten →
DER SCHEIN-GLEICHLAUF

Scheinkorrelation: wenn zwei Reihen ohne Zusammenhang „signifikant“ korrelieren

Verfolgen Sie, wie zwei völlig unabhängige Wochenreihen mit Gedächtnis (Irrfahrten, deren Wert an den Vorwochen hängt) trotzdem eng verbunden wirken: Der übliche Test meldet bei 104 Wochen in 76,1 % der Läufe einen gesicherten Zusammenhang. Der Haken: Differenzieren, also nur Wochenänderungen vergleichen, heilt die Irrfahrt, hebt aber bei reinem Zufallsrauschen den Fehlalarm auf 11,3 %, und Trendbereinigung hilft nur beim Trend.

Verständlich erklärt: erst für Einsteiger, dann für Fachleute

Demo starten →
DER GLEICHLAUF, DER HÄLT

Gleichlauf, der hält: Kointegration und gerichtete Abhängigkeit

Verfolgen Sie, wie sich echter Gleichlauf zweier wandernder Reihen vom Scheingleichlauf trennen lässt: Bei echtem zieht ein Abstand die Reihen zurück zueinander. Der naive Test nennt unabhängige wandernde Reihen bei 104 Wochen in 76,1 % der Läufe gesichert zusammenhängend, der Abstandstest von Engle und Granger nur selten. Der Haken: Er braucht Wochen und schnelle Anpassung; bei Tempo 0,05 findet er die Beziehung nach 104 Wochen nur in 7,1 %.

Demo starten →
DIESELBE WELT, ANDERE ZAHL

Aggregation und Auswahl: dieselbe Welt, andere Korrelation

Sehen Sie, wie dieselben Daten ganz verschiedene Korrelationen liefern, je nachdem, ob man Tage zu Wochen mittelt, die besten Standorte auswählt oder Standorte vergleicht. Bei stark gleichlaufenden Standortniveaus und gegenläufiger Tagesschwankung ergibt sich zwischen den Standorten +0,777, innerhalb der Standorte −0,316. Der Haken: Welche Ebene die richtige Antwort gibt, hängt von der Frage ab, und Mittelung, Auswahl und Messrauschen verändern r nach bekannten Formeln.

Verständlich erklärt: erst für Einsteiger, dann für Fachleute

Demo starten →
VIELE PAARE, VIEL ZUFALL

Korrelationsmatrix bei vielen Variablen: was ist noch wahr?

Sehen Sie, was eine Korrelationsmatrix noch wahr sagt, wenn man viele Kennzahlen aus wenigen Wochen berechnet. Bei reinem Rauschen mit 50 Kennzahlen und 30 Wochen enthalten die Datensätze zu 100,0 % mindestens ein Paar, das für sich genommen „signifikant“ wirkt. Der Haken: Welcher Schätzer die Matrix verbessert, hängt von der Struktur ab; die lineare Schrumpfung, die Zusammenhänge Richtung null zieht, nützt bei einem gemeinsamen Faktor kaum.

Demo starten →
DIREKT ODER ÜBER UMWEGE

Korrelationsnetz und Teilkorrelation: welche Kanten sind direkt?

Verfolgen Sie, wie aus Korrelationen ein Netz wird und ob seine Kanten direkte Zusammenhänge zeigen. Bei 40 Kennzahlen und 500 Wochen zeichnet das Schwellennetz (Kante bei großem |r|) in einer Welt ohne direkte Kante, nur mit verborgenem gemeinsamen Faktor, im Mittel 737,2 von 780 möglichen Kanten. Der Haken: Das Teilkorrelationsnetz, das andere Kennzahlen herausrechnet, findet bei 100 Wochen in einer Kette nur etwa ein Viertel der echten Kanten.

Demo starten →
WEM GEHÖRT DIE WICHTIGKEIT

Korrelierte Merkmale: wem gehört die Wichtigkeit?

Sehen Sie, wie ein Wald aus Entscheidungsbäumen die Wichtigkeit zweier fast gleicher Zwillingskennzahlen verteilt. Im Mittel teilen sie sich gleich, doch bei Korrelation 0,99 gehört in etwa einem Drittel der Läufe (33,0 %) einem Zwilling mehr als 70 %. Der Haken: Mehr Bäume beruhigen das kaum, und beim Mischen eines Zwillings liegen dann in 77,1 % der Zeilen Werte, wie sie echt nur bei etwa 1 % vorkommen.

Demo starten →
HOHES R, FALSCHE PROGNOSE

Übereinstimmung statt Korrelation: stimmt die Prognose auch?

Sehen Sie, warum eine hohe Korrelation zwischen Prognose und Ist nicht heißt, dass die Prognose stimmt: Eine Gerade passt auch dann, wenn die Werte systematisch zu hoch liegen. Bei einem Ist mit Mittel 100 und Streuung 20 hat die Prognose 1,3 · Ist das beste r der Tabelle (0,988) und den schlechtesten mittleren Fehler (RMSE 30,85). Der Haken: Neukalibrieren beseitigt Bias und Skala, aber nicht das Rauschen.

Verständlich erklärt: erst für Einsteiger, dann für Fachleute

Demo starten →

Welches Stück passt zu meiner Frage?

Ein Entscheidungsbaum über alle elf Stücke, entlang der Frage, was man über einen Zusammenhang wissen will: wie belastbar die Zahl ist, welche Art von Zusammenhang vorliegt, was bei vielen Variablen bleibt oder was hinter der Zahl steckt.

Welches Stück passt zu meiner Frage?

Seitlich verschieben oder die Gesamtansicht wählen.
Was möchten Sie über einen Zusammenhang wissen? Wie belastbar ist die Zahl? STIMMT DIE ZAHL Welche Art von Zusammenhang? WAS FÜR EIN ZUSAMMENHANG Es gibt sehr viele Variablen VIELE VARIABLEN Was liegt hinter der Zahl? WAS BEDEUTET SIE Pearson eine Zahl, viele Daten WIE SICHER IST EIN EINZELNES R Scheinkorrelation Reihen ohne Zusammenhang ZWEI ZEITREIHEN Kointegration Gleichlauf, der hält TROTZDEM EIN ECHTER GLEICHLAUF Rangkorrelation Ausreißer und Monotonie MONOTON ODER AUSREISSER Nichtlineare Abhängigkeit r und ρ_S sagen null KURVE, KREIS, MUSTER Randabhängigkeit extreme Werte gemeinsam GEMEINSAME EXTREME Korrelationsmatrix was bleibt wahr ZAHLEN EINER GANZEN MATRIX Korrelationsnetz direkt oder über Dritte WELCHE KANTEN SIND DIREKT Korrelierte Merkmale Wichtigkeit im Modell FOLGE FÜR EIN MODELL Aggregation und Auswahl andere Ebene, andere Zahl ANDERE EBENE ODER AUSWAHL Übereinstimmung stimmt die Prognose auch STIMMT DIE PROGNOSE ÜBEREIN

Beige Kästen sind Fragen (nicht klickbar), weiße Kästen sind Ergebnisse (klickbar, sie öffnen die jeweilige Demo).

Weitere Konzepte · Maschinelles Lernen

Weitere Linien in diesem Bereich

Clustering

Punkte ohne Vorgaben gruppieren: von k-Means über DBSCAN, Gaussian Mixtures und Spectral Clustering bis HDBSCAN, mit Entscheidungsbäumen für die Wahl.

Dimensionsreduktion

Zwölf Kennzahlen auf zwei Achsen: PCA, Isomap, LLE, t-SNE, UMAP, PaCMAP und Autoencoder, jedes mit gemessenen Stärken und Schwächen.

Anomalie-Erkennung

Was fällt aus dem Rahmen? Neun Verfahren von der robusten Ellipse bis zum Autoencoder, jedes mit seiner gemessenen Schwäche.

Baumbasierte Verfahren

Ein Baum wird zum Wald, dann zum Ensemble, das seine eigenen Fehler nachbessert: neun Verfahren von CART bis CatBoost, die erste Linie dieses Portfolios mit überwachtem Lernen.

Graph Neural Networks

Was sieht ein Kunde von seinem Netz? Sechs Verfahren, die auf Graphen lernen, vom Mittel über die Nachbarn bis zur Aufmerksamkeit über das ganze Netz.

Zeitreihen-Prognose

Wie prognostiziert man die Tagesaufträge eines Depots, und wie sicher ist die Prognose? Elf Verfahren von der naiven Messlatte bis zum vortrainierten Netz, mit ehrlichen Negativbefunden.

Neuronale Netze

Wo hört eine Gerade auf zu reichen, und was kommt danach? Sechs Architekturen vom einfachsten Klassifikator bis zum Aufmerksamkeitsmechanismus, an eigenen numpy-Implementierungen von Hand nachgerechnet.

Reinforcement Learning

Ein Lagerroboter lernt ohne Vorgabe der richtigen Antwort: acht Verfahren, jedes mit seinem gemessenen Befund, vom einfachsten Banditen bis zum gelernten Kritiker.

Experimente und Wirkungsmessung

Eine neue Bestandsregel, zwölf Stücke: vom einfachen A/B-Test über Teststärke, Zwischenblicke und Switchback bis zur Auswertung aus Logdaten.

Kausale Diagramme und Adjustierung

Eine Simulation mit bekannter Wahrheit, siebzehn Stücke: von der Konfundierung über Diagramm, Adjustierung, Schätzen, Frontdoor und Instrumente bis zum gelernten Diagramm, dem Fehler im Diagramm und dem Vergleich der Strategien.