Korrelation · Verständlich erklärt

Aggregation und Auswahl verständlich erklärt

Dieselben Zahlen können zeigen, dass zwei Größen gemeinsam steigen, dass sie nichts miteinander zu tun haben oder dass sie gegeneinander laufen, je nachdem, ob man Tage oder Wochen betrachtet, alle Standorte oder nur die besten, Standorte untereinander oder einen einzelnen. Diese Seite erklärt zuerst ohne Formeln, wie das zugeht, und danach für Fachleute mit Modell, Formeln und Messwerten.

Zuletzt aktualisiert:

Teil 1 · Für Einsteiger

Ein Wort unbekannt? Das Begriffsverzeichnis erklärt es in wenigen Sätzen.

Zwei Vergleiche, zwei Antworten

Ein Unternehmen betreibt viele Standorte, etwa Lager. Für jeden Standort und jeden Tag liegen zwei Zahlen vor: wie viele Sendungen anfallen und wie viele Beschäftigte im Dienst sind. Große Standorte haben viel zu tun und viel Personal, kleine von beidem wenig. Vergleicht man die Standorte untereinander, steigen die beiden Zahlen gemeinsam: Wo mehr los ist, arbeiten mehr Leute.

Nun schaut man in einen einzelnen Standort und vergleicht seine Tage. Angenommen, dort ist an den Tagen mit vielen Sendungen weniger Personal da, weil sich etwa Ausfälle gerade dann häufen. Dann geht innerhalb des Standorts die eine Zahl hoch, wenn die andere sinkt. Dieselben Daten geben also zwei Antworten. Die Frage „Welche Standorte brauchen mehr Personal?“ beantwortet der Vergleich zwischen den Standorten: die großen. Die Frage „Wann wird es an einem Standort eng?“ beantwortet der Vergleich innerhalb eines Standorts: an den Tagen mit viel Arbeit und wenig Personal.

Das Maß dafür, wie stark zwei Zahlen gemeinsam steigen und fallen, heißt Korrelation. Steigen sie gemeinsam, ist sie positiv; geht die eine hoch, wenn die andere sinkt, ist sie negativ. Im Beispiel ist sie zwischen den Standorten positiv und innerhalb eines Standorts negativ. Wie bei einer Tour, deren Durchschnittsgeschwindigkeit etwas anderes sagt als das Tempo auf einem einzelnen Abschnitt, hängt die Antwort davon ab, wo man hinschaut. Verändern lässt sich die Korrelation auf mehreren Wegen: Tage zusammenfassen, nur die besten Standorte nehmen oder ungenau messen.

Zweiter Weg: Tage zu Wochen zusammenfassen

Tageszahlen schwanken zufällig. Ein Montag liegt durch eine Panne zu niedrig, ein Dienstag durch einen Sonderauftrag zu hoch; im Wochenmittel heben sich beide Ausreißer auf. Was beiden Zahlen gemeinsam ist und sich über Wochen hinzieht, etwa eine Saison, bleibt dagegen im Wochenmittel stehen. Die Korrelation wird dadurch stärker, obwohl an den Daten nichts geändert wurde.

Das gilt nur, wenn die gemeinsame Bewegung anhält, zum Beispiel eine Saison, die wochenlang mehr Sendungen und mehr Personal bringt. Springt sie von Tag zu Tag, weil jeden Tag andere Aufträge hereinkommen, bleibt im Wochenmittel nichts davon stehen, und die Korrelation ändert sich nicht.

Das Zusammenfassen hat zudem einen Preis. Aus einem dicken Stapel Tageszettel wird ein dünner Stapel Wochenzettel, und aus weniger Zetteln lässt sich weniger sicher lesen. Wiederholt man die Auswertung mit anderen Tagen aus derselben Zeit, weichen die Ergebnisse stärker voneinander ab. Ein statistischer Test, der prüft, ob ein Zusammenhang mehr ist als Zufall, besteht ihn dann seltener, auch wenn der Zusammenhang vorhanden ist.

Dritter Weg: nur die besten Standorte ansehen

Wer nur die Standorte mit der höchsten Nachfrage auswertet, betrachtet eine Spitzengruppe. Dort sind alle ähnlich groß; der Unterschied zwischen großen und kleinen Standorten, der im ganzen Bestand beide Zahlen verbindet, fehlt. Die Korrelation fällt deshalb schwächer aus. Je kleiner die Gruppe, desto schwächer, und in einer kleinen Auswahl kann sie je nach Zufall sogar negativ werden: Dann sähe es aus, als gingen mehr Sendungen mit weniger Personal einher, obwohl im ganzen Bestand beides gemeinsam steigt.

Noch stärker wirkt es, wenn man nach beiden Zahlen zugleich auswählt, etwa nach Sendungen plus Personal wie bei einem Punktesystem. Wer in dieser Summe weit oben steht, hat viele Sendungen und wenig Personal oder viel Personal und wenige Sendungen. Ein Standort, der bei einer Zahl schon sehr hoch liegt, kommt mit einem niedrigeren Wert bei der anderen noch in die Auswahl. Wenn die Auswahl streng genug ist, gehen die Zahlen in der Auswahl deshalb gegeneinander, obwohl sie im ganzen Bestand gemeinsam steigen: Aus positiv wird negativ.

Ungenaue Messung macht den Zusammenhang unscharf

Wird eine der beiden Größen ungenau gezählt, etwa weil Personalstunden nur grob erfasst werden, sieht der Zusammenhang schwächer aus, als er ist: Die Messfehler legen sich wie Nebel über die Punkte. Man kann nachträglich zurückrechnen, wie stark der Zusammenhang ohne Messfehler wäre. Dafür muss man wissen, wie genau die Messung ist. Das zurückgerechnete Ergebnis schwankt dann stärker von einer Auswertung zur nächsten als der ungenaue Wert.

Wie ernst ist das Modell zu nehmen?

Alle Aussagen stammen aus einer Rechnung mit ausgedachten Standorten, deren Zahlen nach einfachen Regeln erzeugt werden. Das macht sichtbar, wie Zusammenfassen, Auswahl und Messfehler die Korrelation verändern. Wie es in einem echten Betrieb ist, zeigt die Rechnung nicht, und auch nicht, warum zwei Zahlen zusammenhängen: Ob mehr Sendungen mehr Personal nach sich ziehen oder umgekehrt, bleibt offen.

Woran Sie es im Betrieb merken: Dieselben zwei Kennzahlen sehen in Tageswerten, Wochenwerten und im Standortvergleich verschieden aus. Oder ein Zusammenhang verschwindet oder dreht sich, sobald eine Auswertung nur die Spitzenstandorte enthält, etwa eine Rangliste nach Sendungen plus Personal. Auch ein schwacher Zusammenhang bei grob erfassten Zahlen ist mit Vorsicht zu lesen. Dann lohnt die Frage: Auf welcher Ebene wurde gerechnet, wer gehörte zur Auswahl, und wie genau wurde gemessen?

Dieses Verhalten lässt sich in einem Programm zum Ausprobieren, der Demo (Link am Ende dieses Teils), mit eigenen Reglern nachvollziehen.

Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.

Teil 2 · Für Fachleute

Modell und Annahmen

Dieser Teil ist eigenständig lesbar. Er fasst die formale Beschreibung der Demo zusammen; die vollständige Fassung steht im Expander „📐 Mathematische Formulierung“ der Demo. Zwei Kennzahlen \(X\) und \(Y\) werden an \(G\) Standorten über \(T\) Tage gemessen; an Standort \(g\) und Tag \(t\) gilt

\[x_{gt} = \mu^x_g + w_{gt} + \sigma\,\varepsilon_{gt}, \qquad y_{gt} = \mu^y_g + \gamma\, w_{gt} + \sigma\,\eta_{gt}\]

  • Standortniveaus: \((\mu^x_g, \mu^y_g)\) standardnormal mit Korrelation \(\rho_b\).
  • Welle: \(w\) hat Varianz 1 und ist ein gleitendes Mittel über das Gedächtnis \(s\) (Autokovarianz \(\max(0, 1 - |h|/s)\)); die Kopplung \(\gamma\) legt fest, ob die Welle in \(Y\) gleich, schwächer oder gegenläufig wirkt.
  • Rauschen: \(\varepsilon, \eta\) unabhängig standardnormal, Stärke \(\sigma\).
  • Zuschnitte: alle Standort-Tage, dieselben Werte ohne Rauschen, die Korrektur für das Messrauschen, innerhalb der Standorte (Abweichung vom Standortmittel), Mittel über \(m\) Tage dieser Abweichungen, Standortmittel (zwischen den Standorten) und die Auswahl der obersten \(q\) % der Standorte nach dem Standortmittel von \(X\) oder nach der Summe der standardisierten Werte. Zu jeder Zeile steht der erwartete Wert aus der Formel, als Verhältnis der Erwartungswerte.
  • Vergleich: Die Messreihen stammen aus einem vorgerechneten Raster mit vier Zufalls-Seeds (101 bis 104) je Zelle; live rechnet die Demo eine Welt mit bis zu 60 Standorten und 720 Tagen.

Die Formeln

Fenstermittel der Welle. Varianz des Mittels über \(m\) Tage:

\[V_m = \frac{1}{m^2}\Big(m + 2\sum_{h=1}^{m-1}(m-h)\max\big(0,\,1-\tfrac{h}{s}\big)\Big)\]

Erwartete Korrelation über alle Standort-Fenster (für \(m = 1\) alle Standort-Tage, für \(m = T\) die Standortmittel):

\[r_m = \frac{\rho_b + \gamma V_m}{\sqrt{\big(1 + V_m + \sigma^2/m\big)\big(1 + \gamma^2 V_m + \sigma^2/m\big)}}\]

Ohne Standortniveau und mit \(\gamma = 1\) ist \(r_m = V_m/(V_m + \sigma^2/m)\); ohne Gedächtnis (\(V_m = 1/m\)) ist das \(1/(1+\sigma^2)\) für jedes \(m\). Mittelung hebt \(r\) also nur über das Gedächtnis der Welle.

Auswahl nach \(X\) (obere Quote \(q\), wahres \(\rho\), Thorndike): mit \(c = \Phi^{-1}(1-q)\), \(\lambda = \varphi(c)/q\) und \(u = 1 + \lambda c - \lambda^2\) gilt

\[r_{\text{Auswahl}} = \frac{\rho\sqrt{u}}{\sqrt{1 - \rho^2 + \rho^2 u}}\]

Auswahl nach der Summe (gleiche Streuung): \(D = X - Y\) bleibt unberührt, \(S = X + Y\) wird gestutzt, \(V_S = (2+2\rho)\,u\), \(V_D = 2 - 2\rho\):

\[r_{\text{Summe}} = \frac{V_S - V_D}{V_S + V_D}\]

Messrauschen mit den Zuverlässigkeiten \(r_x, r_y\) (Anteil der wahren Varianz) und die Korrektur:

\[r_{\text{beob}} = \rho\sqrt{r_x r_y}, \qquad \hat\rho = \frac{r_{\text{beob}}}{\sqrt{r_x r_y}}\]

Zerlegung der Kreuzproduktsumme (jeder Standort mit \(T\) Tagen, Mittel \(\bar x_g\) je Standort, \(\bar x\) gesamt):

\[\sum_{g,t}(x_{gt}-\bar x)(y_{gt}-\bar y) = \sum_{g,t}(x_{gt}-\bar x_g)(y_{gt}-\bar y_g) + T\sum_g(\bar x_g-\bar x)(\bar y_g-\bar y)\]

Die Zerlegung ist eine Identität: Die Korrelation über alle Standort-Tage mischt die Beiträge innerhalb der Standorte und zwischen ihnen.

Befunde

Alle Zahlen stammen aus der README der Demo (jede steht in deren Tests, tests/test_claims.py). Es sind simulierte Daten in dieser einen additiven, normalverteilten Welt. Die Messreihen kommen aus einem vorgerechneten Raster mit vier Zufalls-Seeds je Zelle; die Läufe stehen in der Tabelle, in Klammern steht der erwartete Wert aus der Formel (Verhältnis der Erwartungswerte).

FrageBefund
Hebt die Mittelung r?Nur, wenn die Welle Gedächtnis hat: Bei 30 Tagen Gedächtnis und \(\sigma = 2\) (eine Welle ohne Standortniveau, 3 600 Tage, Mittel über 200 Läufe) steigt r von 0,201 (Tage) auf 0,616 (7 Tage), 0,826 (30 Tage) und 0,866 (90 Tage); erwartet 0,200 / 0,618 / 0,833 / 0,870. Ohne Gedächtnis bleibt r bei jedem Fenster bei 0,2 (\(1/(1+\sigma^2)\)).
Was kostet die Mittelung?Aus 3 600 Tagen werden 514, 120 und 40 Fenster (7, 30, 90 Tage). Bei weißer Welle (Gedächtnis 1) und \(\sigma = 2\) steigt die Streuung von r von 0,016 auf 0,157, und der Anteil „signifikanter“ Läufe fällt von 100,0 % auf 24,5 % (200 Läufe; die Rechnung nach Fisher-z gibt 23 %).
Was macht die Auswahl nach X?Wahres \(\rho\) = 0,5, 400 Einheiten: r der obersten 100 / 50 / 20 / 5 % ist 0,500 / 0,331 / 0,259 / 0,201 (exakt nach Thorndike 0,500 / 0,329 / 0,261 / 0,210; Raster mit vier Zufalls-Seeds zu je 500 Läufen). Bei nur 20 gewählten Einheiten streut r mit 0,224, ist in 18,8 % der Läufe negativ und nur in 14,1 % signifikant positiv (bei 80 gewählten: 65,3 %).
Was macht die Auswahl nach der Summe?20 000 Paare, wahres \(\rho\) = 0,5: r der oberen 50 % ist +0,046, der obersten 20 / 10 / 1 % −0,210 / −0,326 / −0,545 (exakt +0,043 / −0,208 / −0,327 / −0,550). Bei \(\rho\) = 0,3 ist r schon bei den oberen 50 % −0,196; bei \(\rho\) = 0,8 erst bei den obersten 1 % negativ (−0,084; Formel −0,069; im Raster aus nur 40 Läufen 85,0 % der Läufe negativ, mit 400 Läufen etwa drei Viertel).
Was verdünnt Messrauschen?Bei wahrem \(\rho\) = 0,6, 300 Einheiten und 2 000 Läufen je Zeile bleibt bei Zuverlässigkeit 0,4 und 0,4 von \(\rho\) nur 0,237 (exakt 0,240). Die Korrektur trifft im Mittel 0,593, ihre Streuung ist aber 0,137 statt 0,037 ohne Messfehler: Sie braucht die Zuverlässigkeit und wird unsicherer.
Welche Ebene beantwortet was?Bei \(\rho_b\) = 0,8 und Kopplung −0,5 (30 Standorte, 100 Tage je Standort, Gedächtnis 1, \(\sigma = 1\), 800 Läufe) liefert eine Welt +0,101 über alle Standort-Tage (erwartet 0,115), +0,777 für die Standortmittel (0,782; Streuung 0,077) und −0,316 innerhalb (−0,316); in 100,0 % der Läufe haben Standortmittel und innerhalb verschiedene Vorzeichen. Bei nur 10 Standorten streut die Korrelation der Standortmittel mit 0,147. Ohne Zusammenhang zwischen den Standorten (\(\rho_b = 0\), Kopplung 1) bleiben Standortmittel 0,009 und innerhalb 0,499.
HandrechnungZwei Standorte mit x = (0, 2 | 10, 12), y = (2, 0 | 12, 10): r gesamt 0,923, innerhalb −1, zwischen +1; Kreuzprodukte 96 = −4 + 100.

Grenzen

  • Die Welt ist additiv und normalverteilt: Die exakten Formeln gelten für diese Welt (bei der Summenformel bei gleicher Streuung). Echte Kennzahlen weichen ab; ob die Richtung der Effekte bleibt, zeigt die Demo nicht.
  • Die Auswahl folgt einer Regel (nach \(X\) oder nach der Summe). Eine Auswahl, die selbst von \(Y\) abhängt, verzerrt anders.
  • Keine Ursachen: Das Simpson-Paradox, Störfaktoren und Collider als Diagramm behandelt die Demo nicht; die Summenauswahl ist nur das Zahlenbeispiel zur Collider-Mechanik.
  • Die Korrektur des Messrauschens braucht die Zuverlässigkeit. Sie ist hier bekannt; im Alltag ist sie geschätzt und unsicher.
  • Alle Standorte sind gleich verteilt: Mehrebenenmodelle mit Zufallseffekten und die Intraklassenkorrelation sind nicht gebaut.
  • Das einzige Gedächtnis ist die Welle: Trends und Saisonmuster sowie räumliche Aggregation (Gebietszuschnitt) fehlen.
  • Erwartet heißt Verhältnis der Erwartungswerte: Bei wenigen Standorten weicht der Mittelwert der gemessenen r davon merklich ab (10 Standorte: erwartet 0,115 für alle Standort-Tage, gemessen 0,071).
  • Kleine Raster: Die Zellen der Auswahl nach der Summe beruhen im Raster auf 40 Läufen; die Vorzeichenanteile dort sind grob.

Quellen

  • In der README und in der „📐 Mathematischen Formulierung“ der Demo sind keine Literaturangaben ausgewiesen; die Formeln sind durch unabhängige Rechenwege (Tests gegen scipy, Simulationen und Schleifenfassungen) und die Messungen der Experimente gestützt.
  • Quelltext, Raster und Tests der Demo: github.com/sebastian-hanisch/aggregationsebene-demo.

Die Namen Thorndike (Auswahl nach \(X\)) und Fisher-z (Signifikanz) stehen in der README als Verfahrensnamen, nicht als Literaturangabe; sie wurden für diese Seite nicht nachgeschlagen.