Rangfolge aus Vergleichen · Verständlich erklärt

Die laufende Wertung (Elo) verständlich erklärt

Wer eine Rangliste laufend pflegt, zieht die Zahlen nach jeder Partie ein Stück nach. Diese Seite zeigt an einem Hausturnier, warum das gut funktioniert, wenn man die Stärke des Nachziehens richtig wählt, und was es kostet, erst ohne Formeln und danach für Fachleute mit Modell, Formeln, Messwerten und Grenzen. Ein Programm zum Ausprobieren gehört dazu.

Zuletzt aktualisiert:

Teil 1 · Für Einsteiger

Ein Wort unbekannt? Das Begriffsverzeichnis erklärt es in wenigen Sätzen.

Eine Tafel, die nach jeder Partie nachgezogen wird

Stellen Sie sich eine Tischtennisliga in der Firma vor, die das ganze Jahr läuft. An der Wand hängt eine Tafel mit einer Zahl für jeden Mitspieler, seiner Wertung. Am Anfang haben alle dieselbe Zahl. Nach jeder Partie wird die Tafel angepasst: Wer gewinnt, bekommt Punkte, wer verliert, gibt genau so viele ab, wenn beide mit demselben Regler rechnen (dazu gleich mehr). Dieses Verfahren heißt Elo-Verfahren und kommt aus dem Schach. Das Programm zum Ausprobieren zu dieser Seite, kurz die Demo, spielt eine solche Liga am Rechner durch: Der Rechner legt vorher fest, wie stark jeder ist, und würfelt die Partien aus. Jeder Durchlauf einer solchen Simulation heißt hier Lauf.

Wie viele Punkte wandern, hängt davon ab, was zu erwarten war. Gewinnt der klare Favorit, ändert sich fast nichts, denn das war zu erwarten. Gewinnt ein Außenseiter, wandern viele Punkte, denn das war eine Überraschung. Die Tafel lernt also aus Überraschungen. Die Erwartung ergibt sich aus dem Abstand der beiden Zahlen: Je größer er ist, desto sicherer der Favorit.

Der Regler K: Wie stark zählt die letzte Partie?

Eine Zahl legt fest, wie weit die Tafel nach einer Überraschung springt, der Regler K. Ein Bild dazu: Sie wiegen sich jeden Morgen auf einer Waage, die etwas schwankt, und wollen Ihr Gewicht schätzen. Nehmen Sie immer nur den letzten Wert, springt Ihre Schätzung wild hin und her, weil die Waage schwankt. Mitteln Sie dagegen sehr langsam, bleibt die Schätzung ruhig, merkt aber erst Wochen später, dass Sie wirklich abgenommen haben.

Mit K ist es genauso. Ist K groß, folgt die Tafel schnell, aber auch dem Zufall: Ein Spieler mit einem guten Tag steigt zu hoch. Ist K klein, bleibt die Tafel ruhig, aber verspätet: Wer wirklich besser wird, wird erst spät so eingestuft. Ein K, das für alle Fälle passt, gibt es nicht; es hängt davon ab, wie schnell sich die Stärken ändern.

Wenn sich die Stärken ändern, ist die laufende Tafel im Vorteil

Bleiben alle Spieler das ganze Jahr gleich stark, ist es am genauesten, am Ende alle Partien zusammen auszuwerten, mit einem Verfahren, das erst am Ende alle Partien zusammen betrachtet, jede gleich behandelt und die Gegner einrechnet (hier Gesamtverfahren genannt). In der Demo liegt dieses Gesamtverfahren in diesem Fall näher an der wahren Stärke als die laufende Tafel.

Ändern sich die Stärken aber laufend, weil jemand übt oder nachlässt, hinkt das Gesamtverfahren hinterher, denn es rechnet auch alte Partien voll mit. Die laufende Tafel vergisst alte Partien nach und nach und folgt den Veränderungen. In der Demo dreht sich das Ergebnis schon bei kleinen Änderungen je Runde: Dann liegt die laufende Tafel näher an der wahren Stärke. Und je schneller sich die Stärken ändern, desto größer fällt in der Demo das beste K aus.

Der Preis: Die Reihenfolge zählt

Die laufende Tafel hat einen Nachteil. Dieselben Partien in anderer Reihenfolge ergeben andere Zahlen, manchmal sogar einen anderen Spitzenreiter. Wer früh gegen noch unterschätzte Gegner gewinnt, bekommt viele Punkte, wer dieselben Partien später spielt, bekommt weniger. Das Gesamtverfahren kennt dieses Problem nicht, bei ihm ist die Reihenfolge egal. In der Demo wechselt bei einem mittleren K der Spitzenreiter schon bei einer einzigen Umordnung der Partien in etwa jedem vierten Lauf, und wer die Partien mehrfach umordnet, findet in den meisten Läufen einen anderen Spitzenreiter.

Ein Sonderfall sind Neulinge. Die Tafel kennt sie noch nicht und schätzt sie anfangs falsch. Ein größeres K in den ersten Partien (ein Anlauf-K) bringt sie schneller auf ihre richtige Zahl, wenn sie stark vom Durchschnitt abweichen. Sind sie gewöhnlich, schadet es eher, denn dann wackelt die Tafel unnötig. Außerdem entstehen Punkte aus dem Nichts: Weil der Neuling mit einem größeren K rechnet als sein Gegner, schiebt ihm ein Sieg mehr zu, als der Gegner abgibt.

Was hilft?

Fragen Sie zuerst, wie schnell sich die Stärken im eigenen Fall ändern. Ändern sie sich kaum, kann ein Gesamtverfahren besser sein, oder Sie wählen ein kleines bis mittleres K. Ändern sie sich laufend, wählen Sie K größer. Wollen Sie außerdem wissen, wie sicher eine Zahl ist, brauchen Sie ein Verfahren, das neben der Wertung ihre Unsicherheit mitführt. Solche Verfahren behandeln andere Demos dieser Website, der Fachteil nennt sie.

Wie ernst ist das Modell zu nehmen?

Alles hier ist simuliert. Es spielen acht Spieler, die wahren Stärken sind vorgegeben und wandern bei Bedarf wie ein Zufallsspaziergang, und eine Partie kennt nur Sieg oder Niederlage. Echte Stärken ändern sich nicht unbedingt so, es gibt Verletzungen, Formkurven und Sprünge. Die Aussagen gelten für diese Rechenvorschrift mit ihren Annahmen, nicht für eine bestimmte reale Rangliste.

Was Sie mitnehmen: Wenn Ihnen jemand eine laufend fortgeschriebene Bewertung zeigt, fragen Sie, wie stark ein einzelnes Ergebnis zählt und ob die Reihenfolge der Ergebnisse das Bild verändert. Ein Merkmal im eigenen Betrieb: Die Bewertung springt nach einzelnen Ereignissen stark, oder dieselbe Liste sieht je nach Stichtag anders aus.

Ein Bild aus der Logistik, nicht aus der Demo: Ein Lieferant wird nach jeder Lieferung neu bewertet. Zählt die letzte Lieferung sehr viel, schwankt die Note mit jedem Zufall, zählt sie sehr wenig, bemerkt man einen echten Abstieg zu spät.

Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.

Teil 2 · Für Fachleute

Modell und Annahmen

Dieser Teil ist eigenständig lesbar. Er fasst Modell und Methodik der Demo zusammen; die vollständige Formulierung steht im Expander „📐 Mathematische Formulierung“ der Demo.

  • Wertung: logistische Einheiten \(\theta\); 400 Punkte Unterschied sind der Faktor 10 in den Gewinnchancen, eine Einheit sind \(c = 400/\ln 10 \approx 173{,}7\) Punkte, \(k = K/c\). Gleiches \(K\) lässt die Summe der Wertungen unverändert, Anlauf-\(K\) nicht.
  • Stärken: Anfangsstärken aus dem Generator der Reihe, danach eine Irrfahrt mit Schritt \(\sigma\) je Runde. In jeder Runde spielt jeder genau einmal, zufällig gepaart. Optional kommt ein Neuling dazu, mit der Startwertung des Feldmittels und einem Abstand zur wahren Stärke.
  • Vergleich: Bradley-Terry über alle Partien (Maximum Likelihood mit Ridge, unabhängig von der Reihenfolge) und, nur als Vergleichswert, die Kalman-Verstärkung \(k^\ast\) für die Irrfahrt.
  • Maße: Verfolgungsfehler (Wurzel des mittleren quadratischen Abstands der zentrierten Wertungen von den zentrierten wahren Stärken, gemittelt ab Runde 30), Endfehler, Kendall-τ gegen die wahre Endstärke und der Log-Verlust der Vorhersage vor der Partie.
  • Zufall und Experimente: SplitMix64-Strom des gemeinsamen Generators; die Experimente laufen über 100 feste Läufe mit 8 Spielern und 150 Runden (Stärkeabstand 0,3), nie über einen einzelnen Zufalls-Seed.

Die Formeln

Mit Wertungen \(\theta_i, \theta_j\) in logistischen Einheiten ist die Gewinnerwartung von \(i\) gegen \(j\)

\[E_{ij} = \sigma(\theta_i - \theta_j)\]

Nach einer Partie mit Ergebnis \(S_i\) wird nachgezogen, und \(j\) bekommt entgegengesetzt, was \(i\) gewinnt (Summe der Wertungen erhalten):

\[\theta_i \leftarrow \theta_i + k\,(S_i - E_{ij})\]

Der Anlauf-\(K\) eines Spielers nach \(g\) eigenen Partien ist \(K_g\), mit dem Anfangswert \(K_0\) und der Halbwertszahl \(g_0 = 10\):

\[K_g = K + (K_0 - K)/(1 + g/g_0)\]

Für eine Irrfahrt \(\theta_i(t+1) = \theta_i(t) + \sigma\varepsilon\) mit Information \(I = p(1-p)\) je Partie (hier \(I \approx 0{,}20\)) ist die stationäre Verstärkung \(k^\ast = P\) mit \(q = \sigma^2\)

\[P = \frac{-qI + \sqrt{q^2 I^2 + 4 I q}}{2I}\]

und für kleines \(q\) gilt \(k^\ast \approx \sqrt{q/I}\). Elo ist dieser Filter mit fest gewähltem \(k\); der Wert ist eine Näherung, denn der Gegner ist ebenfalls unsicher. Der Verfolgungsfehler ist

\[\sqrt{\tfrac1n\sum_i\bigl((\theta_i - \bar\theta) - (s_i - \bar s)\bigr)^2}\]

mit den wahren Stärken \(s_i\). Der Schätzer über alle Partien ist Maximum Likelihood mit Ridge \(\lambda_0 = 12/(\delta^2(n^2-1))\), gelöst mit einem Newton-Verfahren mit zentriertem Schritt.

Befunde

Alle Zahlen: 100 feste Läufe, 8 Spieler, Stärkeabstand 0,3, 150 Runden, wenn nicht anders genannt. Fehler in logistischen Einheiten (1 Einheit = 173,7 Punkte). Die Zahlen gelten für diese Simulation mit ihrer Irrfahrt; reale Stärken driften nicht unbedingt so.

FrageBefund
U-Form von K (ohne Drift)Verfolgungsfehler bei K = 2 / 5 / 10 / 20 / 40 / 80 / 160: 0,540 / 0,396 / 0,276 / 0,241 / 0,319 / 0,482 / 0,763.
Bestes K nach Driftσ = 0 / 0,03 / 0,06: K = 20; σ = 0,12: K = 40 (Fehler 0,505 gegen 0,607 bei K = 20). Bei σ = 0,06 ist K = 20 (0,353) kaum besser als K = 40 (0,357).
Kalman-VerstärkungK* bei σ = 0,03 / 0,06 / 0,12 / 0,24: 11,6 / 23,0 / 45,3 / 88,3 Punkte; bestes K im Raster nach Fehler 20 / 28 / 56 / 112. Eine Verdopplung von σ verdoppelt K*, das beste K folgt, liegt aber über der Formel (vermutlich wegen Kaltstart und unsicherem Gegner, nicht getrennt gemessen).
Elo gegen Bradley-Terry über alle Partien (Endfehler)σ = 0: Elo 0,222, BT 0,148; σ = 0,03: 0,249 / 0,258 (gleich); σ = 0,06: 0,351 / 0,455; σ = 0,12 (K = 40): 0,552 / 0,924.
Pfadabhängigkeit (konstante Stärken, 16 Reihenfolgen)Streuung der Endwertung bei K = 5 / 10 / 20 / 40 / 80: 0,030 / 0,076 / 0,157 / 0,275 / 0,443. In 15 / 33 / 75 / 98 / 100 % der Läufe gibt es unter den 16 Umordnungen mindestens einen anderen Spitzenreiter (bei einer einzelnen Umordnung und K = 20: 25 %). Bradley-Terry: Streuung 0.
Neuling im Feld (Abstand 1, nach 20 eigenen Partien)Fehler bei K = 10 / 20 / 40: 0,733 / 0,531 / 0,340; K = 20 mit Anlauf 60: 0,336.
Neuling nach Abstand (K = 20 fest gegen Anlauf 60)Abstand 0: 0,201 gegen 0,318 (Anlauf schadet); 1,0: 0,531 / 0,336; 2,0: 1,250 / 0,787.

Grenzen

  • Elo verliert gegen Bradley-Terry meist, wenn die Stärken stillstehen (Fehler 0,222 gegen 0,148); das steht neben dem Gewinn bei Drift.
  • Das beste K hängt vom Horizont ab (Kaltstart), vom Stärkeabstand, von der Spielerzahl und vom Fehlermaß. Der Wechsel bei σ ≈ 0,03 gilt für 150 Runden und 8 Spieler.
  • Die Irrfahrt ist eine Annahme: Verletzungen, Formkurven und Sprünge sind anders. Kalman-K* ist ein Näherungswert für einen Einzelspieler und liegt unter dem besten K.
  • Anlauf-K hilft nur Abweichenden und bricht die Nullsumme. Elo sagt nichts über die Sicherheit der Wertung; das ist das Thema von Glicko und TrueSkill, hier nicht umgesetzt.
  • Alles simuliert: ein Generator (nur die Anfangsstärken), n ≤ 16.

Quellen

  • Elo, A. E. (1978): The Rating of Chessplayers, Past and Present. Arco Publishing, New York.
  • FIDE Handbook, B.02 FIDE Rating Regulations, gültig ab 1. März 2024, Abschnitt 8.3.3 (im Schach gebräuchlich: K = 40 für Neue bis 30 Partien, K = 20 solange die Wertung unter 2400 bleibt, K = 10 ab 2400).
  • Glickman, M. E. (1999): Parameter estimation in large dynamic paired comparison experiments. Journal of the Royal Statistical Society Series C 48 (3), 377–394 (Elo als Sonderfall eines Verfahrens, das die Unsicherheit der Schätzung mitführt).
  • Steele, G. L., Lea, D., Flood, C. H. (2014): Fast splittable pseudorandom number generators. OOPSLA 2014, 453–472.
  • Quelltext, Messreihen und Tests der Demo: github.com/sebastian-hanisch/elo-demo.

Das Buch von Elo wurde nicht eingesehen; die Angaben zu Glickman und zur FIDE stammen aus der README und dem Expander der Demo, wo sie im Volltext bzw. im Handbuch nachgeschlagen wurden.