Der Fokalpunkt verständlich erklärt
Zwei Fahrer sollen sich auf einem Hof am selben Platz treffen, ohne vorher zu sprechen. Haben sie das gemeinsam geübt, gelingt es im Beispiel dieser Seite fast sicher. Mit einem Fremden ohne gemeinsame Übung bleibt es Zufall. Die Seite erklärt, warum, und was daran etwas ändert.
Zuletzt aktualisiert:
Ein Wort unbekannt? Das Begriffsverzeichnis erklärt es in wenigen Sätzen.
Zwei Fahrer, vier Plätze, kein Funk
Auf dem Hof einer Spedition gibt es vier Abstellplätze. Ein Fahrer soll dort eine Wechselbrücke abstellen. Das ist ein Lkw-Aufbau, den man vom Fahrgestell abnehmen kann. Ein zweiter Fahrer soll sie später am selben Platz abholen. Funk haben die beiden nicht.
Wählen beide denselben Platz, sparen sie Umschlagzeit. Wählen sie verschiedene, steht die Brücke am falschen Ort, und keiner spart etwas. Zunächst ist kein Platz besser als die anderen. Es kommt nur darauf an, dass beide denselben wählen.
Wie finden sie zusammen? Durch Ausprobieren. Jeder wählt jeden Tag einen Platz. Haben sich beide getroffen, wählt jeder diesen Platz künftig etwas häufiger. Nach vielen Tagen haben sie sich eingespielt, ohne ein Wort zu wechseln. Eine solche Gewohnheit heißt Konvention.
Wir rechnen das in einem vereinfachten Rechenbild durch, kurz Modell. Darin lernen viele solche Paare unabhängig voneinander, und jeder denkt nur an die eigene Zeitersparnis.
Das eingespielte Paar trifft sich, ein Fremder nur zufällig
Ein eingespieltes Paar trifft sich im Modell fast jedes Mal: in der Messung bei über 99 von 100 Versuchen. Nun lassen wir einen Fahrer dieses Paares mit einem Fahrer eines anderen Paares antreten. Das ist der Fremde.
Der Fremde trifft nur so oft, wie man es bei blindem Raten erwartet. Bei vier Plätzen sind das etwa 25 von 100 Versuchen. Der Grund: Jedes Paar hat seinen Platz durch Zufall gefunden. Die ersten Treffer waren Glück, und jeder Treffer hat die Wahl dieses Platzes verstärkt. Ein anderes Paar ist durch andere Zufälle bei einem anderen Platz gelandet.
Denken Sie an zwei Nachbarn, die sich seit Jahren auf derselben Parkbank treffen. Ein anderes Paar trifft sich auf einer anderen Bank. Jede Gewohnheit passt zu ihrem Paar und sagt Fremden nichts.
Hilft ein auffälliger Platz?
Nun liegt ein Platz näher am Tor und spart etwas mehr Zeit. Einen solchen ausgezeichneten Platz nennt die Fachsprache Fokalpunkt. Man könnte hoffen, dass sich Fremde alle auf ihn einigen.
Im Modell passiert das nur bei einem großen Vorteil. Bei vier Plätzen treffen Fremde ohne Vorteil bei 25 von 100 Versuchen. Spart der Torplatz 10 % mehr Zeit, sind es nur etwa 26 von 100. Bei 30 % mehr sind es etwa 36, erst bei 100 % mehr etwa 75 von 100.
Eine Deutung dieser Seite: Jedes Paar rutscht durch frühe Zufallstreffer in eine Richtung und bestärkt sich dann selbst. Ein kleiner Vorteil des Torplatzes ändert diese frühe Richtung nur bei einem kleinen Teil der Paare. Erst ein großer Vorteil zieht die meisten Paare auf denselben Platz.
Was Fremde zusammenbringt
Zwei Wege wirken im Modell stärker als ein kleiner Vorteil, einer davon mit einem Preis. Ein dritter Weg sieht klug aus und hilft nicht.
- Gemeinsame Vorgeschichte. Ein Probepaar übt eine Weile. Alle Paare einer Gruppe starten mit dessen Gewohnheit und üben dann mit dem eigenen Partner weiter. Fremde aus derselben Gruppe treffen sich dann öfter, und zwar umso öfter, je länger das Probepaar geübt hat. Bei vier Plätzen und langer Übung sind es über 99 von 100 Versuchen. Fremde aus verschiedenen Gruppen treffen sich weiter nur zufällig.
- Training gegen vertauschte Plätze, richtig gewählt (Fachname: Other-Play). Jeder Fahrer übt gegen Partner, bei denen die Namen der Plätze jeden Tag zufällig vertauscht sind. Dann kann sich keiner auf einen Platz verlassen, dessen Name vertauscht wird. Bleibt der Torplatz an seinem Ort und werden nur die übrigen Plätze getauscht, ist er der einzige verlässliche Platz. Er wird zum gemeinsamen Anker. Das gilt selbst ohne Zeitvorteil: Der Torplatz ist dann nicht besser, nur fest. Fremde treffen sich bei vier Plätzen dann bei 30 statt 25 von 100 Versuchen, ein kleiner Gewinn. Der Preis: Das eigene Paar trifft sich nur noch bei 64 statt über 99 von 100. Vermutlich kann es sich auf die ständig vertauschten übrigen Plätze nicht mehr festlegen.
- Training gegen vertauschte Plätze, falsch gewählt. Werden alle Plätze vertauscht, auch der Torplatz, lernt keiner mehr etwas aus dem Verhalten des Partners. Der Torplatz lockt zwar einen der beiden Fahrer, aber das Treffen lernt niemand. Dann treffen sich bei vier Plätzen sowohl Fremde als auch das eigene Paar nur bei etwa 25 von 100. In der Messung gilt das bei jedem getesteten Vorteil des Torplatzes.
Häufige Missverständnisse
- „Die Vorgeschichte muss fertig sein, damit sie hilft.“ Nein. Auch ein Probepaar, das selbst noch nicht sicher trifft, kann seine Gruppe bei vier Plätzen auf über 99 von 100 bringen. Alle übernehmen dieselbe Neigung als Startpunkt, und sie zeigt schon in eine Richtung.
- „Ein auffälliger Platz ist einer, den alle von selbst erkennen.“ Nicht im Modell. Dort ist er nur ein Zeitvorteil. Sprache, Kultur oder Gewohnheit kommen nicht vor.
- „Ein Versuch mit wenigen Paaren zeigt, was ein Vorteil bringt.“ Nein. Eine Stichprobe ist hier eine kleine Gruppe beobachteter Paare, und ihr Ergebnis schwankt stark. Im Beispiel von zwei Plätzen und 20 % mehr Zeitersparnis auf dem Torplatz lag das Mittel von 100 Stichproben bei 58 von 100. Jede bestand aus 20 Paaren. Nur eine einzige erreichte 81 oder mehr. Wer nur diese eine sieht, hält den Effekt für viel größer. Auch eine Münze, die man nur zehn Mal wirft, kann klar zu einer Seite neigen, obwohl sie fair ist.
Woran Sie das im Alltag erkennen
Das Modell passt am ehesten, wenn Sie Folgendes sehen:
- Zwei Leute müssen am selben Ort ankommen, ohne sich abzusprechen. Es gibt mehrere gleich gute Orte, etwa mehrere Eingänge zu einem Gebäude.
- Eine Gewohnheit klappt nur zwischen zwei bestimmten Leuten, etwa ein eigenes Ablagesystem oder ein fester Treffpunkt, und scheitert mit Dritten.
- Leute mit derselben Einarbeitung verstehen sich ohne Absprache besser als Leute aus verschiedenen Gruppen.
Wie ernst ist das Modell zu nehmen?
Im Modell lernen die Fahrer nach einer einfachen Regel und denken nur an ihre Zeitersparnis. Der auffällige Platz ist nur ein Zeitvorteil. Über echte Fahrer oder Menschen sagt das Modell nichts, und eine andere Lernregel kann andere Zahlen geben.
Was Sie mitnehmen
- Prüfen Sie bei jeder eingespielten Gewohnheit, ob sie nur für dieses Paar gilt oder auch für Dritte.
- Fragen Sie, ob ein vermeintlich offensichtlicher Vorteil groß genug ist, um alle in dieselbe Richtung zu ziehen.
- Wollen Sie, dass sich Fremde finden, geben Sie ihnen vorher etwas Gemeinsames, auch wenn es noch unfertig ist.
Zu dieser Seite gehört ein Programm zum Ausprobieren im Browser, die Demo. Dort stellen Sie Platzzahl, Vorteil und Vorgeschichte ein und sehen, wie oft sich Partner und Fremde treffen. Zum Verstehen brauchen Sie sie nicht. Der erste Knopf unten öffnet sie, der zweite führt zum zweiten Teil für Fachleute.
Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.
Modell und Annahmen
Zwei Fahrer eines Paares (A und B) wählen gleichzeitig und ohne Kommunikation einen von \(m\) Plätzen für die Übergabe einer Wechselbrücke. Die Belohnung beider ist \(r = 1\) bei gleichem Platz, \(r = 1 + \delta\) bei gleichem Platz 1 (Bonus \(\delta \ge 0\); Platz 1 liegt nahe am Tor) und \(r = 0\) sonst. Jede gemeinsame Wahl desselben Platzes ist ein Nash-Gleichgewicht; bei \(\delta = 0\) zeichnet nichts im Spiel einen Platz aus. „Fokalpunkt“ heißt hier nur der Platz mit Bonus, ohne Kultur, Sprache oder Gewohnheit.
- Lernen: Fahrer \(k\) (A oder B eines Paares) hat Parameter \(\theta_k \in \mathbb{R}^m\) und wählt Platz \(a\) mit der Wahrscheinlichkeit \(p_k(a)\) = softmax\((\theta_k)_a\). Nach jeder Runde sieht er nur seinen Platz und seine Belohnung und verschiebt \(\theta_k\) nach der REINFORCE-Regel ohne Basis (Williams 1992). Voreinstellung: Lernrate \(\eta = 0{,}1\), Anfangsparameter normalverteilt mit Streuung \(\sigma_0 = 0{,}1\), 6 000 Schritte (Runden), 300 Paare, die unabhängig voneinander lernen.
- Messgrößen: Das Eigenspiel ist die Wahrscheinlichkeit, dass die beiden Fahrer desselben Paares denselben Platz wählen, gemittelt über die Paare. Das Fremdspiel ist dieselbe Wahrscheinlichkeit für Fahrer A eines Paares \(i\) gegen Fahrer B eines anderen Paares \(j \ne i\), gemittelt über alle solchen Kombinationen. Beide werden exakt aus den gelernten Wahrscheinlichkeiten berechnet (Summe über die Plätze), nicht aus Ziehungen. Bei nur einem Paar ist das Fremdspiel nicht definiert. Das Fremdspiel entspricht dem, was die Literatur Cross-Play nennt. Nicht verwechseln: Das Eigenspiel ist eine Messgröße, das Selbstspiel (Self-Play) ein Trainingsmodus ohne Umbenennung (siehe Other-Play).
- Konvention und Zufallsgrenze: Die Konvention \(c_i\) eines Paares \(i\) ist der Platz mit der größten Summe \(p^A_i + p^B_i\) der beiden Wahrscheinlichkeitsvektoren (bei Gleichstand der kleinste Platz). Sind beide Fahrer eines Paares auf einen Platz festgelegt (reine Politiken), folgt das Fremdspiel allein aus der Zahl \(n_a\) der Paare mit Konvention \(a\). Sind die Konventionen gleichverteilt, liegt das Fremdspiel bei \(1/m\), mit einer Streuung, die die Zufallsgrenze beschreibt.
- Halbweg-Bonus: der Bonus, bei dem der Anteil der Paare mit Konvention auf Platz 1 die Mitte zwischen \(1/m\) und 1 erreicht; zwischen den Gitterpunkten des Bonus log-interpoliert, daher nur auf etwa ±0,03 genau.
- Erwartungsfluss: Statt des gezogenen Updates wird sein Erwartungswert angewandt. Das Verfahren ist deterministisch und hängt nur vom Start ab; es dient als Vergleich zum Lauf mit Ziehungen.
- Gemeinsame Vorgeschichte: Eine Referenz-Paarung lernt \(T_0\) Schritte. Alle Paare ihrer Gruppe starten von deren Parametern und lernen danach mit dem eigenen Partner weiter, zusätzlich zu \(T_0\) mit der Voreinstellung von 6 000 Schritten. In der Messreihe bedeutet \(T_0 = 0\) gleicher Zufallsstart der Gruppe; in der Seitenleiste der Demo bedeutet \(T_0 = 0\) dagegen keine Gruppen und unabhängigen Start. Gemeinschaften: \(G\) Fahrer lernen zusammen, in jeder Runde bilden sie zufällig Paare. Das Fremdspiel einer Gemeinschaft ist das Mittel der Treffwahrscheinlichkeit \(\sum_a p_i(a)\,p_j(a)\) über alle geordneten Paare verschiedener Fahrer \(i \ne j\) derselben Gemeinschaft.
- Other-Play: Der Platzname von B wird in jeder Runde durch eine zufällige Umbenennung \(\varphi\) der Plätze aus einer Gruppe übersetzt; Treffer bei \(a_A = \varphi(a_B)\). Getestet wird ohne Umbenennung. Gruppe „alle Plätze“: alle \(m!\) Umbenennungen. Gruppe „Platz 1 fest“: die \((m-1)!\) Umbenennungen, die Platz 1 stehen lassen (bei \(m = 2\) nur die Identität). Zum Vergleich dient das Selbstspiel: Die Paare lernen gegeneinander ohne Umbenennung.
- Messdesign: Die Zellen der Hauptreihen sind Mittel über vier unabhängige Blöcke zu je 500 Paaren; ± ist der Standardfehler der vier Blöcke. Die Vorgeschichte-Reihen nutzen je Block 40 Referenzen mit je 25 Paaren, die Gemeinschaften je Block 200 Gemeinschaften; die kleinen Stichproben sind je ein Lauf mit 100 Stichproben. Die Hauptreihe läuft über die Plätze \(m = 2, 4, 8, 16\) und neun Boni (0; 0,001; 0,003; 0,01; 0,03; 0,1; 0,3; 1; 3); benachbarte Gitterpunkte liegen um etwa den Faktor 3 auseinander. Daraus folgen die Zellzahlen der Befunde: 36 = 4 Platzzahlen mal 9 Boni; 20 = 4 Platzzahlen mal die 5 Boni von 0 bis 0,03; 54 = 6 abweichende Lernverfahren-Einstellungen mal 9 Boni; 15 = 3 Platzzahlen (2, 4, 8) mal 5 Boni (0,01 bis 1) beim Vergleich von Fluss und Lauf. Die Other-Play-Reihe verwendet je Modus \(m = 2, 4, 8, 16\) und sieben Boni (ohne 0,001 und 3): 28 = 4 Platzzahlen mal 7 Boni. Der Vergleich von „Platz 1 fest“ mit dem Selbstspiel zählt \(m = 4, 8, 16\): 21 = 3 mal 7.
- Die Demo: Die Hauptansicht zeigt Eigenspiel, Fremdspiel, den Zufallswert \(1/m\) und den Anteil der Paare mit Konvention auf Platz 1; die Regler der Seitenleiste stellen Platzzahl, Bonus, Modus (Selbstspiel oder Other-Play), Lernrate, Anfangsstreuung, Schritte, Paarzahl, \(T_0\) und den Zufallsstrom ein. Fünf Experimente folgen: Eigenspiel gegen Fremdspiel, Größe des nötigen Bonus, Erwartungsfluss gegen Lauf, gemeinsame Vorgeschichte, Other-Play. Die Messreihen der Befunde sind vorgerechnet; die Live-Läufe rechnen mit den Reglern, ein Block mit höchstens 500 Paaren.
Die Formeln
Politik und Belohnung eines Fahrers, mit der Treffer-Belohnung \(w(a)\) (\(w(1) = 1 + \delta\), sonst 1) und der Indikatorklammer \([\,\cdot\,]\) (1, wenn die Aussage gilt, sonst 0):
\[p_k(a) = \frac{e^{\theta_k(a)}}{\sum_{a'} e^{\theta_k(a')}}, \qquad r = w(a)\cdot [\,a_A = a_B\,]\]
Lernregel (REINFORCE ohne Basis; \(e_a\) der Einheitsvektor des gewählten Platzes):
\[\theta_k \leftarrow \theta_k + \eta\, r\,(e_a - p_k)\]
Trefferwahrscheinlichkeit zweier unabhängiger Wahlen aus den Wahrscheinlichkeitsvektoren \(p\) und \(q\), die einzige Formel hinter Eigen- und Fremdspiel:
\[\Pr(\text{Treffer}) = \sum_{a=1}^{m} p(a)\, q(a)\]
Eigenspiel und Fremdspiel bei \(P\) Paaren, mit den Vektoren \(p^A_i, p^B_i\) von A und B des Paares \(i\):
\[\text{Eigen} = \frac{1}{P} \sum_{i=1}^{P} \sum_a p^A_i(a)\, p^B_i(a)\]
\[\text{Fremd} = \frac{1}{P(P-1)} \sum_{i \ne j} \sum_a p^A_i(a)\, p^B_j(a)\]
Fremdspiel aus der Verteilung der Konventionen. Sind die Vektoren rein (\(p^A_i = p^B_i = e_{c_i}\)), trifft Paar \(i\) Paar \(j\) genau dann, wenn \(c_i = c_j\). Mit \(n_a\) Paaren auf Platz \(a\) und dem Anteil \(\pi_a = n_a/P\):
\[\text{Fremd} = \frac{\sum_a n_a (n_a - 1)}{P(P-1)} \;\approx\; \sum_a \pi_a^2\]
Zufallsgrenze. Sind die Konventionen gleichverteilt über die \(m\) Plätze, so ist \(\text{Fremd} - 1/m = (X - (m-1)) / (m(P-1))\) mit \(X \approx \chi^2_{m-1}\) (asymptotisch), also die Standardabweichung
\[\mathrm{sd} = \frac{\sqrt{2(m-1)}}{m\,(P-1)}\]
Erwartungswert des Updates von Fahrer A (\(J\) die erwartete Belohnung, \(\odot\) das elementweise Produkt, \(p_A\) und \(p_B\) die Wahrscheinlichkeitsvektoren von A und B); der Erwartungsfluss wendet ihn statt des gezogenen Updates an:
\[J = \sum_a p_A(a)\, p_B(a)\, w(a)\]
\[\frac{E[\Delta\theta_A]}{\eta} = p_A \odot \bigl(p_B \odot w - J\bigr)\]
Halbweg-Bonus \(\delta^{1/2}\) mit dem Anteil \(\pi_1\) der Paare auf Platz 1:
\[\pi_1(\delta^{1/2}) = \frac{1/m + 1}{2}\]
Other-Play. Erwartete Belohnung von A bei den Wahrscheinlichkeitsvektoren \(p\) (A) und \(q\) (B) mit den Platz-1-Wahrscheinlichkeiten \(p_1\) und \(q_1\): für die Gruppe „alle Plätze“
\[J_{\text{alle}} = \frac{1}{m}\,\bigl(1 + \delta\, p_1\bigr)\]
und für die Gruppe „Platz 1 fest“:
\[J_{\text{fest}} = (1+\delta)\, p_1 q_1 + \frac{(1 - p_1)(1 - q_1)}{m - 1}\]
Herleitung Schritt für Schritt
Die folgenden Schritte sind Rechnung dieser Seite, keine Messung der Demo.
- Schritt 1, Erwartungswert des Updates: Fahrer A wählt \(a\) mit \(p_A(a)\), B wählt dasselbe mit \(p_B(a)\); nur dann ist \(r = w(a)\). Also ist \(E[\Delta\theta_A]/\eta = \sum_a p_A(a)\,p_B(a)\,w(a)\,(e_a - p_A)\). Der Term mit \(e_a\) gibt den Vektor \(p_A \odot p_B \odot w\), der Term mit \(p_A\) gibt \(J\,p_A\). Zusammen ist das \(p_A \odot (p_B \odot w - J)\), die Formel oben.
- Schritt 2, Ruhepunkte und Anstoß des Bonus: Sind beide Vektoren reine Wahl desselben Platzes \(a\), verschwindet der Ausdruck: \(J = w(a)\), und \(p_A\) ist außerhalb von \(a\) null. Jede gemeinsame reine Wahl ist also ein Ruhepunkt, wie es zu den Nash-Gleichgewichten passt. Auch die Gleichverteilung \(p_A = p_B = (1/m, \dots, 1/m)\) ist bei \(\delta = 0\) ein Ruhepunkt. Bei \(\delta > 0\) ist es dort \(J = 1/m + \delta/m^2\), und die Komponente für Platz 1 wird positiv, alle anderen negativ: Der Fluss zeigt zum Platz 1 und ist proportional zu \(\delta\). Die Stabilität der Ruhepunkte ist hier nicht untersucht. Dass die gemessenen Läufe die Gleichverteilung verlassen und sich festlegen, spricht dafür, dass sie nicht anziehend ist; bewiesen ist das hier nicht.
- Schritt 3, Fremdspiel aus den Konventionen: Bei reinen Vektoren ist \(p^A_i(a)\,p^B_j(a) = 1\) genau für \(a = c_i = c_j\). Unter den \(P(P-1)\) geordneten Paaren \((i, j)\) mit \(i \ne j\) haben \(\sum_a n_a(n_a - 1)\) dieselbe Konvention. Das ist die Formel oben.
- Schritt 4, Other-Play mit allen Plätzen: \(\varphi\) ist gleichverteilt über alle Umbenennungen, also trifft ein beliebiger Platz \(b\) von B mit Wahrscheinlichkeit \(1/m\) den Platz \(a\) von A. Dann ist \(J_{\text{alle}} = \sum_{a,b} p(a)\,q(b)\,w(a)/m = \frac{1}{m}\sum_a p(a)\,w(a) = \frac{1}{m}(1 + \delta p_1)\). Der Ausdruck enthält \(q\) nicht: Was B tut, ändert die Belohnung von A nicht, A kann also vom Partner nichts lernen. Für B gilt dasselbe in der Rolle des Übersetzten: Seine Belohnung \(r = w(a_A)\,[a_A = \varphi(a_B)]\) hat für jeden eigenen Platz \(b\) dieselbe erwartete Höhe \(\frac{1}{m}\sum_a p_A(a)\,w(a)\), sein erwartetes Update \(\sum_b p_B(b)\,h\,(e_b - p_B) = 0\) verschwindet also (\(h\) bezeichnet diese Höhe). B driftet im Erwartungswert nicht; A läuft dagegen wegen des Faktors \(w(a)\) für \(\delta > 0\) zu Platz 1. In der Demo lernen beide Fahrer mit derselben Belohnung und ihrem eigenen, nicht umbenannten Platz.
- Schritt 5, Other-Play mit Platz 1 fest: Wählt B den Platz 1 (Wahrscheinlichkeit \(q_1\)), bleibt er nach der Umbenennung Platz 1, und A trifft ihn mit der Belohnung \(1 + \delta\), also \((1+\delta)\,p_1 q_1\). Wählt B einen anderen Platz (\(1 - q_1\)), ist \(\varphi(b)\) gleichverteilt über die \(m-1\) anderen Plätze, und A trifft nur, wenn er keinen Platz 1 wählt (\(1 - p_1\)) und \(\varphi(b)\) erwischt, also mit \((1 - p_1)(1 - q_1)/(m-1)\). Das ist \(J_{\text{fest}}\).
- Schritt 6, was daraus folgt: In \(J_{\text{fest}}\) hängt der zweite Summand nicht davon ab, welchen der Plätze 2 bis \(m\) B bevorzugt. Bei \(\delta = 0\) ist die Ableitung von \(J_{\text{fest}}\) nach \(p_1\) gleich \((m\,q_1 - 1)/(m-1)\): Platz 1 lohnt im Erwartungswert nur, wenn der Partner ihn häufiger als mit \(1/m\) wählt, sonst lohnt es, ihn zu meiden. Unter den übrigen Plätzen ist das Training gleichgültig. Ein Paar kann sich also auch von Platz 1 wegentwickeln und bleibt dann unter den übrigen Plätzen schwer koordinierbar. Das passt zu einem Eigenspiel unter 1, doch ob dies die ganze Ursache ist, wurde nicht getestet (Deutung dieser Seite).
Durchgerechnete Beispiele
Die Beispiele sind Handrechnungen mit kleinen Instanzen. Lernschritt, fünf Paare und Halbweg-Bonus sind zugleich Prüfinstanzen der Demo; die Zufallsgrenze ist Rechnung dieser Seite.
- Ein Lernschritt: \(m = 2\), \(\theta = (0, 0)\), also \(p = (0{,}5;\ 0{,}5)\), Treffer auf Platz 1 mit \(\delta = 0{,}2\) und \(\eta = 0{,}1\). Dann ist \(\Delta\theta = \eta\,(1+\delta)\,(e_1 - p) = (0{,}06;\ -0{,}06)\).
- Fremdspiel aus fünf reinen Paaren: Drei Paare haben Konvention auf Platz 1, zwei auf Platz 2 (\(m = 2\)). Dann ist \(\text{Fremd} = (3 \cdot 2 + 2 \cdot 1)/(5 \cdot 4) = 8/20 = 0{,}4\). Gegenprobe: Von den 20 geordneten Paaren \((i, j)\) haben \(6 + 2 = 8\) dieselbe Konvention. Nur die Aufteilung 3 und 2 liefert diese Summe.
- Zufallsgrenze: Bei \(m = 4\) und \(P = 300\) Paaren ist \(\mathrm{sd} = \sqrt{2 \cdot 3}/(4\,(300 - 1)) \approx 0{,}0020\). Die Demo nennt ein Fremdspiel erst „über dem Zufall“, wenn es mehr als vier solche Standardabweichungen über \(1/m\) liegt.
- Halbweg-Bonus: Für \(m = 2\) liegt die Mitte zwischen \(1/m\) und 1 bei 0,75. Zur Übung sei ein Gitter nur aus den Boni 0, 0,1 und 1 mit den Anteilen 0,5, 0,6 und 0,9 gegeben (nicht das Gitter der Messreihen, dessen Punkte um etwa den Faktor 3 auseinanderliegen). Zwischen 0,1 und 1 ist \(t = (0{,}75 - 0{,}6)/(0{,}9 - 0{,}6) = 0{,}5\), und der log-interpolierte Bonus ist \(0{,}1 \cdot 10^{0{,}5} \approx 0{,}316\).
Befunde
Alle Zahlen stammen aus Simulationen des Lernmodells mit der Voreinstellung (\(\eta = 0{,}1\), \(\sigma_0 = 0{,}1\), 6 000 Schritte) und gelten dafür, wo nichts anderes steht. Die Zellen der Hauptreihen sind Mittel über vier Blöcke zu je 500 Paaren (Vorgeschichte, Gemeinschaften und kleine Stichproben: siehe Messdesign); das Fremdspiel ist exakt aus den gelernten Wahrscheinlichkeiten berechnet.
Ohne Bonus: Das Fremdspiel liegt am Zufallswert \(1/m\). Über die ganze Hauptreihe, mit und ohne Bonus, ist das Eigenspiel in allen 36 Zellen (4 Platzzahlen mal 9 Boni) mindestens 0,99, der kleinste Wert ist 0,995. Das gemessene Fremdspiel weicht in diesen 36 Zellen höchstens um 0,0008 von der Formel aus der Verteilung der Konventionen ab.
| Zahl der Plätze \(m\) | Zufallswert \(1/m\) | Fremdspiel bei \(\delta = 0\) |
|---|---|---|
| 2 | 0,5 | 0,501 |
| 4 | 0,25 | 0,250 |
| 8 | 0,125 | 0,125 |
| 16 | 0,0625 | 0,063 |
Wirkung des Bonus. Bei \(m = 4\) liegt der Anteil der Paare mit Konvention auf Platz 1 bei \(\delta = 0{,}1\) bei 0,345. Für \(\delta \le 0{,}03\) liegt das Fremdspiel in allen 20 Zellen (4 Platzzahlen, 5 Boni) höchstens 0,0021 über \(1/m\). Mehr als 0,01 darüber liegt es erst ab \(\delta = 0{,}1\) (\(m = 2\) und 4) beziehungsweise \(\delta = 0{,}3\) (\(m = 8\) und 16). Der Anteil auf Platz 1 steigt im Gitter bis auf Rauschen (Rückgänge zwischen benachbarten Boni bis etwa 0,02) monoton, ohne sprunghaften Anstieg; eine Schwelle, die feiner als das Gitter ist, ist nicht ausgeschlossen. Der Halbweg-Bonus liegt für \(m = 2, 4, 8, 16\) bei 0,25, 0,41, 0,55 und 0,73 (absolut auf etwa ±0,03 genau, wegen der Interpolation zwischen Gitterpunkten).
| Platzzahl und Bonus | Fremdspiel |
|---|---|
| \(m = 2\), \(\delta = 0{,}1\) | 0,529 |
| \(m = 2\), \(\delta = 0{,}3\) | 0,650 |
| \(m = 4\), \(\delta = 0{,}1\) | 0,262 |
| \(m = 4\), \(\delta = 1\) | 0,750 |
Der Halbweg-Bonus hängt am Lernverfahren, nicht an der Schrittzahl (\(m = 4\); das Eigenspiel liegt in allen 54 Zellen dieser Reihe über 0,98, der kleinste Wert ist 0,989). Zwischen den drei Werten der Lernrate liegt ein Faktor 10, im Halbweg-Bonus ein Faktor 5,5; eine Gesetzmäßigkeit (etwa ein Potenzgesetz) ist daraus nicht abgeleitet.
| Regler | Werte | Halbweg-Bonus |
|---|---|---|
| Lernrate \(\eta\) | 0,03 / 0,1 / 0,3 | 0,21 / 0,41 / 1,14 |
| Anfangsstreuung \(\sigma_0\) | 0 / 0,1 / 0,5 | 0,37 / 0,41 / 0,98 |
| Schritte | 2 000 / 6 000 / 20 000 | 0,43 / 0,41 / 0,41 |
Erwartungsfluss gegen Lauf. Ohne Bonus gewinnt im Erwartungsfluss der anfangs am stärksten bevorzugte Platz (Start-Favorit) bei 1,000, 0,976 und 0,970 der Paare (\(m = 2, 4, 8\)); der Lauf mit Ziehungen folgt ihm nur bei 0,604, 0,385 und 0,256. Mit Bonus überschätzt der Fluss die Wirkung des Bonus im Vergleich zum Lauf: In allen Zellen mit \(\delta \ge 0{,}03\) sieht er mehr als vier Standardfehler mehr Paare auf Platz 1 als der Lauf (insgesamt in 12 bis 13 von 15 Zellen: \(m = 2, 4, 8\), fünf Boni von 0,01 bis 1). Die Ausnahmen liegen bei \(\delta = 0{,}01\) (zwei bis drei Zellen); die Zahl hängt vom Zufallsstrom der Simulation ab. Eine Deutung dieser Seite (nicht getestet): Der Fluss kennt kein Zufallsrauschen, im Lauf mit Ziehungen legen die Zufallstreffer der ersten Runden mit fest, welche Konvention entsteht. Der größte Abstand: \(m = 8\), \(\delta = 0{,}3\), Fluss 0,936, Lauf 0,360.
Gemeinsame Vorgeschichte (\(m = 4\), ohne Bonus). Fremdspiel innerhalb der Gruppe in Abhängigkeit von der Zahl \(T_0\) der Schritte der Referenz; zwischen verschiedenen Gruppen bleibt es bei etwa \(1/m\) (0,240 bis 0,257). Die Referenz muss nicht fertig sein: Bei \(T_0 = 400\) hat sie selbst ein Eigenspiel von 0,829, die Gruppe trifft sich zu 0,994. Auch \(T_0 = 0\) (gleicher Zufallsstart) hebt das Fremdspiel in der Gruppe leicht (\(m = 2, 4, 8\): 0,536, 0,286 und 0,151 gegen 0,501, 0,249 und 0,125 zwischen den Gruppen). Das Fremdspiel innerhalb der Gruppe erreicht erstmals 0,9 bei \(T_0 = 100\), 400 und 1 000 für \(m = 2, 4, 8\): mehr Plätze brauchen eine längere Vorgeschichte.
| \(T_0\) | 0 | 25 | 50 | 100 | 200 | 400 | 1 000 |
|---|---|---|---|---|---|---|---|
| Fremdspiel in der Gruppe | 0,286 | 0,431 | 0,494 | 0,712 | 0,876 | 0,994 | 0,998 |
Gemeinschaften (\(m = 4\)): \(G\) Fahrer lernen zusammen. Das Fremdspiel innerhalb der Gemeinschaft liegt nach 500 Runden bei \(G = 2, 4, 8, 16, 32\) bei 0,913, 0,867, 0,800, 0,705 und 0,595 und nach 2 000 Runden bei mindestens 0,989; zwischen verschiedenen Gemeinschaften bleibt es bei 0,25 ± 0,003.
Other-Play. Mit der Gruppe „Platz 1 fest“ gegenüber dem Selbstspiel (\(m = 4, 8, 16\)); die Gruppe senkt für \(m \ge 4\) den nötigen Bonus und kostet Eigenspiel. Das Fremdspiel ist mit „Platz 1 fest“ in allen 21 Zellen (3 Platzzahlen, 7 Boni) höher als im Selbstspiel; die Tabelle nennt die Werte bei \(\delta = 0{,}3\). Der Preis: Das Eigenspiel bei \(\delta = 0\) beträgt 0,639, 0,475 und 0,346, bei \(\delta = 1\) noch 0,973, 0,964 und 0,940 (das Selbstspiel liegt in allen 28 Zellen über 0,99). Die Gruppe setzt selbst einen Fokalpunkt: Schon ohne Bonus ist das Fremdspiel 0,302, 0,209 und 0,138 gegen 0,251, 0,126 und 0,062 im Selbstspiel.
| Größe (\(m = 4, 8, 16\)) | Selbstspiel | Platz 1 fest |
|---|---|---|
| Halbweg-Bonus | 0,40 / 0,53 / 0,75 | 0,15 / 0,12 / 0,14 |
| Fremdspiel bei \(\delta = 0{,}3\) | 0,368 / 0,202 / 0,100 | 0,578 / 0,550 / 0,475 |
Mit der falschen Gruppe „alle Plätze“ bringt Other-Play keine Koordination über den Zufall hinaus: Eigen- und Fremdspiel liegen in 28 von 28 Zellen höchstens etwa 0,02 neben \(1/m\), obwohl bei \(\delta = 0{,}3\) und \(m = 4\) beziehungsweise 8 die Konvention bei 0,955 beziehungsweise 0,864 der Paare auf Platz 1 liegt (Eigenspiel 0,251 und 0,127). Das ist kein Widerspruch, wie Schritt 4 zeigt (Rechnung dieser Seite, nicht gesondert getestet): Fahrer B erhält im Erwartungswert keinen Lernanstoß und bleibt bei seinem zufälligen Startvektor, der bei der Voreinstellung nahe der Gleichverteilung liegt. Fahrer A wird dagegen zu Platz 1 gezogen. Die Konvention (Platz mit der größten Summe beider Wahrscheinlichkeitsvektoren) liegt deshalb bei den meisten Paaren auf Platz 1, obwohl das Eigenspiel, die Summe der Produkte beider Vektoren, bei etwa \(1/m\) bleibt, weil B nicht mitgeht. Bei \(m = 2\) unterscheidet sich „Platz 1 fest“ vom Selbstspiel um höchstens 0,014 (7 von 7 Zellen): Es gibt nichts zu vertauschen.
Kleine Stichproben. Bei \(m = 2\) und \(\delta = 0{,}2\) ergaben 100 Stichproben aus je 20 Paaren (6 000 Schritte) ein Fremdspiel mit Mittel 0,576 und Streuung 0,095 (5. bis 95. Perzentil 0,479 bis 0,731, größter Wert 0,899); nur 1 von 100 erreichte 0,81 oder mehr. 100 Stichproben aus je 40 Paaren mit 20 000 Schritten gaben das Mittel 0,577. Das Mittel liegt zwischen den Gitterwerten bei \(\delta = 0{,}1\) (0,529) und 0,3 (0,650). Wenige Paare können also einen Bonus-Effekt vortäuschen.
Grenzen: was die Messung zeigt und was nicht
- Modell, keine Messung an Fahrern: Gemessen ist Softmax-REINFORCE ohne Basis mit einem Parametersatz je Fahrer und der Zeitersparnis als Belohnung (1, auf Platz 1 gleich 1 + \(\delta\), nur eine Zahl), mit der genannten Voreinstellung. Über Menschen, Sprachmodelle oder echte Übergabeplätze sagt das nichts. Die Lage der Bonus-Kurve hängt an Lernrate und Anfangsstreuung; andere Lernregeln (mit Basislinie, Q-Lernen, beste Antwort) sind nicht gemessen und können andere Zahlen geben.
- Der Fokalpunkt ist eine Zahl: ein Bonus auf Platz 1, ohne Kultur, Sprache oder Gewohnheit. Ein Fokalpunkt im Sinne Schellings, eine Auffälligkeit ohne Auszahlungsvorteil, ist nicht modelliert; hier ändert der Platz die Auszahlung. Reden vor dem Spiel ist nicht modelliert; die gemeinsame Vorgeschichte ist ein gemeinsamer Anfangszustand der Lernenden, kein Signal.
- Other-Play nur im Lehrbuchfall: Training gegen umbenannte Partner im Zuordnungsspiel. Das ist kein Nachbau von Hanabi oder Overcooked und sagt nichts über deren Ergebnisse. Other-Play findet nur, was in den Symmetrien des Spiels steckt: Die Gruppe muss zum Spiel passen, und „Platz 1 fest“ ist selbst ein Fokalpunkt.
- Gitter und Stichproben: Das Bonus-Gitter ist grob (Faktor etwa 3). Zellen der Hauptreihen sind Mittel über vier Blöcke; ein einzelner Lauf mit höchstens 500 Paaren streut stark, besonders das Fremdspiel zwischen Gruppen bei wenigen Referenzen. Der Anteil auf Platz 1 schwankt von Zelle zu Zelle um bis zu etwa 0,05; Aussagen über Rangfolgen stützen sich auf Zählungen über das Raster.
- Zufallsgrenze: Die Standardabweichung folgt aus einer asymptotischen \(\chi^2\)-Näherung; Aussagen „über dem Zufall“ meinen mehr als vier Standardabweichungen über \(1/m\).
- Offen: Für die Lernrate sind nur drei Werte gemessen, eine Gesetzmäßigkeit ist nicht behauptet. Netze mit lokaler Interaktion sind nicht Teil dieses Modells. Die Herleitungen dieser Seite und der Demo sind eigene Rechnung, durch Handrechnung, zweite Rechenwege und Simulation gestützt, nicht gegen Literatur geprüft; die Erklärung zum Eigenspiel bei „Platz 1 fest“ (Schritt 6) ist nicht getestet.
Erweiterungen und Verweise
Verwandte Demos (Angaben nach deren Beschreibung), jeweils mit anderem Vehikel:
- Gleichgewichte: Die koordinationsspiel-demo zeigt am Beispiel der Bündelung am Hub die Gleichgewichte eines Koordinationsspiels und ihre Einzugsbereiche.
- Auswahl und Dauer: Die gleichgewichtsauswahl-demo rechnet, welche Konvention eine Gruppe mit Fehlern auf Dauer wählt; die konventionswechsel-demo rechnet, wie lange ein Wechsel dauert.
- Lernregel: Die policy-gradient-demo erklärt REINFORCE an einem Lagerroboter; hier dient die Regel nur als Vehikel.
Quellen
- Williams, R. J. (1992): Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning 8, 229–256.
- Hu, H., Lerer, A., Peysakhovich, A., & Foerster, J. (2020): „Other-Play“ for Zero-Shot Coordination. ICML 2020, arXiv 2003.02979. Laut Abstract kann Selbstspiel zu stark spezialisierten Konventionen führen, die mit unbekannten Partnern scheitern; Other-Play nutzt bekannte Symmetrien des Problems; geprüft wurde es am Kartenspiel Hanabi. Die Demo baut den Mechanismus im Lehrbuchfall nach und beansprucht keine Übereinstimmung mit der Arbeit.
- Gessler u. a. (2025): OvercookedV2. ICLR 2025, arXiv 2503.17821. Laut Abstract lässt sich das Zero-Shot-Versagen in Overcooked größtenteils auf schlechte Zustandsabdeckung im Selbstspiel zurückführen. In der Richtung vereinbar mit dem Befund zur gemeinsamen Vorgeschichte; kein Nachbau.
- Aharon, La Malfa, Wooldridge, & Kraus: Tacit Coordination of Large Language Models, arXiv 2601.22184. Laut Abstract koordinieren über 20 Modelle ohne Kommunikation oft so gut wie oder besser als Menschen, scheitern aber an Aufgaben mit zahlenbezogenem Alltagswissen oder kulturell geprägter Auffälligkeit. Gegenstück zur Modellannahme dieser Seite, in der der auffällige Platz nur ein Bonus ist.
- Schelling, T. C. (1960): The Strategy of Conflict; Mehta, J., Starmer, C., & Sugden, R. (1994): The nature of salience. American Economic Review 84. Hier dient der Begriff Fokalpunkt nur als Name für einen ausgezeichneten Platz.
- Quelltext, Messreihen und Tests der Demo: github.com/sebastian-hanisch/fokalpunkt-demo.
Die drei neueren Arbeiten kennt die Demo nur aus ihren Abstracts (Suchtreffer), nicht aus dem Volltext. Aus Schelling und aus Mehta, Starmer, Sugden wurde nichts verwendet. Titel, Zeitschrift, Band und Seiten bei Williams sowie die Angaben zu diesen beiden Quellen stehen aus dem Gedächtnis hier, nicht nachgeschlagen; ebenso der Begriff Cross-Play.