Der Goodhart-Effekt verständlich erklärt

Eine Firma verteilt Aufgaben auf Personen und sucht die Verteilung mit der besten Kennzahl für die Kosten. Je mehr Verteilungen sie vergleicht, desto besser wird die Kennzahl. Die wahren Kosten können zunächst mit sinken, ab einem Punkt aber wieder steigen. Warum geschieht das, und woran merkt man es im Betrieb?

Zuletzt aktualisiert: 11. November 2026

Ein Wort unbekannt? Das Begriffsverzeichnis erklärt es in wenigen Sätzen.

Eine Kennzahl, die nur Stellvertreter ist

Stellen Sie sich vor, ein Disponent verteilt acht Aufgaben auf acht Personen. Was am Ende zählt, sind die wahren Kosten: Arbeitszeit, Nacharbeit, Ärger. Im Voraus kennt er sie nicht genau. Er hat nur eine Kennzahl, etwa die geschätzte Arbeitszeit aus einer Tabelle. Sie steht für die wahren Kosten ein, ist aber nur ein Stellvertreter. Beide zählen Kosten: kleiner ist besser.

Also sucht er die Verteilung mit der besten Kennzahl. Das ist vernünftig, solange die Kennzahl den wahren Kosten folgt. Sie tut das aber nur ungefähr. Was geschieht, wenn er immer mehr Verteilungen vergleicht?

Wie viel man durchprobiert

Im einfachsten Fall legt er eine Verteilung per Zufall fest und nimmt sie. Besser: Er lässt zwei zufällige Verteilungen vorschlagen und nimmt die mit der besseren Kennzahl. Dann vergleicht er vier Vorschläge, dann acht und so weiter. Am Ende vergleicht er alle möglichen Verteilungen. Im Betrieb entspricht das mehr Planungsläufen oder mehr geprüften Schichtplänen. Fachleute sprechen von Optimierungsstärke. Im Mittel wird die Kennzahl der Siegerverteilung mit jeder Stufe besser oder bleibt gleich.

Was mit den wahren Kosten geschieht

Das zeigt ein Rechenbild, ein Programm zum Ausprobieren, die Demo. Waagerecht steht, wie viele Vorschläge verglichen werden, senkrecht stehen die Kosten. Die Linie der Kennzahl (blau, gestrichelt) fällt im Mittel weiter oder bleibt gleich. Hat die Kennzahl einen Messfehler, fällt die Linie der wahren Kosten (rot) zunächst mit und kann dann wieder steigen: ein U mit einem Tiefpunkt. Wer dort aufhört, steht am besten da. Fachleute nennen das den Goodhart-Effekt. Fehlt der Kennzahl ein Teil der Kosten ganz, sieht es anders aus; dazu weiter unten.

Zum Maßstab: Jede Variante des Rechenbilds (Art und Größe des Fehlers) wurde an 20 festen Zufallsfällen durchgespielt. In 7 bis 20 dieser 20 Fälle stiegen die wahren Kosten nach dem Tiefpunkt wieder, je nach Variante. Wo der Tiefpunkt liegt, ist von Fall zu Fall verschieden.

Warum es wieder schlechter wird

Eine naheliegende Erklärung, hier für die Kennzahl mit Messfehler: Der Fehler wirkt mal nach oben, mal nach unten. Vergleicht man nur zwei oder vier Vorschläge, zählt vor allem der echte Unterschied zwischen ihnen. Vergleicht man mehr und mehr, gewinnen auch Verteilungen, bei denen der Fehler zufällig günstig ausfiel. Es ist wie bei einem Wettbewerb mit vielen Teilnehmern: Der Sieger war gut und hatte zusätzlich Glück. So gehen das Versprechen der Kennzahl und die Wirklichkeit mit mehr Vergleichen im Mittel auseinander, nicht in jedem Fall Schritt für Schritt.

In einem durchgerechneten Beispiel versprach die Kennzahl der besten Verteilung am Ende sogar Kosten unter null. Das ist kein Rechenfehler: Der Messfehler kann die gemessenen Kosten unter null drücken. Die wahren Kosten lagen dort über null und höher als am Tiefpunkt.

Drei Arten von Stellvertretern

Das Rechenbild kennt drei Arten, wie eine Kennzahl danebenliegen kann:

• Messfehler. Die Kennzahl ist der wahre Wert plus ein zufälliger Fehler, etwa eine ungenaue Zeitschätzung. Getestet wurden fünf Fehlergrößen. Beim kleinsten stiegen die wahren Kosten nach dem Tiefpunkt in 7 von 20 Fällen wieder, bei den vier größeren in 12 bis 16 von 20.
• Verdeckte Kosten. Ein Teil der wahren Kosten fehlt in der Kennzahl, etwa Nacharbeit. Fällt er gerade dort hoch aus, wo die Kennzahl gut aussieht, kippt es: In der ungünstigsten getesteten Einstellung (acht Personen und Aufgaben) war die beste Verteilung laut Kennzahl in 20 von 20 Fällen schlechter als eine zufällig ausgewählte. Gehören dagegen gute Kennzahl und wenig verdeckte Kosten tendenziell zusammen, stiegen die wahren Kosten trotzdem in 11 bis 13 von 20 Fällen wieder.
• Falsches Maß. Die Kennzahl ist die Summe aller Einzelkosten, etwa die gesamte Arbeitszeit; wichtig ist aber der größte Einzelwert, etwa die Aufgabe, die am längsten dauert. Das war im Rechenbild meist harmlos: Nur in 8 von 20 Fällen stiegen die wahren Kosten wieder, und die beste Verteilung war in keinem der 20 Fälle schlechter als eine zufällig ausgewählte.

Was hilft?

Wann man aufhören sollte, sagt das Rechenbild nicht. Um den Tiefpunkt zu sehen, müsste man die wahren Kosten kennen, und genau die kennt man nicht. Zwei Ansätze:

• Die Siegerverteilung unabhängig neu messen, etwa dieselbe Tour später noch einmal nachprüfen. Beim Messfehler zeigt sich so im Mittel, wie weit das Versprechen daneben lag. Das Rechenbild rechnet nur diese Prüfung; ob man damit eine bessere Verteilung findet, hat es nicht untersucht. Gegen verdeckte Kosten hilft die Prüfung nicht, denn der fehlende Teil bleibt unsichtbar.
• Die wahren Kosten zwischendurch prüfen. Naheliegend, aber im Rechenbild nicht ausprobiert: Wer sie wenigstens stichprobenartig messen kann, sieht, ob die Kurve schon wieder steigt.

Woran Sie das im Betrieb erkennen

Hinweise, kein Beweis:

• Die Kennzahl wird besser, aber Beschwerden, Nacharbeit oder Ausfälle, die niemand misst, nehmen zu.
• Wurden mehr Varianten verglichen, wird die Kluft zwischen dem, was die Kennzahl der Siegervariante verspricht, und dem, was sie später bringt, tendenziell größer.
• Die besten Werte auf dem Papier schneiden bei einer neuen, unabhängigen Messung schlechter ab.

Wie ernst ist das Modell zu nehmen?

Das Rechenbild ist stark vereinfacht: höchstens acht Personen und Aufgaben, zufällig erzeugte Zahlen und nur eine Art zu suchen, nämlich die beste von mehreren zufälligen Verteilungen zu wählen. Es zeigt, dass und unter welchen Bedingungen der Effekt auftreten kann, nicht wie groß er in einem echten Betrieb wäre.

Die Demo können Sie im Browser ausprobieren; zum Verstehen brauchen Sie sie nicht. Danach folgt der Teil für Fachleute mit Formeln und Messwerten.

Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.

Modell und Annahmen

Dieser Teil ist eigenständig lesbar. Er fasst die formale Beschreibung der Demo zusammen; die vollständige Fassung steht im Expander „📐 Mathematische Formulierung“ der Demo.

• Instanz: \(n\) Personen übernehmen \(n\) Aufgaben; die \(N = n!\) Zuordnungen sind die Pläne (bis \(n = 8\): 40 320, alle aufgezählt). Jeder Plan \(j\) hat ein Ersatzziel \(P_j\) und ein wahres Ziel \(T_j\); beide sind Kosten, kleiner ist besser. Der Optimierer sieht nur \(P\).
• Optimierungsstärke: Best-of-\(k\). Unter \(k\) zufällig gezogenen Plänen wird der mit dem kleinsten \(P\) gewählt, \(k = 2^0\) bis \(2^{20}\) und \(\infty\) (das Optimum von \(P\)). Der Erwartungswert von \(T\) über diese Wahl wird exakt gerechnet; bis auf die frische Messung (eine Simulation) gibt es in der App keinen Zufall.
• Drei Rechenmodelle (in Anlehnung an Arten von Ersatzzielen, nicht als Nachbau einer Arbeit): Rauschen: \(T = \sum a_{i\pi(i)}\), \(P = \sum (a_{i\pi(i)} + \varepsilon_{i\pi(i)})\) mit \(\varepsilon \sim \mathcal{N}(0, \sigma^2)\), unabhängig je Eintrag; die Einträge liegen zwischen 0 und 100. Verdeckte Kosten: \(P = \sum a_{i\pi(i)}\), \(T = P + w \sum h_{i\pi(i)}\) mit \(a = 100\,\Phi(z_1)\) und \(h = 100\,\Phi(r z_1 + \sqrt{1 - r^2} z_2)\), unabhängigen Standardnormalen \(z_1, z_2\) (Gauß-Kopula, Korrelation \(r\) der Normalen). Falsches Maß (Summe statt Maximum): \(P = \sum a_{i\pi(i)}\), \(T = \max_i a_{i\pi(i)}\).
• Kennzahlen der Kurve: Anstieg, Gewinn und Lücke (Formeln unten). Der Anstieg gilt je Instanz: Das P-Optimum ist ein einzelner Plan mit verzerrtem \(P\), kein Mittel über Verteilungen.

Die Formeln

Sortiert man die Pläne nach \(P\) aufsteigend (stabil) mit Rang \(r = 1, \dots, N\) und zieht \(k\) Pläne gleichverteilt mit Zurücklegen, wählt man den mit dem kleinsten \(P\). Der Plan auf Rang \(r\) wird dann mit der Wahrscheinlichkeit

\[q_r(k) = \left(\tfrac{N - r + 1}{N}\right)^{k} - \left(\tfrac{N - r}{N}\right)^{k}\]

gewählt. Die Summe der \(q_r(k)\) ist 1; für \(k = 1\) sind alle gleich \(1/N\), für \(k \to \infty\) gilt \(q_1 \to 1\). Die Erwartung des wahren Ziels über die Wahl ist

\[\mathbb{E}[T](k) = \sum_r q_r(k)\, T_{(r)}\]

und ebenso \(\mathbb{E}[P](k) = \sum_r q_r(k)\, P_{(r)}\); \(k = \infty\) ist der Plan auf Rang 1. \(\mathbb{E}[P](k)\) ist nicht steigend in \(k\), \(\mathbb{E}[T](k)\) kann steigen. Der Anstieg ist

\[(\mathbb{E}[T](\infty) - \min_k \mathbb{E}[T](k)) / \min_k \mathbb{E}[T](k)\]

Der Gewinn ist die Verbesserung von \(k = 1\) bis zum Minimum in Prozent von \(\mathbb{E}[T](1)\). Die Lücke zwischen Versprechen und Wirklichkeit (Fluch des Gewinners) ist

\[(\mathbb{E}[T] - \mathbb{E}[P]) / \mathbb{E}[T]\]

und nur sinnvoll, wenn \(P\) und \(T\) dieselbe Einheit haben (beim falschen Maß gibt es sie nicht). Frische Messung (nur Rauschen): Ist \(\varepsilon'\) eine unabhängige zweite Messung, so gilt für jeden festen Plan \(\mathbb{E}[P'] = T\). Die Lücke verschwindet im Mittel auf frischen Daten, nicht auf den Daten, die ausgewählt haben.

Herleitung Schritt für Schritt

Dieser Abschnitt ist eine Rechnung dieser Seite, keine Messung der Demo. Er benutzt nur die Gewichte \(q_r(k)\) und die Sortierung nach \(P\).

• Schritt 1, Verteilung des Rangs: Der gezogene Plan mit dem kleinsten \(P\) hat höchstens Rang \(r\), wenn mindestens einer der \(k\) Züge in den \(r\) besten Plänen liegt. Das hat die Wahrscheinlichkeit \(1 - \bigl(\tfrac{N - r}{N}\bigr)^{k}\), und diese wächst für jedes \(r\) mit \(k\). Die Wahl rückt also mit wachsendem \(k\) zu kleineren Rängen.
• Schritt 2, das Versprechen: \(P_{(r)}\) ist in \(r\) nicht fallend, weil nach \(P\) sortiert ist. Rückt die Wahl zu kleineren Rängen, kann \(\mathbb{E}[P](k)\) nicht steigen. Das stimmt mit der Aussage oben überein.
• Schritt 3, die Wirklichkeit: \(\mathbb{E}[T](k)\) gewichtet dieselben Ränge mit \(T_{(r)}\), und \(T_{(r)}\) ist nicht nach \(T\) sortiert. Wäre \(T_{(r)}\) in \(r\) nicht fallend (wie bei \(P = T\)), fiele auch \(\mathbb{E}[T](k)\) mit \(k\) und endete im Optimum. Ein Anstieg setzt deshalb voraus, dass die Folge \(T_{(r)}\) in \(r\) nicht durchgehend wächst. Beim Rauschen entsteht das durch die Auswahl auf dem Messfehler. Bei verdeckten Kosten entsteht es durch die verdeckte Matrix \(h\): systematisch bei negativer Korrelation \(r\), zufällig auch bei \(r = 0\), wo \(h\) von \(a\) unabhängig ist.

Durchgerechnetes Beispiel von Hand

Das Handbeispiel der Tests der Demo hat \(n = 3\), also sechs Pläne. Die README nennt \(\mathbb{E}[T]\) als Brüche, nachgerechnet von Hand und gegen eine reine Python-Rechnung:

Optimierungsstärke	E[T]
k = 1	62/3
k = 2	341/18
k = 4	11753/648 (Minimum)
k = ∞	20

Die Kurve fällt also von 62/3 über 341/18 auf 11753/648 und steigt bis zum Optimum wieder auf 20. Der Endpunkt liegt über dem Minimum und unter dem Wert bei \(k = 1\); das ist ein Vergleich der Brüche, eine Rechnung dieser Seite. Schon sechs Pläne reichen für die Form „erst besser, dann schlechter“.

Befunde

Alle Zahlen stammen aus den Auswertungsfunktionen der Demo und sind in deren Tests nachgerechnet (README). „Je 20 feste Instanzen“ sind die Seeds 100000 bis 100019, nie ein einzelner Seed. Die Zahlen sind Zählungen und Spannen über Instanzen, kein Satz und keine Aussage über andere Instanzen. Soweit nicht anders angegeben ist \(n = 8\) (alle 40 320 Pläne aufgezählt).

Frage	Befund
Rauschen, σ = 5 / 10 / 25 / 50 / 100: In wie vielen Instanzen steigt T nach dem Minimum?	7 / 13 / 12 / 16 / 12 von 20. Anstieg Median 0,0 % / 0,6 % / 0,5 % / 2,7 % / 3,4 %, Maximum 6,6 % / 9,0 % / 11,0 % / 23,4 % / 16,1 %.
Rauschen: Ist das Optimum des Ersatzziels schlechter als ein Zufallsplan?	In 0 / 0 / 0 / 1 / 3 von 20 Instanzen (gleiche σ).
Rauschen: Gewinn, Lücke, Perzentil	Gewinn von k = 1 bis zum Minimum (Median) 66,5 % / 60,7 % / 54,7 % / 39,3 % / 32,7 %. Fluch des Gewinners: Lücke \((T - P)/T\) am Optimum des Ersatzziels (Median) 8,2 % / 30,1 % / 84,4 % / 169,9 % / 303,3 %. Perzentil des P-Optimums bei T (0 = bester Plan; Median) 0,0 % / 0,0 % / 0,1 % / 3,3 % / 5,6 %.
Verdeckte Kosten, w = 1, r = +0,5 / 0,0 / −0,5 / −0,9	Anstieg in 11 / 17 / 17 / 16 von 20; Median 0,3 % / 2,1 % / 2,6 % / 1,4 %, Maximum 17,2 % / 20,9 % / 16,8 % / 7,8 %. Optimum schlechter als Zufallsplan in 0 / 0 / 1 / 5. Gewinn Median 45,7 % / 31,8 % / 16,5 % / 3,5 %.
Verdeckte Kosten, w = 2, dieselben r	Anstieg in 13 / 17 / 17 / 20 von 20; Median 0,9 % / 4,0 % / 6,8 % / 20,5 %, Maximum 23,8 % / 29,0 % / 30,3 % / 29,3 %. Optimum schlechter als Zufallsplan in 0 / 4 / 11 / 20. Gewinn Median 41,2 % / 20,7 % / 1,3 % / 0,0 %. Minimum der Kurve im Median zwischen k = 2¹⁵ und 2¹⁶ / bei 8 192 / zwischen 8 und 16 / bei 1.
Verdeckte Kosten, w = 2, r = −0,9: Wie schlecht ist das Optimum bei T?	Im Median schlechter als 99,8 % der Pläne (Perzentil des P-Optimums 99,8 %).
Summe als Ersatz für das Maximum	Anstieg in 8 von 20 (Median 0,0 %, Maximum 7,7 %), Optimum schlechter als Zufallsplan in 0. Gewinn Median 58,7 %. Perzentil des P-Optimums bei T Median 0,0 %, Maximum 1,3 %: hier meist harmlos.
Rangkorrelation (Spearman) von P und T über alle Pläne (Median über 10 Instanzen)	Rauschen σ = 25: 0,78. Verdeckt w = 1, r = +0,5: 0,84; w = 1, r = −0,5: 0,50; w = 2, r = −0,9: −0,62. Summe gegen Maximum: 0,49.
Schützt eine positive Korrelation?	Nein. Trotz des Spearman-Medians 0,78 (über 10 Instanzen) steigt T nach dem Minimum in 12 von 20 Instanzen (Rauschen σ = 25), trotz 0,84 in 11 von 20 (verdeckt, w = 1, r = +0,5). Der Anstieg wird geringer, aber er bleibt.

Die Beispiele der App (Presets) sind für bestimmte Seeds gewählt, nicht gezogen; sie zeigen, was ihr Name sagt, und sind keine Stichprobe.

Beispiel der App	Befund
Rauschen: erst besser, dann schlechter (n = 8, Seed 100000, σ = 50)	Minimum bei k = 2¹³ mit E[T] = 250,0 (39,3 % besser als bei k = 1), danach Anstieg um 10,3 % auf 275,8. Am Optimum verspricht P = −153,1, es gilt T = 275,8 (Lücke 155,5 %); der wahre beste Plan hat T = 148,8.
Der Fluch des Gewinners (Rauschen, σ = 50, Seed 100010)	Am Optimum verspricht P = −49,9, es gilt T = 291,5: Lücke 117,1 %. Minimum bei k = 2¹⁵ mit 277,1, Anstieg 5,2 %.
Das Optimum ist schlechter als ein Zufallsplan (σ = 100, Seed 100016)	E[T] am Optimum 422,6, bei einem Zufallsplan 400,3. Minimum bei k = 2¹¹ mit 364,1, Anstieg 16,1 %; schlechter als 61,2 % der Pläne.
Positive Korrelation verhindert den Anstieg nicht (w = 1, r = +0,5, Seed 100004)	Spearman 0,85, Minimum bei k = 2¹¹ mit 476,1, Anstieg 17,2 % auf 557,9.
Verdeckte Kosten: Optimieren bringt fast nichts (w = 2, r = −0,5, Seed 100014)	Gewinn nur 1,2 % (Minimum bei k = 8), danach Anstieg um 19,7 %; das Optimum ist bei T besser als nur 5,8 % der Pläne.
Verdeckte Kosten: Optimieren schadet sofort (w = 2, r = −0,9, Seed 100000)	Minimum bei k = 1 (E[T] = 1198,6), das Optimum 1355,5 (13,1 % mehr), Spearman −0,59.
Summe statt Maximum: meist harmlos (Seed 100000)	E[T] fällt von 92,6 (k = 1) auf 44,0 (k = ∞): 52,5 % Gewinn, kein Anstieg.
Kleinstes Beispiel (n = 3, verdeckt, w = 1, r = 0, Seed 37)	Minimum bei k = 4 mit 264,3 (11,7 % besser als k = 1), am Optimum 296,3 (12,1 % mehr), Lücke 69,6 %.

Die Planungshypothese vor der Messung lautete sinngemäß „erst besser, dann schlechter“ (die README schreibt „wahrer Wert steigt zuerst und fällt dann“, was bei Kosten verdreht ist). Sie gilt laut README für Rauschen und verdeckte Kosten in der Mehrzahl der Instanzen (bei σ = 5 nur 7 von 20), aber nicht in allen und nicht als glatte Kurve. Die README deutet für das Rauschen: Der Anstieg entsteht, wenn k die Größenordnung der Planzahl erreicht und die Wahl auf wenige Pläne mit dem besten P zusammenschnurrt. Die erste Fassung der Messung (Gitter bis k = 2¹⁵ ohne den Endpunkt ∞) hatte den Anteil zu klein gemessen (6 statt 13 von 20 bei σ = 10), und der Zähler „schlechter als Zufallsplan“ stand in zwei Teilen auf 0, bis das Gegenlesen es zeigte. Bei stark gegenläufigen verdeckten Kosten liegt das Minimum viel früher (Preset mit w = 2, r = −0,5: bei k = 8; w = 2, r = −0,9: im Median bei k = 1), die Deutung gilt dort nicht.

Was die Messung zeigt und was nicht

Das zeigt die Messung:

• Die Formel der Ordnungsstatistik gegen die vollständige Aufzählung aller \(N^k\) Ziehungen (mit exakten Brüchen, auch bei Gleichständen in \(P\)) und gegen eine unabhängige Monte-Carlo-Rechnung mit festem Seed; \(2^{20}\) gegen \(\infty\); eine reine Python-Kurve für jedes Modell.
• Das Handbeispiel von Hand, die Eigenschaften (Gewichte sind Wahrscheinlichkeiten, \(\mathbb{E}[P](k)\) wird nie schlechter, bei \(P = T\) fällt die Kurve und endet im Optimum) und jede Zahl der README in tests/test_claims.py. Insgesamt 273 Tests, laut README alle grün.

Das zeigt sie nicht:

• Eine Aussage über andere Instanzen oder über andere Messfehler: Die Zahlen sind Zählungen über 20 feste Instanzen.
• Eine Aussage über echte Kennzahlen, Personen oder Betriebe: Alles ist simuliert.
• Eine Regel, wann man aufhören sollte (siehe Grenzen).

Grenzen

• Ein Verfahren der Optimierung: Best-of-\(k\) ist eine Art, „stärker zu optimieren“. Gradientenverfahren, Populationen und Löser mit Toleranz verstärken ihre Wirkung anders; die Kurve gilt für diese eine Art.
• Drei Rechenmodelle: normaler, unabhängiger Messfehler und eine Gauß-Kopula. Schiefe oder abhängige Fehler ändern die Kurve. Die Namen der Arten von Ersatzzielen sind nur Anlehnung.
• Kein Satz über Verteilungen: Der Anstieg ist eine Aussage über die einzelne Instanz; über andere Messfehler gemittelt sieht die Kurve anders aus.
• Erwartung statt Einzelfall: \(\mathbb{E}[T]\) mittelt über die Ziehungen von \(k\) Plänen; ein einzelner Lauf kann besser oder schlechter sein.
• Negative Kosten im Versprechen: Ein Messfehler kann die gemessenen Kosten eines Plans unter null drücken; das Versprechen \(P\) ist dann negativ. Das gehört zum Modell.
• Kein Stopp-Vorschlag: Das Minimum hängt an \(T\), und \(T\) fehlt dem Optimierer. Es liegt von Instanz zu Instanz verschieden, von k = 1 bis k = 2¹⁸, in manchen Instanzen erst beim Optimum, k = ∞.
• n ≤ 8: Alle Pläne sind aufgezählt; bei großen Planmengen ließe sich die Kurve nur schätzen.

Erweiterungen und Verweise

Die Demo setzt Folgendes bewusst nicht um:

• Ausnutzen des Ersatzziels: Was ein Optimierer aus einer Lücke im Modell macht und was er verlagert, behandeln andere Demos der Reihe; hier nur die Kurve.
• Stopp und Gegenmaßnahme: Wie man das Ziel vor dem Einsatz testet, ist hier nicht Thema.
• Gradientenverfahren, Population: Best-of-\(k\) ist die einzige Optimierungsstärke.
• Nachbauten der Literatur: Weder die Funktionsformen von Gao u. a. noch die vier Arten von Manheim und Garrabrant sind nachgebaut.
• Schätzung bei großen Planmengen: nicht enthalten.
• Übersicht: Die verwandten Demos zum Zielfunktionsdesign ordnet die Übersicht der Linie ein.

Quellen

• Manheim und Garrabrant, „Categorizing Variants of Goodhart's Law“ (arXiv 1803.04585). Nach dem Abstract: Überoptimierung, wenn eine Metrik so weit benutzt wird, dass weitere Optimierung wirkungslos oder schädlich ist. Die Namen der vier Arten stehen im Abstract nicht.
• Gao, Schulman und Hilton, „Scaling Laws for Reward Model Overoptimization“ (arXiv 2210.10760). Nach dem Abstract: Eine Proxy-Belohnung zu stark zu optimieren kann die „ground truth performance“ verschlechtern, gemessen unter anderem mit Best-of-n-Sampling. Die Formeln der Funktionsformen stehen im Abstract nicht.
• Smith und Winkler, „The Optimizer's Curse“ (Management Science 2006): nicht gelesen.
• Quelltext, Tests und Auswertung der Demo: github.com/sebastian-hanisch/goodhart-kurve-demo.

Die genannten Arbeiten wurden für diese Seite nicht nachgeschlagen. Namen und arXiv-Nummern stehen in der README der Demo, die Titel von Manheim und Garrabrant sowie Gao u. a. im Expander „📐 Mathematische Formulierung“ der Demo; laut README sind nur die Abstracts gelesen, die Arbeiten selbst nicht. Smith und Winkler sind laut README nicht gelesen. Die Demo übernimmt keine Zahl aus der Literatur: Alle Zahlen sind Messungen an den Rechenmodellen der Demo.