Das Newton-Verfahren verständlich erklärt

Im Nebel hilft es, nicht nur zu spüren, wo der Boden abfällt, sondern auch, wie stark er sich wölbt. Dann lässt sich der tiefste Punkt manchmal in einem einzigen Sprung finden. Manchmal geht der Sprung aber weit am Ziel vorbei. Warum, erklärt diese Seite.

Zuletzt aktualisiert: 11. November 2026

Ein Wort unbekannt? Das Begriffsverzeichnis erklärt es in wenigen Sätzen.

Im Nebel mit einem Messgerät

Sie stehen im Nebel in einer Mulde und wollen zu ihrem tiefsten Punkt. Sie sehen nur Ihre unmittelbare Umgebung.

Das Bild steht für viele Rechenaufgaben. Der Standort entspricht einer Wahl von Stellschrauben, etwa Preis und Menge. Die Höhe entspricht den Kosten dieser Wahl. Gesucht ist die Wahl mit den niedrigsten Kosten.

Der einfache Weg: Sie spüren mit den Füßen, wohin der Boden am steilsten abfällt, und gehen einen Schritt dorthin. Das wiederholen Sie. In einem langen, schmalen Graben führt das ins Zickzack von Wand zu Wand. Die steilste Richtung zeigt dann zur nächsten Wand und nicht zum fernen Grabenboden.

Nun nehmen Sie ein Messgerät dazu. Es zeigt nicht nur das Gefälle, sondern auch, wie stark sich der Boden an Ihrem Standort wölbt. Mit Gefälle und Wölbung denken Sie sich eine glatte Schüssel, die an Ihrem Standort genauso steil und genauso gewölbt ist wie das Gelände.

Den tiefsten Punkt dieser gedachten Schüssel kann man ausrechnen. Dorthin springen Sie in einem Zug. Dann messen Sie neu, denken sich eine neue Schüssel und springen wieder. So arbeitet das Newton-Verfahren: Es ersetzt das schwierige Gelände Schritt für Schritt durch eine Schüssel, deren Tiefpunkt sich leicht berechnen lässt.

Zu dieser Seite gehört ein Programm zum Ausprobieren im Browser. Es lässt das Verfahren auf drei Testgeländen laufen. Sie erreichen es über den ersten Knopf unten. Zum Verstehen brauchen Sie es nicht. Alle Aussagen in diesem Teil beschreiben diese Testgelände und nicht die Wirklichkeit.

Wenn das Gelände selbst eine Schüssel ist

Das erste Testgelände ist selbst eine glatte Schüssel, auch eine sehr langgestreckte. Dann deckt sich die gedachte Schüssel mit dem Gelände. Der erste Sprung landet im tiefsten Punkt.

So war es in der Messung. In jedem gemessenen Fall genügte ein einziger Sprung, bei schwach wie bei stark gestreckter Schüssel. Der Grund: Das Messgerät merkt, dass sich der Boden quer zum Graben stark wölbt und entlang des Grabens kaum. Der Sprung geht deshalb weit entlang des Grabens und nur kurz quer dazu. Das Zickzack entfällt.

Wer nur das Gefälle nutzt, braucht dafür mehr Schritte. In einer Vergleichsmessung waren es bei einem lang gestreckten Graben hunderte bis über tausend.

Nahe am Ziel wird es sehr schnell

Die meisten Gelände sind keine reine Schüssel. Aus der Nähe wirkt ein glatter Hang aber fast wie eine, so wie ein kleines Stück Erdoberfläche fast eben wirkt. Nahe am Tiefpunkt passt die gedachte Schüssel deshalb sehr gut.

Dort geschieht etwas Bemerkenswertes. Misst man den Abstand zum Tiefpunkt in einer festen Längeneinheit, verdoppelt sich mit jedem Sprung ungefähr die Zahl der richtigen Stellen hinter dem Komma. Der Abstand schrumpft also nicht um einen festen Bruchteil, sondern immer schneller.

Das zweite Testgelände ist ein langer, schmaler Graben mit einer Biegung. Dort sank der Abstand zum Ziel in einer Messreihe von gut einem Zehntausendstel in zwei Sprüngen auf unter ein Billionstel.

Fern vom Ziel kann die Schüssel täuschen

Weit weg vom Tiefpunkt kann die gedachte Schüssel schlecht passen. Das dritte Testgelände zeigt das. Es ist eine Mulde, deren Hänge nach außen immer flacher werden, bis das Gelände fast eben ist.

Ein Bild dazu: An einem flachen Hang wölbt sich der Boden nur schwach. Die gedachte Schüssel ist deshalb sehr weit, und ihr Tiefpunkt liegt weit hinter dem echten. Der Sprung geht über das Ziel hinaus. Auf der anderen Seite ist der Hang noch flacher, die Schüssel noch weiter, und der nächste Sprung geht noch weiter hinaus. Das Bild gilt, solange sich der Boden noch nach innen wölbt. Weiter draußen kehrt sich die Wölbung um, davon später mehr.

In der Messung lag die Grenze scharf. Es gibt eine bestimmte Entfernung vom Tiefpunkt. Sie hängt von der Form der Mulde ab und ließ sich hier von Hand ausrechnen. Beginnt man knapp innerhalb davon, führt jeder Sprung näher heran. Beginnt man knapp außerhalb, landet man zuerst nur wenig weiter weg, nach ein paar Sprüngen aber bei jedem Sprung ungefähr doppelt so weit weg wie zuvor, bis die Abstände ins Unermessliche wachsen.

Eine Vermutung, die sich nicht bestätigte

Man würde erwarten, dass der Sprung im gebogenen Graben danebengeht, wenn man weit weg beginnt. Die Messung widerlegte das: Von 34 Startpunkten, darunter einige als schwierig bekannte, kam das Verfahren bei allen am Ziel an.

Der Weg dorthin ging aber nicht immer bergab. Bei jedem dieser Startpunkte stieg die Höhe zwischendurch an. Das Verfahren springt zum Tiefpunkt der gedachten Schüssel, und die Stelle kann im echten Gelände höher liegen als der Standort. Ein Verfahren, das nach jedem Schritt die Höhe prüft und bei einem Anstieg kürzer springt, kann so nicht ansteigen.

Was hilft?

Man kann den Sprung absichern. Eine Möglichkeit: nach dem Sprung prüfen, ob es bergab ging, wie ein Wanderer, der den Höhenmesser liest, und sonst kürzer springen. Eine andere: der gedachten Schüssel nur in einem kleinen Umkreis trauen. Das Programm lässt solche Sicherungen bewusst weg, damit die Schwäche des reinen Verfahrens sichtbar bleibt.

Ein zweiter Preis ist das Messgerät. Bei vielen Stellschrauben muss die Wölbung für jedes Paar von ihnen gemessen und verrechnet werden, bei jedem Sprung neu. Das kostet Rechenarbeit, die das Programm nicht misst.

Häufige Missverständnisse

• „Das Verfahren sucht den tiefsten Punkt.“ Es sucht einen Punkt ohne Gefälle. Das kann ein Tal sein, aber auch ein Gipfel. Wo sich der Boden nach oben wölbt wie eine Schüssel, führt der Sprung zum Tiefpunkt. Wo er sich nach unten wölbt wie ein Hügel, ist auch die gedachte Form ein Hügel, und der Sprung führt zu dessen Gipfel, also bergauf. Im äußeren Teil des dritten Testgeländes ist das so (Rechnung dieser Seite).
• „Die scharfe Grenze gilt für jede Aufgabe.“ Sie gilt für die Mulde mit auslaufenden Hängen. In anderem Gelände liegt die Grenze woanders, oder es gibt keine.

Woran Sie das im Alltag erkennen

Wer an einer Dusche die Temperatur einstellt, kennt zwei Muster:

• Kurz vor dem Ziel kann schon eine einzige kleine Korrektur genügen, weil der Regler dort fast gleichmäßig wirkt.
• Der Wert schießt bei jeder Korrektur weiter über das Ziel hinaus als bei der vorigen. Dann stimmt die Schätzung der Reglerwirkung nicht mehr. Erfahrungsgemäß helfen kürzere Drehungen oder eine bessere Ausgangsstellung (das Programm prüft das nicht).

Wie ernst ist das Modell zu nehmen?

Die drei Testgelände sind klein und gewählt. Das Programm kennt dort Gefälle und Wölbung genau, aus Formeln. Bei echten Aufgaben sind sie nicht immer so leicht zu bekommen, und das zeigen die Messungen nicht.

Was Sie mitnehmen:

• Fragen Sie bei einem Rechenverfahren, was es über das Gelände weiß: nur die Richtung oder auch die Wölbung.
• Prüfen Sie, wo Sie stehen: Nahe am Ziel lohnt Vertrauen in den großen Sprung, weit weg ein Blick auf den Höhenmesser.
• Rechnen Sie den Aufwand mit: Ein Sprung, der viel misst, muss sich gegen mehrere billige Schritte lohnen.

Der zweite Knopf unten führt zum zweiten Teil für Fachleute.

Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.

Modell und Annahmen

Dieser Teil ist eigenständig lesbar. Er beschreibt das Verfahren, die drei Testfunktionen der Demo und die an ihnen gemessenen Eigenschaften. Zahlen stammen aus Messläufen der Demo, sofern sie nicht ausdrücklich als Rechnung dieser Seite gekennzeichnet sind.

• Aufgabe: unrestringierte Minimierung einer zweimal stetig differenzierbaren Funktion \(f\). Mit \(x_k\) ist die Iterierte nach \(k\) Schritten bezeichnet, mit \(g_k=\nabla f(x_k)\) der Gradient, mit \(H(x)\) die Hesse-Matrix (Matrix der zweiten Ableitungen) und mit \(x^*\) der Minimierer. Gradient und Hesse-Matrix sind für alle Testfunktionen von Hand hergeleitet (zur Prüfung siehe Befunde).
• Verfahren: das volle, ungesicherte Newton-Verfahren. Die Schrittlänge ist 1, es gibt weder Liniensuche noch Vertrauensbereich. In jedem Schritt wird das lineare Gleichungssystem \(H(x_k)\,s=-g_k\) direkt gelöst; die Matrix wird nicht invertiert und nicht auf positive Definitheit geprüft. Das Verfahren endet, wenn die Gradientennorm unter \(10^{-12}\) liegt („konvergiert“), wenn die Hesse-Matrix singulär wird oder wenn die Iterierte offensichtlich wächst („divergiert“: Beträge über \(10^6\) oder Funktionswert über \(10^{12}\)).
• Testfunktionen: (1) die Quadratik \(f(x)=\tfrac12 x^\top A x\) mit symmetrisch positiv definiter Matrix \(A\), Konditionszahl \(\kappa=\lambda_{\max}(A)/\lambda_{\min}(A)\) und Minimierer \(x^*=0\); die Messreihe benutzt Dimension 5, die interaktive Ansicht der Demo Dimension 2. (2) die Rosenbrock-Funktion \(f(x,y)=(1-x)^2+100\,(y-x^2)^2\) in der Ebene mit Minimierer \((1;\ 1)\) und \(f^*=0\); sie hat ein langes, gebogenes Tal. (3) die „Log-Beule“ \(f(x)=\ln(1+x^2)\) in einer Dimension mit Minimierer \(0\), deren Hänge nach außen abflachen.
• Vergleichsverfahren: der Gradientenabstieg \(x_{k+1}=x_k-\eta\nabla f(x_k)\) mit Schrittweite \(\eta\). Die Reduktion unten und der Vergleich auf der Quadratik benutzen eine feste Schrittweite; die großen Schrittzahlen bei \(\kappa=100\) und \(\kappa=200\) stammen aus Läufen mit Backtracking (Schrittweite wird je Schritt angepasst).

Die Formeln

Newton-Schritt. Am Punkt \(x_k\) ersetzt das Verfahren \(f\) durch das quadratische Modell \(m_k(s)=f(x_k)+g_k^\top s+\tfrac12 s^\top H(x_k)\,s\). Ist \(H(x_k)\) positiv definit, liegt sein Minimum bei \(s=-H(x_k)^{-1}g_k\). Der Schritt springt dorthin:

\[x_{k+1}=x_k-H(x_k)^{-1}\nabla f(x_k)\]

Ein Schritt auf der Quadratik. Dort ist \(H(x)=A\) konstant und \(\nabla f(x)=Ax\). Das Modell ist die Funktion selbst, der erste Schritt trifft den Minimierer, unabhängig von \(\kappa\) und vom Startpunkt:

\[x_1=x_0-A^{-1}Ax_0=0\]

Reduktion auf den Gradientenabstieg. Ersetzt man \(H(x_k)\) durch \((1/\eta)I\), wird der Newton-Schritt algebraisch zum Gradientenschritt:

\[x_{k+1}=x_k-\eta\nabla f(x_k)\]

Log-Beule. Wegen \(f'(x)=2x/(1+x^2)\) und \(f''(x)=2(1-x^2)/(1+x^2)^2\) ist der Newton-Schritt eine Fixpunkt-Iteration in einer Variablen (Herleitung unten):

\[x_{k+1}=\dfrac{2x_k^3}{x_k^2-1}\]

Sie konvergiert zu 0, wenn \(|x_0|<1/\sqrt3\), und läuft für \(|x_0|>1/\sqrt3\) davon.

Fehlerexponent. Mit \(e_k=\lVert x_k-x^*\rVert\) wertet die Demo \(p_k=\log e_{k+1}/\log e_k\) aus. Bei quadratischer Konvergenz \(e_{k+1}\approx C\,e_k^2\) ist \(\log e_{k+1}\approx 2\log e_k+\log C\), also \(p_k\to 2\), weil der Anteil \(\log C/\log e_k\) erst bei kleinem \(e_k\) verschwindet (Rechnung dieser Seite).

Herleitung Schritt für Schritt

Standardrechnungen und Rechnungen dieser Seite, keine Messungen der Demo. Sie erklären die Formeln oben und die Befunde unten.

• Schritt 1, Modell: Die Taylor-Entwicklung zweiter Ordnung liefert \(m_k\). Seine Ableitung nach \(s\) ist \(g_k+H(x_k)s\); sie verschwindet bei \(s=-H^{-1}g_k\). Nur bei positiv definitem \(H\) ist das ein Minimum, sonst ein Sattelpunkt oder ein Maximum des Modells. Die Richtung \(-H^{-1}g_k\) senkt \(f\) für kleine Schritte genau dann sicher, wenn \(g_k^\top H^{-1}g_k>0\) gilt.
• Schritt 2, Quadratik: Die Rechnung steht oben. Newton ist invariant gegen lineare Koordinatenwechsel \(x=Ty\) mit invertierbarem \(T\); das Gradientenverfahren ist es nicht. Das erklärt, warum \(\kappa\) den Newton-Schritt auf der Quadratik nicht berührt, den Gradientenabstieg aber sehr. Das gilt in exakter Arithmetik; in Gleitkommarechnung verliert das lineare System bei großem \(\kappa\) Stellen, die Schrittzahl bleibt davon unberührt.
• Schritt 3, lokale Konvergenz: Standardresultat (siehe Nocedal & Wright 2006): Ist \(\nabla f(x^*)=0\), \(H(x^*)\) positiv definit, \(H\) nahe \(x^*\) Lipschitz-stetig und der Start nahe genug an \(x^*\), so gilt \(e_{k+1}\le C\,e_k^2\). Bei bloß invertierbarem \(H(x^*)\) konvergiert die Iteration ebenso schnell gegen einen Sattelpunkt oder ein Maximum. Die Konstante \(C\) hängt von \(\lVert H(x^*)^{-1}\rVert\) und der Lipschitz-Konstante ab. Auf einer allgemeinen Funktion ist „unabhängig von \(\kappa\)“ daher nur für die Quadratik bewiesen; dort ist die Nichtlinearität null.
• Schritt 4, Log-Beule: Aus \(x-f'(x)/f''(x)=x-x(1+x^2)/(1-x^2)\) folgt \(x_{k+1}=2x_k^3/(x_k^2-1)\), und für \(|x_k|\ne 1\) ist \(|x_{k+1}|/|x_k|=2x_k^2/|1-x_k^2|\). Für \(x_k^2<1\) ist dieser Faktor genau dann kleiner als 1, wenn \(3x_k^2<1\) gilt, also \(|x_k|<1/\sqrt3\). Für \(x_k^2>1\) ist er größer als 2. Auf der Schwelle selbst gilt \(x_1=-x_0\): Die Iteration springt zwischen \(\pm 1/\sqrt3\), ein Zweierzyklus. Die Ableitung der Iterationsfunktion ist dort \(-4\); eine Abweichung von der Schwelle wächst also je Schritt etwa auf das Vierfache, je Zyklus auf das Sechzehnfache. Deshalb wächst die Schrittzahl bis zur Divergenz nur langsam, wenn der Start näher an die Schwelle rückt. Nahe 0 ist \(x_{k+1}\approx -2x_k^3\), die Konvergenz dort also kubisch, weil \(f\) gerade ist. Bei \(|x|=1\) verschwindet \(f''\), der Schritt ist nicht definiert; für \(|x|>1\) ist \(f''<0\), das Modell ist ein Hügel, und der Schritt führt vom Minimum weg.
• Schritt 5, keine Monotonie: Der volle Schritt hat Länge 1 und wird nicht geprüft. Das Modell gilt nur lokal; der Funktionswert am Modellminimum kann über \(f(x_k)\) liegen. Eine Liniensuche mit Abstiegsbedingung schließt das aus, das ungesicherte Verfahren nicht.

Durchgerechnet: Log-Beule an zwei Startwerten

Rechnung dieser Seite, keine Messung der Demo: die Iteration \(x_{k+1}=2x_k^3/(x_k^2-1)\) von Hand. Beide Startwerte sind Voreinstellungen der Demo, der erste liegt unter der Schwelle, der zweite darüber:

Schritt \(k\)	Start \(x_0=0{,}5\)	Start \(x_0=0{,}6\)
0	\(1/2\)	\(0{,}6\)
1	\(-1/3\)	negativ, Betrag knapp über zwei Drittel
2	\(1/12\)	positiv, Betrag knapp über 1
3	etwa minus ein Tausendstel	positiv, etwa das Zehnfache von 1
4	etwa drei Milliardstel	positiv, etwa das Doppelte des Vorwerts

Links schrumpft der Betrag von Schritt zu Schritt immer stärker, wie die dritte Potenz im Schritt erwarten lässt. Rechts ändert der Wert zuerst das Vorzeichen und wächst, bis er außerhalb von \(|x|=1\) landet. Dort ist der Faktor größer als 2, in Schritt 4 schon fast genau 2, und die Folge verdoppelt sich je Schritt.

Befunde

Ein Schritt auf der Quadratik. Dimension 5, drei zufällige Instanzen je Konditionszahl mit zufälligem Startpunkt, voller Newton-Schritt:

κ	Iterationen	\(f\) am Ende
2	1	\(\approx10^{-31}\)
20	1	\(\approx10^{-30}\)
200	1	\(\approx10^{-29}\)

Alle 9 Läufe brauchten einen Schritt. Die Endwerte sind Rundungsreste. Sie wachsen im Mittel mit \(\kappa\), weil das Lösen des Gleichungssystems bei großem \(\kappa\) mehr Stellen verliert; die Bereiche der drei Stufen überlappen aber, und die Schrittzahl ist von \(\kappa\) unabhängig.

Quadratische Konvergenz nahe dem Optimum. Rosenbrock-Funktion, Fehler \(e_k=\lVert x_k-x^*\rVert\) je Schritt. „Letzter Exponent“ ist der zuletzt ausgewertete Wert \(p_k\):

Start	Fehlerfolge	Letzter Exponent
\((0{,}9;\ 0{,}8)\)	0,224 → 0,146 → 0,0297 → 0,0101 → \(1{,}3\cdot10^{-4}\) → \(4{,}6\cdot10^{-7}\) → \(2{,}8\cdot10^{-13}\)	1,98
\((1{,}1;\ 1{,}3)\)	0,316 → 0,247 → 0,0096 → 0,0011 → \(2{,}4\cdot10^{-7}\) → \(5{,}8\cdot10^{-13}\)	1,85
\((0{,}5;\ 0{,}2)\)	0,943 → 0,838 → 0,376 → 0,269 → 0,0177 → 0,0016 → \(5{,}3\cdot10^{-7}\) → \(1{,}7\cdot10^{-12}\)	1,88

Weite Startpunkte auf der Rosenbrock-Funktion. 34 Startpunkte: 30 Zufallspunkte im Quadrat \([-2,\,2]^2\) und die vier als schwierig bekannten Punkte \((-1{,}2;\ 1{,}0)\), \((-1{,}5;\ -1{,}0)\), \((2{,}0;\ -1{,}0)\), \((-2{,}0;\ 2{,}0)\). Als konvergiert zählt ein Lauf, der in höchstens fünfzig Schritten bis auf einen Abstand unter \(10^{-6}\) an das Optimum kommt. Als nicht monoton zählt ein Lauf, in dem \(f\) mindestens einmal steigt, gleichgültig wie stark:

Konvergiert	Nicht monoton	Höchste Schrittzahl
34/34	34/34	9

Divergenzschwelle der Log-Beule. Newton-Iteration \(x_{k+1}=2x_k^3/(x_k^2-1)\), Startwerte im Abstand \(\delta\) von der Schwelle \(1/\sqrt3\approx0{,}57735\):

Start \(x_0\)	Abstand \(\delta\)	Divergiert?
0,56735	−0,01	Nein (6 Schritte)
0,57635	−0,001	Nein (8 Schritte)
0,57725	−0,0001	Nein (10 Schritte)
0,57745	+0,0001	Ja (25 Schritte bis über \(10^6\))
0,57835	+0,001	Ja (22 Schritte)
0,58735	+0,01	Ja (22 Schritte)

Die Iterierte wächst dabei ungefähr geometrisch, mit etwa dem Faktor 2 je Schritt, nicht chaotisch.

Frage	Befund
Ersetzt man die Hesse-Matrix durch \((1/\eta)I\): Reproduziert Newton den Gradientenabstieg?	Ja. Die größte Abweichung der Pfade liegt bei \(8{,}3\cdot10^{-17}\), also auf Maschinengenauigkeit (Quadratik, Dimension 4, 20 Schritte). Der genaue Wert hängt von der Plattform ab; eine Wiederholung lag in derselben Größenordnung.
Wie viele Schritte braucht der Gradientenabstieg dort, wo Newton einen braucht?	Gradientenabstieg mit Backtracking, bis zur Konvergenz: für \(\kappa=200\) rund 1600 bis 1900 Schritte (Messung der Gradientenabstieg-Demo an 10 Zufallsquadratiken mit \(d=5\) bzw. \(d=10\)); für \(\kappa=100\) 887 Schritte in einem einzelnen Lauf. Mit fester Schrittweite sind es mehr.
Stimmen Gradient und Hesse-Matrix?	Gradient und Hesse-Matrix von Quadratik und Rosenbrock-Funktion, je gegen zentrale finite Differenzen: die vier Abweichungen liegen um \(10^{-10}\) bis \(10^{-11}\), verlangt ist unter \(10^{-6}\). Von der Log-Beule ist nur der Gradient an einer Stelle geprüft (Toleranz \(10^{-4}\)), die Hesse-Matrix nicht.

Grenzen und was die Messung zeigt

Was die Messung zeigt:

• Die Ein-Schritt-Eigenschaft der Quadratik folgt aus der Rechnung oben. Die neun Läufe bestätigen sie bis auf Rundung; die Endwerte um \(10^{-30}\) sind Rundungsreste. Sie wachsen tendenziell mit \(\kappa\), sagen aber nichts über die Schrittzahl.
• Die gemessene Quadratik-Konvergenz ist durch den Exponenten nur grob belegt: Er wurde je Lauf in mehreren Schritten ausgewertet, und der letzte Wert liegt bei den drei Starts zwischen 1,85 und 1,98. In früheren Schritten, bei größerem Fehler, weicht der Exponent deutlich von 2 ab (Nachrechnung dieser Seite, in Worten statt Zahlen). Das passt zu \(e_{k+1}\approx C\,e_k^2\) mit nicht vernachlässigbarem \(\log C\) und ist kein Widerspruch.
• Die 34 Startpunkte sind ein Stichprobenbefund auf einer Funktion. Beim klassischen Startpunkt \((-1{,}2;\ 1{,}0)\) steigt \(f\) im zweiten Schritt auf mehr als das Fünfzigfache des Startwerts, bevor es fällt (Rechnung dieser Seite mit dem Code der Demo). Die Stichprobe stützt die Aussage „kein Scheitern in diesen Läufen“, nicht „das Verfahren scheitert auf der Rosenbrock-Funktion nie“. Eine frühere Vormessung bis Radius 20 fand ebenfalls keinen Fehlschlag, und eine Wiederholung dieser Seite mit mehreren hundert Zufallspunkten in den Quadraten mit Radius 2 und mit Radius 20 ergab ebenfalls keinen Fehlschlag (Rechnung dieser Seite).
• Die Schärfe der Divergenzschwelle belegt die Herleitung (Schritt 4). Die Messung klammert sie nur im Abstand von \(10^{-4}\) bis \(10^{-2}\) ein; die Schwelle selbst (Zweierzyklus) wurde nicht als Messzeile ausgewertet.

Grenzen:

• Keine Sicherung: Liniensuche und Vertrauensbereich fehlen bewusst, damit die Schwäche des reinen Verfahrens sichtbar bleibt. Über gesicherte Varianten sagt die Demo nichts.
• Nur unrestringiert: Nebenbedingungen kommen nicht vor.
• Exakte Ableitungen, kleine Dimension: Gradient und Hesse-Matrix sind von Hand hergeleitet. Der Aufwand je Schritt, die Hesse-Matrix aufzustellen und das Gleichungssystem zu lösen (bei voll besetzter Matrix wächst er mit der dritten Potenz der Dimension, Standardwissen), wird nicht gemessen; interaktiv gilt Dimension 2. Bei indefiniter Hesse-Matrix wird trotzdem gelöst, der Schritt kann dann bergauf führen.
• Lokale Aussagen: Quadratische Konvergenz ist ein Resultat in der Nähe von \(x^*\) unter den Bedingungen von Schritt 3; die Messung zeigt sie nur für drei Starts auf einer Funktion.
• Kein Solver-Vergleich: Die Korrektheit wird gegen das bekannte Optimum und die von Hand hergeleitete Schwelle geprüft, nicht gegen eine Bibliothek.

Erweiterungen und Verweise

Die folgenden Angaben folgen den Beschreibungen anderer Demos der Reihe.

• Vorgänger: Das Gradientenabstieg-Verfahren nutzt nur den Gradienten; Konditionszahl und Schrittweite bestimmen dort die Schrittzahl.
• Krümmung schätzen: Das Quasi-Newton-Verfahren (BFGS, L-BFGS) schätzt die Krümmung aus Änderungen des Gradienten, statt die Hesse-Matrix aufzustellen.
• Sicherungen: Liniensuche und Vertrauensbereich sind eigene Themen, die diese Demo ausdrücklich nicht behandelt.

Quellen

• Nocedal, J. & Wright, S. J. (2006): Numerical Optimization (2. Aufl.). Springer.

Die Quelle stammt aus der Beschreibung der Demo und wurde nicht nachgeschlagen; das Standardresultat zur lokalen Konvergenz ist aus dem Gedächtnis. Die Herleitungen und das Durchrechnen der Log-Beule sind Standardwissen und eigene Rechnung dieser Seite und stehen nicht in der README.