Inverse Probleme und Regularisierung erklärt
Sechzehn Stücke mit demselben wachsenden Beispiel: Ein Signal wird mit einem unscharfen Messgerät und etwas Rauschen gemessen, und gesucht ist das wahre Signal, eine Entfaltung auf 48 Gitterpunkten. Das Orakel ist die bekannte, simulierte Wahrheit: Jedes Verfahren wird an ihr gemessen, nie an einem einzelnen Zufallslauf, und die geschlossene Lösung, der exakte Gauß-Posterior oder ein Brute-Force-Entwurf dient als Gegenprobe. Die Wurzel ist das schlecht gestellte Problem; jedes Folgestück behebt eine Schwäche des Vorgängers, vom Strafterm über Abbruch, Parameterwahl, Vorwissen, Bayes-Sicht und Sampling bis zu gelernten Priors.
Mehrere Stücke enden mit einem Negativbefund: Genauer zu messen macht es schlimmer, die Wahl des Parameters ohne Wahrheit scheitert je nach Regel, ein Prior gewinnt nur in der Welt, zu der er passt, und eine Abdeckung gilt nur für die Welt, auf der sie kalibriert wurde. Ehrliche Einschränkung: Alles ist simuliert, das Beispiel ist eindimensional und der Operator bis auf ein Stück linear, und die Aussagen gelten für diesen Generator mit seinen Annahmen. Alle Stücke teilen denselben Generator, damit dieselbe Welt in jedem Stück wiederkehrt; die Demos prüfen ihren Kern gegen eine unabhängige Referenz (Orakel-Tests) und messen auf festen Zufallsströmen.
In short: Covers inverse problems and regularization: ill-posed problems, Tikhonov regularization, truncated SVD, parameter choice, sparsity and total variation, Bayesian MAP and posterior sampling, blind deconvolution and learned priors. Interactive demos run on one deconvolution example with a known truth.
Diese Seite gehört zu Algorithmen und Verfahren erklärt. So lesen Sie sie: Das Diagramm zeigt, wie die Stücke zusammenhängen. Jede Kachel darunter öffnet eine interaktive Demo, wo es eine gibt, mit einer Erklärseite für Einsteiger und Fachleute. Auf der Suche nach einer Lösung für ein konkretes Problem? Zu den Interaktiven Demos.
Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.
Zuletzt aktualisiert:
Welches Verfahren passt zu Ihrem Fall? Zum Entscheidungsbaum ↓
Zum Nachlesen: erst einfach, dann fachlich
Inverse Probleme verständlich erklärt
Warum eine unscharfe, verrauschte Messung sich nicht einfach zurückrechnen lässt und feineres Rechnen das Ergebnis verschlechtern kann: erst für Einsteiger ohne Formeln, dann für Fachleute mit Modell, Formeln und Messwerten.
Die 16 Stücke im Überblick
Das schlecht gestellte Problem ist die Wurzel: Genauer zu messen macht es schlimmer. Daraus folgt der Strafterm (Tikhonov), und von dort zweigt die Linie nach der Schwäche, die jeweils behoben wird: der harte Schnitt (abgeschnittene SVD), die Wahl des Parameters ohne Wahrheit, der Abbruch statt der Strafe, Vorwissen über die Gestalt (Sparsity und Total Variation) und die Bayes-Sicht, in der der Strafterm ein Prior ist. Aus ihr folgen das Abtasten des Posteriors (Sampling) und, zusammen mit der nichtlinearen Welt, das Verfahren ohne Ableitung (Ensemble-Kalman-Inversion); die Auflösung fragt, was die Daten überhaupt bestimmen und wo man messen sollte.
Fehlt der Kern der Unschärfe, entsteht die blinde Entfaltung. Aus dem Vorwissen über die Gestalt wird Plug-and-Play, in dem ein Denoiser den Prior ersetzt; es führt zu den entrollten Netzen, die die Schritte lernen, und zum Diffusions-Prior, der den Prior als Score darstellt. Mehrere Stränge münden im Verfahrensvergleich: Welches Verfahren ist in welcher Welt gut, und woran merkt man es, wenn man die Wahrheit nicht kennt?
Die Kästen sind klickbar und öffnen die jeweilige Demo direkt.
- behebt eine Schwäche des Vorgängers oder baut darauf auf
- Gegenstück: derselbe Zweck, andere Bauweise (kein Fix)
- übernimmt nur eine Idee
- Zusammenfluss mehrerer Stränge
- Baustein aus einer anderen Linie
Gestrichelt umrandete Knoten sind Demos aus anderen Linien: das Kalman-Filter der Zustandsschätzung, die Backpropagation im MLP, das Newton-Verfahren der nichtlinearen Optimierung, die ICA der Quellentrennung und die PCA der Dimensionsreduktion.
Verwandt in anderen Linien
- Zustandsschätzung und Filter — Das Kalman-Update, das die Bayes-Sicht und die Ensemble-Kalman-Inversion benutzen, ist der Schritt des Kalman-Filters: Dort läuft er Messung für Messung über die Zeit, hier einmal über das ganze Signal, und das Ensemble ersetzt die Kovarianzen durch Stichproben.
- Neuronale Netze — Die entrollten Netze trainieren mit Backpropagation wie das MLP, nur dass die Schichten die Schritte eines Iterationsverfahrens sind und die Gradienten von Hand durch alle Schichten zurückgerechnet werden.
- Nichtlineare Optimierung — Gradientenabstieg, Gauss-Newton und Levenberg-Marquardt lösen hier die nichtlineare inverse Aufgabe: Das Newton-Verfahren nutzt die Krümmung, Gauss-Newton ersetzt sie durch die Jacobi-Matrix, die der adjungierte Gradient billig liefert.
- Quellentrennung — Die blinde Entfaltung schätzt Kern und Signal gemeinsam, wie die ICA Mischung und Quellen: Beide sind ohne Zusatzwissen mehrdeutig, und beide brauchen eine Annahme über die Quellen, hier Dünnheit statt Nicht-Gaußianität.
- Dimensionsreduktion — Die abgeschnittene SVD behält die ersten Komponenten wie die PCA: Dort sind es die Richtungen größter Streuung der Daten, hier die Richtungen, in denen die Messung das Signal noch über dem Rauschen sieht.
- Spektral- und Wavelet-Analyse — Die Wavelet-Schrumpfung setzt kleine Wavelet-Koeffizienten per weicher oder harter Schwelle auf null: dieselbe weiche Schwelle, die in ISTA die L1-Strafe löst, nur auf Wavelet-Koeffizienten statt auf das Signal selbst; die Wavelet-Schrumpfung misst, wann welche Schwelle gewinnt.
Das schlecht gestellte Problem: genauer messen macht es schlimmer
Sehen Sie, wie eine unscharfe, leicht verrauschte Messung einfach zurückgerechnet wird: Die direkte Inversion verstärkt das Rauschen und liegt bei 258 % der Signalnorm daneben. Ein feineres Gitter hilft zuerst (4,2 % bei 32 Punkten) und schadet danach. Der Haken: Erzeugt man die Testdaten mit demselben Gitter, mit dem man danach rechnet, sieht man bei einem groben Gitter 0,09 % statt der wahren 24 %.
Verständlich erklärt: erst für Einsteiger, dann für Fachleute
Demo starten →Tikhonov-Regularisierung: ein Strafterm gegen das Rauschen
Verfolgen Sie, wie ein Strafterm auf die Größe der Lösung das verstärkte Rauschen dämpft: Der erwartete Fehler sinkt von 247 % auf 11,7 % der Signalnorm. Ein Regler für den Strafparameter zeigt das Tal des Fehlers: Zu wenig Strafe ist viel teurer als zu viel, ein Zehntel des besten Parameters kostet 20,2 %, das Zehnfache nur 13,5 %. Der Haken: Ein Rest bleibt, weil der Strafterm die Lösung auch verzerrt.
Demo starten →Abgeschnittene SVD: der harte Schnitt gegen das Rauschen
Sehen Sie, wie man statt einer weichen Strafe ab der k-ten Komponente hart abschneidet: Mit dem besten Rang 33 von 48 liegt der Fehler bei 11,4 %, kaum anders als bei Tikhonov mit 11,7 %. Der Vergleich über Rauschstufen und Matrizen zeigt, dass keiner der beiden Wege grundsätzlich besser ist. Der Haken: Zu viele Komponenten sind teurer als zu wenige, aber erst ab etwa drei zu viel.
Demo starten →Parameterwahl ohne Wahrheit: GCV, Diskrepanzprinzip, L-Kurve
Verfolgen Sie, wie man den Strafparameter aus den Daten allein wählt. Das Diskrepanzprinzip, das das Rauschniveau braucht, scheitert bei ehrlichen Daten in 0 % der Läufe, die Kreuzvalidierung (GCV) in 15 %, die L-Kurve in 68 %. Der Haken: Bei fast rauschfreien Daten, die mit demselben Gitter erzeugt wurden wie die Rechnung, scheitert auch das Diskrepanzprinzip in 99 % der Läufe.
Demo starten →Iterative Regularisierung: Landweber, CGLS und der Abbruch als Parameter
Sehen Sie, wie die Zahl der Iterationen selbst regularisiert: Der Fehler von CGLS fällt bis Schritt 30 auf 11,6 % und steigt danach steil an, dieselbe Halbkonvergenz wie beim Strafterm. Landweber braucht dafür 8 913 Schritte, verzeiht den Abbruch aber. Der Haken: Zu spät abzubrechen kostet viel mehr als zu früh (45,1 % bei Schritt 40).
Demo starten →Sparsity und Total Variation: passt der Prior zur Welt?
Verfolgen Sie, wie Vorwissen über die Gestalt der Lösung (wenige Ausschläge oder wenige Sprünge) die Rekonstruktion verbessert: Bei Spitzen sinkt der Fehler von 35,7 % bei Tikhonov auf 0,09 % bei L1, bei Blöcken gewinnt Total Variation. Der Haken: Jeder Prior gewinnt nur in der Welt, zu der er passt. Beim glatten Phantom liegt L1 bei 34,9 %, und Total Variation formt Terrassen.
Demo starten →Bayes-Sicht: Was das MAP verschweigt
Sehen Sie, wie der Strafterm als Prior gelesen wird und der Posterior sagt, wie sicher man sein darf: Stammt die Wahrheit aus dem Prior, deckt ein Intervall mit dem Sollwert 95 % tatsächlich 95,2 %. Der Haken: Beim Phantom, das nicht aus dem Prior stammt, sind es nur 64 %, obwohl der Fehler mit 12,2 % klein ist.
Demo starten →Posterior-Sampling: Wann konvergiert die Kette?
Sehen Sie, wie eine Markov-Kette den Posterior abtastet, wenn die geschlossene Form fehlt, und woran man erkennt, dass sie stimmt. Mit mehr Information in den Daten braucht der Sampler immer kleinere Schritte (pCN: 0,030, dann 0,0031, dann 0,00031). Der Haken: Startet die Kette im Prior statt am MAP, erreicht sie den Posterior nicht (Gelman-Rubin-Maß 2,19 statt 1,01).
Demo starten →Nichtlineare inverse Probleme: Wann trägt die Linearisierung?
Verfolgen Sie, wie man den Anfangswert einer Wärmeleitung mit Reaktion zurückrechnet: Gauss-Newton ist nach wenigen Iterationen fertig, der Gradientenabstieg nach 500 noch nicht, und der adjungierte Gradient kostet einen Vorwärtslauf statt Hunderter. Der Haken: Wer die Nichtlinearität ignoriert, hat bei mittlerer Reaktionsstärke 30,1 % Fehler statt 8,0 %, und bei sehr starker Reaktion versagen beide.
Demo starten →Ensemble-Kalman-Inversion: Wie groß muss das Ensemble sein?
Sehen Sie, wie ein Ensemble von Kandidaten die Kovarianzen für das Kalman-Update schätzt, ganz ohne Ableitung. Für den exakten Posterior braucht es viele Mitglieder: Erst bei 400 trifft die Streuung mit dem Verhältnis 0,96. Eine Lokalisierung rettet ein kleines Ensemble. Der Haken: In der nichtlinearen Welt ist ein einzelnes Update viel zu breit (3,17-fach), erst vier Schritte treffen.
Demo starten →Auflösung und Messorte: Wo soll man messen?
Sehen Sie, was die Daten überhaupt bestimmen und wo man messen sollte, wenn nur wenige Orte erlaubt sind. Jeder Messort bestimmt genau eine Richtung; bei allen 48 Orten begrenzt das Rauschen die Zahl auf 30, nicht der Rang. Der Haken: Ein im Modell bester Entwurf ist es für die Wahrheit nicht unbedingt, die Rangordnung der Entwürfe stimmt bei Prior-Ziehungen mit dem Fehler überein (Rangkorrelation 0,85), beim Phantom kaum (0,05).
Demo starten →Blinde Entfaltung: Kern und Signal gemeinsam schätzen
Verfolgen Sie, ob sich der Kern der Unschärfe zusammen mit dem Signal aus den Daten schätzen lässt. Die Aufgabe ist zum Teil exakt mehrdeutig: Ein breiterer Gauß-Hügel mit kleinerem Kern erklärt dieselben Daten. Der Haken: Das Ziel zeichnet das wahre Paar nicht aus, denn das Paar ohne Unschärfe hat in 9 von 9 Zellen den kleineren Wert, und die Alternierung bleibt bei ihrem Start.
Demo starten →Plug-and-Play: Der Denoiser ist der Prior
Sehen Sie, was passiert, wenn man in ISTA den Prox-Schritt durch einen Denoiser ersetzt. Er hilft nur, wenn er zur Welt passt: Bei Spitzen erreicht nur die Weichschwelle 8,7 %, die anderen vier liegen bei 61,3 bis 64,9 %. Der Haken: Der Denoiser ersetzt den Abbruch nicht, und der schnelle FISTA-Impuls macht jeden Denoiser schlechter (Weichschwelle von 6,1 auf 18,5 %).
Demo starten →Entrollte Netze: ISTA mit gelernten Parametern
Sehen Sie, wie man die Schritte von ISTA als Schichten eines Netzes trainiert: Zehn Schichten ersetzen in der Spitzen-Welt etwa 300 ISTA-Schritte (Fehler rund 20 % statt 73,4 %). Der Haken: Das Netz gilt nur für seine Trainingswelt. Auf Blöcken steigt der Fehler auf 50,7 %, bei wenigen Trainingssignalen lernt es sie auswendig, und das exakte L1 ist bei Spitzen weit besser.
Demo starten →Diffusions-Prior: Posterior-Sampling aus einem Score
Verfolgen Sie, wie ein Diffusionsmodell mit bekanntem Score Proben aus dem Posterior zieht und woran man Näherungen erkennt. Mit dem exakten bedingten Score stimmen die Gewichte der Blockzahl (Totalvariation höchstens 0,034), nur die Streuung ist bei wenigen Schritten zu klein (0,49). Der Haken: Die Näherung DPS verfehlt die Daten um das 12- bis 52-Fache der Rauschgrenze, und ein Score der Trainingsdaten kopiert sie (100 % Kopien).
Demo starten →Verfahrensvergleich: welches Verfahren, gemessen woran?
Sehen Sie, wie acht Verfahren auf sechs Wahrheitsfamilien gegeneinander antreten: L1 gewinnt bei Spitzen mit 0,8 %, Total Variation bei Blöcken mit 2,9 %, die Mischung in ihrer eigenen Welt. Der Haken: Der Datenrest unterscheidet die Verfahren nicht (Fehler von 8 bis 82 % bei gleichem Rest), und die Abdeckung eines Bands gilt nur für die Welt, auf der es kalibriert wurde.
Demo starten →Welches Stück passt zu meiner Frage?
Ein Entscheidungsbaum über alle sechzehn Stücke: Er fragt nach dem, was an der Rückrechnung schwierig ist, nicht nach dem Verfahren.
Beige Kästen sind Fragen (nicht klickbar), weiße Kästen sind Ergebnisse (klickbar, sie öffnen die jeweilige Demo). Alle Antworten sind durch die Messreihen der Demos belegt (siehe jede README), auch dort, wo kein Verfahren hilft: Passt keine Annahme zur Welt, liefert jedes Verfahren der Linie eine Zahl, und weder der Datenrest noch die Abdeckung warnt davor.
Weitere Linien in diesem Bereich
Quellentrennung
Aus gemischten Messungen die Quellen zurückgewinnen, am Beispiel Spike-Sorting: ICA, SOBI, SCA, NMF, Pipeline, Vorlagenabgleich und der Verzögerungsgraph aus meiner Dissertation.
Zustandsschätzung und Filter
Ein Lieferfahrzeug, das nur über verrauschte Messungen bekannt ist, neun Stücke: vom Kalman-Filter über Glätter, Ausreißerschutz und HMM bis zu Partikelfilter, Mehrzielverfolgung, IMM und Baum-Welch.
Spektral- und Wavelet-Analyse
Eine endliche, verrauschte Aufzeichnung und die Frage, welche Frequenzen darin stecken und wie sie sich mit der Zeit ändern: sechzehn Stücke vom Periodogramm über Fenster, Modelle und Wavelets bis zum Verfahrensvergleich.