Neuronale Netze erklärt

Ein neuronales Netz lernt aus Beispielen, nicht aus vorgegebenen Regeln. Diese Linie zeigt, wie das geht: von Grund auf in numpy, jede Rückwärtsableitung von Hand hergeleitet und gegen finite Differenzen geprüft. Sie ist die erste Linie dieses Portfolios, die Perceptron, MLP und Backpropagation selbst zum Gegenstand macht, statt sie nur als Werkzeug einzusetzen: mindestens acht bestehende Demos (die ganze Graph-Neural-Network-Linie sowie Autoencoder-, Deep-SVDD-, MAPPO-, Zeitreihen- und Mechanismus-Demos) bauen bereits ein eigenes MLP mit Backpropagation, jeweils nur als Baustein für eine andere Frage.

Drei erzeugte Vehikel tragen die sechs Stücke: zwei Klassen von 2D-Punkten (linear trennbar oder im XOR-Muster) für Perceptron und MLP, kleine Rasterbilder mit einer Form an wechselnder Position für das CNN, und eine Signal-in-Rauschen-Sequenz der Länge T (angelehnt an Hochreiter & Schmidhubers eigene Testaufgaben von 1997) für RNN, LSTM und Attention/Transformer: eine einzige Aufgabe zeigt an einem einzigen Regler T den ganzen Bogen von verschwindendem Gradienten bis zu direktem Zugriff.

In short: Covers neural networks: perceptron, multilayer perceptron (MLP), CNN, RNN, LSTM and attention/transformer, with backpropagation implemented from scratch in numpy. Interactive demos check the derivations numerically and report measured results.

Diese Seite gehört zu Algorithmen und Verfahren erklärt. So lesen Sie sie: Das Diagramm zeigt, wie die Stücke zusammenhängen. Jede Kachel darunter öffnet eine interaktive Demo, wo es eine gibt, mit einer Erklärseite für Einsteiger und Fachleute. Auf der Suche nach einer Lösung für ein konkretes Problem? Zu den Interaktiven Demos.

Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.

Zuletzt aktualisiert: 28. Oktober 2026

Welches Verfahren passt zu Ihrem Fall? Zum Entscheidungsbaum ↓

Zum Nachlesen: erst einfach, dann fachlich

Die sechs Stücke im Überblick

Die Linie hat eine Wurzel und zwei Wege. Das Perceptron ist die Wurzel und scheitert beweisbar an nicht linear trennbaren Daten (Minsky & Papert 1969); MLP + Backpropagation behebt das mit einer verdeckten Schicht und reduziert sich bei 0 Einheiten exakt auf den Vorgänger zurück. Von dort gehen zwei Geschwister aus, die je eine andere Ignoranz gegenüber Datenstruktur beheben: das CNN nutzt räumliche Struktur (Gewichtsteilung über Bildpositionen), das RNN nutzt zeitliche Struktur (ein Zustand über eine Sequenz).

Der RNN-Ast führt weiter: Das RNN scheitert bei langen Sequenzen am verschwindenden Gradienten, das LSTM hält ihn strukturell viel länger (über 60 Zehnerpotenzen mehr bei T=1200), aber selbst das macht das Training bei großem T noch nicht automatisch zuverlässig, wie eine widerlegte Ausgangshypothese im LSTM-Stück zeigt. Attention/Transformer geht das Problem an der Wurzel an: kein Weiterreichen mehr, jeder Ausgabeschritt hat direkten Zugriff auf jeden Eingabeschritt.

Die Kästen sind klickbar und öffnen die jeweilige Demo direkt.

• behebt eine Schwäche des Vorgängers oder baut darauf auf

CNN und RNN sind Geschwister ohne Kante zueinander: sie beheben unterschiedliche Ignoranzen (räumlich gegen zeitlich), keine Alternative zueinander wie bei einer Kontrast-Kante.

Verwandt in anderen Linien

• Graph Neural Networks — Alle sechs Stücke der Graph-Neural-Network-Linie bauen intern ein eigenes MLP mit Backpropagation, etwa das GCN: dort ist es nur Baustein für die Graph-Mechanik, hier (Stück 2) ist es selbst das Thema.
• Dimensionsreduktion — Der Autoencoder nutzt dasselbe MLP-mit-Backpropagation-Fundament aus Stück 2, hier für Dimensionsreduktion statt Klassifikation.
• Anomalie-Erkennung — Die Autoencoder-Anomalie-Erkennung und Deep SVDD setzen dasselbe MLP als Baustein ein, dort für Rekonstruktionsfehler bzw. eine gelernte Kugel statt für Klassifikation.
• Multi-Agenten-Koordination — Das Politiknetz der MAPPO-Demo und das von RegretNet gelernte Zuteilungsnetz sind beides MLPs mit Backpropagation wie in Stück 2, dort als Baustein für Multi-Agenten-Reinforcement-Learning bzw. gelernte Mechanismen.
• Zeitreihen-Prognose — Das Netz der N-BEATS-artigen Prognose-Demo ruht auf demselben Backpropagation-Fundament, hier für Zeitreihen-Prognose statt Klassifikation.
• Nichtlineare Optimierung — Das Training eines neuronalen Netzes IST hochdimensionale, verrauschte, nichtkonvexe Optimierung: Stück 2 fand auf XOR Adam vorn (9/10 gegen 7/10) und Momentum hinten (0/10). Die Stochastische-Gradientenverfahren-Demo der Nichtlineare-Optimierung-Linie prüft denselben Befund auf einer generischen Zielfunktion und findet ihn nur zur Hälfte bestätigt.
• Warteschlangentheorie und Simulation — Das Netz der Surrogat-Demo der Warteschlangen-Linie folgt demselben Backpropagation-Fundament, hier als Ersatzmodell für eine Simulation eingesetzt: es lernt aus wenigen bezahlten Läufen die Gesamtzeit eines Terminal-Netzes, bleibt aber in der Messung bei raumfüllender Auswahl bei etwa 2 bis 3 % Fehler, während ein Gauß-Prozess etwa 1 % erreicht.
• Ranking — Learning to Rank lernt mit einem kleinen Netz und Paar- oder Listenverlusten die Ordnung aus Merkmalen.
• Inverse Probleme und Regularisierung — Die entrollten Netze der Linie Inverse Probleme und Regularisierung trainieren die Schritte eines Iterationsverfahrens als Schichten, mit derselben Rückwärtsrechnung wie das MLP, hier von Hand durch alle Schichten.

Weitere Linien in diesem Bereich