Ein neuronales Netz ist eine Kette einfacher Rechenschritte, die zusammen eine komplizierte Funktion bilden. Es lernt nicht durch Programmierung, sondern indem es aus Beispielen seine internen Zahlen (Gewichte) so anpasst, dass seine Vorhersagen besser werden. Das Verfahren dafür heißt Backpropagation: Es verteilt den gemessenen Fehler rückwärts über alle Schichten und sagt jedem Gewicht, in welche Richtung es sich ändern soll.
Die kleinste Einheit. Ein Neuron nimmt mehrere Eingaben, multipliziert jede mit einem Gewicht, addiert alles plus einen Bias, und schickt das Ergebnis durch eine Aktivierungsfunktion. Diese Funktion ist nichtlinear ohne sie wäre das ganze Netz nur eine einzige lineare Abbildung, egal wie viele Schichten.
Die Nichtlinearität gibt dem Netz seine Ausdruckskraft. Zwei verbreitete Funktionen:
Viele Neuronen in Schichten gestapelt ergeben ein tiefes Netz. Die Eingabeschicht nimmt die Daten, verborgene Schichten (hidden layers) bauen schrittweise abstraktere Merkmale, die Ausgabeschicht liefert das Ergebnis. Information fließt im Forward Pass von links nach rechts.
Nach dem Forward Pass vergleicht eine Verlustfunktion die Vorhersage mit der Wahrheit und gibt eine einzige Zahl: wie falsch das Netz lag. Ziel des Trainings ist, diese Zahl zu minimieren. Stellt man sich den Verlust als Landschaft über allen möglichen Gewichten vor, sucht das Training den tiefsten Punkt.
Um zu wissen, wie jedes einzelne Gewicht den Fehler beeinflusst, braucht man die Ableitung des Verlusts nach diesem Gewicht. Bei Millionen Gewichten wäre das einzeln undenkbar. Backpropagation nutzt die Kettenregel und berechnet alle Ableitungen in einem einzigen Rückwärtslauf: Der Fehler an der Ausgabe wird Schicht für Schicht nach links durchgereicht, wobei jede Schicht ihren Beitrag erhält.
Eine erhellende Perspektive (colah): Jede Schicht verformt den Raum. Daten, die in der Eingabe ineinander verschlungen sind, werden Schicht für Schicht gebogen und gestreckt, bis sich die Klassen mit einer einfachen Linie trennen lassen. Lernen heißt dann: die richtige Verformung finden.
| Schritt | Was passiert |
|---|---|
| 1. Forward Pass | Eingabe durch das Netz → Vorhersage |
| 2. Verlust | Vorhersage mit Wahrheit vergleichen → eine Fehlerzahl |
| 3. Backward Pass | Fehler rückwärts → Gradient für jedes Gewicht |
| 4. Update | jedes Gewicht ein kleines Stück gegen seinen Gradienten |
| 5. Wiederholen | über viele Beispiele, bis der Verlust klein ist |