Feature Visualization beantwortet eine einfache Frage: Worauf reagiert ein bestimmtes Neuron oder Merkmal eigentlich? Statt das Netz mit fertigen Bildern zu füttern und zuzusehen, dreht man den Spieß um man erzeugt das Bild, das ein Neuron maximal aktiviert. Das Ergebnis macht sichtbar, welches Muster das Neuron „sucht".
Normalerweise sind die Gewichte fest und das Bild ist die Eingabe. Bei Feature Visualization friert man die Gewichte ein und macht das Bild selbst zur Variablen. Man startet mit Rauschen und verändert die Pixel Schritt für Schritt per Gradientenaufstieg so, dass die Aktivierung des Zielneurons immer größer wird. Am Ende zeigt das Bild das bevorzugte Muster des Neurons.
Wendet man das auf alle Schichten an, zeigt sich eine schöne Ordnung: Frühe Schichten suchen einfache Dinge (Kanten, Farben), mittlere Schichten Texturen und Teile (Augen, Räder), späte Schichten ganze Objekte (Gesichter, Autos). Das Netz baut Komplexes aus Einfachem zusammen.
Reine Optimierung erzeugt psychedelische, sich wiederholende Muster statt klarer Fotos das Netz mag extreme, unnatürliche Pixelkombinationen, die in echten Bildern nie vorkommen. Damit das Ergebnis deutbar bleibt, fügt man Regularisierung hinzu (leichtes Glätten, kleine Verschiebungen pro Schritt), die das Bild näher an natürliche Strukturen zwingt.
Feature Visualization war eines der ersten Fenster ins Innere von Netzen und ist heute fester Teil der mechanistischen Interpretierbarkeit: Sie gibt den abstrakten Merkmalen ein Gesicht und hilft, Polysemantizität zu erkennen, wenn ein Neuron mehrere unzusammenhängende Muster zugleich zeigt.