Wegen Superposition sind die Aktivierungen eines Netzes ein verworrenes Gemisch: viele Merkmale, überlagert in wenigen Neuronen. Ein Sparse Autoencoder (SAE) ist das Werkzeug, um dieses Gemisch wieder zu entwirren. Er lernt, die Aktivierungen in sehr viele Bausteine zu zerlegen, von denen jeder möglichst nur eine Bedeutung trägt sogenannte monosemantische Merkmale.
Ein Autoencoder presst Daten durch einen Engpass und baut sie wieder auf. Ein Sparse Autoencoder dreht den Spieß um: Statt eines Engpasses hat seine mittlere Schicht viel mehr Einheiten als die Eingabe aber mit der Auflage, dass nur ganz wenige davon gleichzeitig aktiv sein dürfen (Sparsity). Diese wenigen aktiven Einheiten sind die herausgezogenen Merkmale.
Ein SAE wird auf zwei gegensätzliche Ziele zugleich trainiert. Die Balance zwischen ihnen entscheidet über die Qualität der gefundenen Merkmale.
| Ziel | Bedeutung | Drückt in Richtung |
|---|---|---|
| Rekonstruktion | Ausgabe soll der Eingabe gleichen | mehr aktive Einheiten |
| Sparsity | so wenige aktive Einheiten wie möglich | weniger aktive Einheiten |
Das Ergebnis ist der eigentliche Gewinn: Wo vorher ein Neuron für Katzen, Autos und Jura zugleich feuerte, findet der SAE getrennte Merkmale eines rein für Katzen, eines rein für Autos. Anthropic konnte so tausende saubere, benennbare Merkmale aus einem Modell herausziehen (z. B. „Golden Gate Bridge", „DNA-Sequenzen", „Schmeichelei").
Sparse Autoencoders sind aktuell das wichtigste Werkzeug, um in das Innere großer Modelle zu schauen. Sie verwandeln undeutbare Aktivierungen in eine Liste benennbarer Merkmale die Bausteine, aus denen sich Schaltkreise rekonstruieren lassen, und ein praktischer Hebel, um Modellverhalten gezielt zu verstehen oder zu beeinflussen.