Superposition ist eine der wichtigsten Erkenntnisse der KI-Interpretierbarkeit: Neuronale Netze speichern oft mehr Merkmale, als sie Dimensionen haben. Sie legen Merkmale nicht je auf ein eigenes Neuron, sondern als überlagerte Richtungen im Aktivierungsraum ab. Das erklärt, warum einzelne Neuronen meist mehrdeutig sind sie feuern für ganz verschiedene, unzusammenhängende Dinge. Diese Mehrdeutigkeit heißt Polysemantizität.
Schaut man, worauf ein einzelnes Neuron reagiert, findet man oft eine wilde Mischung: dasselbe Neuron feuert für Katzengesichter, für die Vorderseite von Autos und für bestimmte juristische Begriffe. Es trägt offenbar keine einzelne, saubere Bedeutung. Superposition liefert die Erklärung: Das Netz presst viele Merkmale in zu wenige Neuronen.
Der Schlüssel: Ein Merkmal entspricht nicht einer Achse (einem Neuron), sondern einer Richtung im Raum der Aktivierungen. In zwei Dimensionen kann man so leicht drei, vier oder fünf Richtungen unterbringen mehr Merkmale als Achsen. Solange selten zwei Merkmale gleichzeitig aktiv sind, stören sie sich kaum.
Die Toy-Models von Anthropic zeigen: Das Netz ordnet die Richtungen nicht zufällig, sondern in regelmäßigen geometrischen Mustern, die die Interferenz minimieren. Je nach Bedingungen entstehen gegenüberliegende Paare (Digon), Dreiecke, Pentagone oder komplexere Strukturen kleine „Kristalle" im Aktivierungsraum.
Superposition funktioniert nur, weil reale Merkmale spärlich (sparse) sind: Von tausenden möglichen Konzepten sind in jedem einzelnen Input nur wenige aktiv. Ein Text handelt selten gleichzeitig von Katzen, Steuerrecht und Vulkanen. Je spärlicher die Merkmale, desto mehr lassen sich gefahrlos überlagern. Beim Erhöhen der Sparsity gibt es regelrechte Phasenübergänge: Das Netz springt von „dediziertem Neuron" zu „überlagert" zu „ganz verworfen".
Superposition ist der Grund, warum man ein Netz nicht einfach Neuron für Neuron lesen kann die Bedeutung steckt in überlagerten Richtungen. Die Folgefrage lautet: Wie zieht man die einzelnen, sauberen Merkmale wieder heraus? Genau das leisten Sparse Autoencoders, und es ist die Grundlage der mechanistischen Interpretierbarkeit.