Ein Embedding übersetzt etwas Bedeutungsvolles ein Wort, einen Satz, ein Bild in einen Vektor, also eine Liste von Zahlen, die einen Punkt in einem hochdimensionalen Raum angibt. Der Trick: Der Raum ist so gebaut, dass Nähe Bedeutung ausdrückt. Ähnliche Dinge liegen nah beieinander, unähnliche weit auseinander. Bedeutung wird zu Geometrie die Grundlage, auf der moderne KI Sprache und Wissen verarbeitet.
Der Raum ordnet sich nach Bedeutung. „Katze" und „Hund" liegen nah beieinander (beide Haustiere), „Auto" weit weg. Man misst Ähnlichkeit meist über den Winkel zwischen den Vektoren (Kosinus-Ähnlichkeit): kleiner Winkel = ähnlich. So bilden sich Cluster verwandter Begriffe.
Das Erstaunlichste: Nicht nur Orte, auch Richtungen im Raum haben Bedeutung. Die Verschiebung von „Mann" zu „Frau" ist derselbe Vektor wie von „König" zu „Königin" die Richtung kodiert „Geschlecht". Deshalb funktioniert die berühmte Rechnung König − Mann + Frau ≈ Königin.
Echte Embeddings haben hunderte Dimensionen unmöglich direkt zu sehen. Verfahren zur Dimensionsreduktion (t-SNE, UMAP) projizieren sie auf zwei Dimensionen und erhalten dabei die Nachbarschaften, sodass Cluster sichtbar werden. Das passt zur Mannigfaltigkeits-Hypothese: Die sinnvollen Punkte liegen auf einer niedrigdimensionalen, gekrümmten Fläche im großen Raum.
| Anwendung | Rolle des Embeddings |
|---|---|
| Semantische Suche / RAG | Frage und Dokumente vergleichbar machen |
| Empfehlungen | ähnliche Produkte/Songs finden |
| Übersetzung | Bedeutung sprachübergreifend ausrichten |
| Sprachmodelle | Eingabe-Tokens als Vektoren verarbeiten |
| Clustering | Themen automatisch gruppieren |
Embeddings sind das Bindeglied vieler Themen dieses Wikis: Sie tragen die Geometrie, die neuronale Netze erzeugen, sie machen Superposition anschaulich, und sie sind die Währung von Suche und Abruf.