← Übersicht

Retrieval-Augmented Generation (RAG)

Ein Sprachmodell speichert sein Wissen in den Gewichten eingefroren zum Trainingszeitpunkt. Das hat zwei Probleme: Das Wissen veraltet, und das Modell „erinnert" sich ungenau und erfindet manchmal Details (Halluzination). Retrieval-Augmented Generation löst beides, indem es das Modell vor dem Antworten in einer externen Wissensquelle nachschlagen lässt. Relevante Textstücke werden abgerufen und der Frage beigelegt; das Modell antwortet dann auf Basis dieser Belege statt aus dem Gedächtnis.

Die Pipeline

Frage des Nutzers → Vektor Vektor-DB (Wissens- stücke) Top-k Treffer LLM belegte Antwort
Frage → in Vektor umwandeln → ähnlichste Wissensstücke aus der Datenbank holen → Frage und Belege ans Modell → Antwort. Frage und Treffer fließen gemeinsam ins LLM.

Der Kern: Suche über Bedeutung, nicht über Wörter

Klassische Suche findet nur exakte Wörter. RAG nutzt Embeddings: Frage und jedes Wissensstück werden in Vektoren übersetzt, deren Nähe inhaltliche Ähnlichkeit bedeutet. So findet die Frage „Wie heiß wird ein Motor?" auch einen Text über „Verbrennungstemperatur im Zylinder", obwohl kein Wort übereinstimmt.

Frage ○ = Wissensstücke; nahe = relevant
Im Embedding-Raum liegen relevante Stücke nahe an der Frage. Die k nächsten werden abgerufen.

Was RAG bringt

Problem reines LLMWie RAG hilft
Wissen veraltet (Trainingsstand)Datenbank lässt sich jederzeit aktualisieren
HalluzinationenAntwort an abgerufene Belege gebunden
Kein Zugriff auf private Dateneigene Dokumente in die DB legen
Quelle unklarabgerufene Stücke als Zitat ausweisbar
Großes Modell für alles nötigkleineres Modell + gute Suche reicht oft

RAG verschiebt also Wissen aus den Gewichten in eine austauschbare Datenbank. Das Modell wird zum Schließer über Belege statt zum Auswendiglerner. Verwandt ist die Idee, Abruf direkt in die Architektur einzubauen (Retrieval-Transformer).

Quellen

Verwandte Themen