Ein Sprachmodell speichert sein Wissen in den Gewichten eingefroren zum Trainingszeitpunkt. Das hat zwei Probleme: Das Wissen veraltet, und das Modell „erinnert" sich ungenau und erfindet manchmal Details (Halluzination). Retrieval-Augmented Generation löst beides, indem es das Modell vor dem Antworten in einer externen Wissensquelle nachschlagen lässt. Relevante Textstücke werden abgerufen und der Frage beigelegt; das Modell antwortet dann auf Basis dieser Belege statt aus dem Gedächtnis.
Klassische Suche findet nur exakte Wörter. RAG nutzt Embeddings: Frage und jedes Wissensstück werden in Vektoren übersetzt, deren Nähe inhaltliche Ähnlichkeit bedeutet. So findet die Frage „Wie heiß wird ein Motor?" auch einen Text über „Verbrennungstemperatur im Zylinder", obwohl kein Wort übereinstimmt.
| Problem reines LLM | Wie RAG hilft |
|---|---|
| Wissen veraltet (Trainingsstand) | Datenbank lässt sich jederzeit aktualisieren |
| Halluzinationen | Antwort an abgerufene Belege gebunden |
| Kein Zugriff auf private Daten | eigene Dokumente in die DB legen |
| Quelle unklar | abgerufene Stücke als Zitat ausweisbar |
| Großes Modell für alles nötig | kleineres Modell + gute Suche reicht oft |
RAG verschiebt also Wissen aus den Gewichten in eine austauschbare Datenbank. Das Modell wird zum Schließer über Belege statt zum Auswendiglerner. Verwandt ist die Idee, Abruf direkt in die Architektur einzubauen (Retrieval-Transformer).