Was ist Retrieval Augmented Generation (RAG) und wie funktioniert es?
Seit Ende 2022 gehören Sprachmodelle wie ChatGPT, Claude oder Gemini für viele Menschen zum Arbeitsalltag. Technisch gesehen besitzen diese Large Language Models (LLMs) jedoch kein Wissen im eigentlichen Sinn. Sie beruhen auf Next-Word-Prediction und sagen auf Grundlage der vorangegangenen Wörter „nur“ das nächste vorher. Durch die enormen Mengen an Trainingsdaten und Modellparametern erkennen und reproduzieren sie dabei komplexe sprachliche und inhaltliche Muster. Das hat Grenzen, vor allem bei sehr spezifischem oder hochaktuellem Wissen, auf das Anbieter wie OpenAI beim Training keinen Zugriff hatten.
RAG (Retrieval Augmented Generation) löst dieses Problem, indem es dem Sprachmodell vor jeder Antwort passende Informationen aus den eigenen Daten mitgibt, etwa aus Produktdokumentation, Handbüchern oder internen Richtlinien. So beruht die Antwort auf Unternehmenswissen und nicht nur auf allgemeinen Trainingsdaten. Dieser Artikel erklärt, wie ein RAG-System aufgebaut ist, welche Varianten es gibt, insbesondere Vector RAG und Graph RAG, und was über die Qualität entscheidet.
Wo Sprachmodelle im Unternehmen an Grenzen stoßen
Im Unternehmen zeigt sich schnell eine Grenze: Ein Sprachmodell kennt nur, womit es trainiert wurde. Das sind vor allem öffentlich verfügbare Texte, etwa aus Wikipedia, Nachrichten oder dem sogenannten CommonCrawl. Produktdaten, technische Dokumentation, interne Richtlinien oder Kundenhistorien eines Unternehmens sind darin nicht enthalten.
Fragt man ein Modell nach solchem Wissen, etwa nach der Kompatibilität zweier eigener Produkte, halluziniert es möglichkerweise. Erfindet es also eine Antwort, die plausibel klingt, aber falsch ist.
Hinzu kommt der Trainingsstichtag: Was danach veröffentlicht oder geändert wurde, kennt das Modell nicht. Es sei denn, es wird nachtrainiert oder bekommt das fehlende Wissen bei jeder Anfrage explizit mitgeliefert. Genau hier setzt RAG an.
Was ist RAG und wie funktioniert es?
RAG steht für Retrieval Augmented Generation. Auf Deutsch lässt es sich übersetzen als „um Abfragen erweiterte Generierung“. RAG ist ein Prozess zur Optimierung und Spezialisierung von LLM-Ausgaben. Im Wesentlichen geht es dabei darum, dass wir das implizit gelernte Wissen eines LLMs um anwendungsspezifische Informationen erweitern. Das LLM ist anschließend in der Lage, anwendungsspezifische Anfragen eines Users auf Grundlage seiner Wissenserweiterung korrekt zu beantworten.
Wie die Informationen abgerufen werden, legt der Begriff RAG nicht fest. Am weitesten verbreitet ist die Suche über eine Vektordatenbank, auch Vector RAG genannt, und an diesem Beispiel erklären wir den Aufbau im Folgenden. Seit 2024 setzt sich daneben Graph RAG durch, bei dem der Abruf über einen Wissensgraphen läuft. Beide Varianten stellen wir weiter unten im Überblick gegenüber.
In der einfachsten Form baut der RAG-Prozess auf drei Komponenten auf:
- Einer Vektodatenbank, in der anwendungsspezifische Informationsblöcke gespeichert werden.
- Einem Retrieval-System, welches die Vektordatenbank nach anfragerelevanten Informationen durchsucht.
- Dem LLM, das userfreundliche Antworten aus den gefundenen Informationen generiert.
Das Rückgrat eines RAG-Systems bildet die Vektordatenbank, in welcher die Informationen, die zur Beantwortung von anwendungsspezifischen Anfragen benötigt werden, gespeichert sind. Um diese aufzubauen, werden im wesentlichen folgende sechs Schritte durchgeführt:
- Sammlung von Dokumenten (z.B. PDF-Dokumente) mit anwendungsspezifischen Informationen und Daten.
- Aufbereitung der Dokumente, also beispielsweise Konvertierung von PDF-Dokumenten in maschinenlesbaren Text.
- Festlegung einer sogenannten Chunking Strategie, mithilfe derer die Dokumente in Informationsblöcke zerlegt werden.
- Generierung der Informationsblöcke („Chunks“) auf Grundlage der zuvor festgelegten Strategie.
- Überführung der Chunks in Zahlenreihen (Vektoren). Dieser Schritt wird auch als Embedding bezeichnet.
- Speichern der überführten Chunks in der Vektordatenbank.
Wie funktioniert das Retrieval System?
Texte, also einzelne Wörter, Sätze oder ganze Informationsblöcke, werden in numerische Vektoren umgewandelt. Jeder Text wird so als Zahlenreihe dargestellt. Das Spannende an Vektoren ist, dass sich mit ihrer Hilfe semantische Ähnlichkeiten und Zusammenhänge zwischen Texten berechnen lassen. Da Vektoren sehr schnell verglichen werden können, lassen sich mit einem Retrieval-System inhaltlich ähnliche Dokumente auffinden.
RAG-Prozess
Der User schickt eine Anfrage an das System. Diese Anfrage wird mit demselben Verfahren aus Schritt 5 in einen Vektor umgewandelt.
Basierend auf dem Vektor der Anfrage wird in der Vektordatenbank nach relevanten Informationen gesucht.
Diese Daten werden dann abgerufen (retrieved) und nach unterschiedlichen Faktoren bewertet, geranked und die Top-Ergebnisse anschließend konsolidiert. Diese Daten und Dokumente stellen den Kontext dar, mit welchem die Anfrage des Users angereichert wird.
Die Anfrage sowie der zuvor ermittelte Kontext werden anschließend an das LLM übergeben. Dieses generiert mithilfe der zusätzlichen Informationen eine passende Antwort und spielt sie dem User abschließend zurück.
Übersicht der RAG Architektur und Prozess
RAG-Varianten: Vector RAG, Graph RAG und Kombination
Neben Vector RAG hat sich vor allem Graph RAG etabliert. Hier läuft der Abruf über einen Wissensgraphen, der Dinge wie Produkte, Bauteile oder Dokumente als Knoten und ihre Beziehungen als Kanten speichert, etwa „ist Variante von“ oder „passt zu“. In der Praxis können die beiden Ansätze auch kombiniert werden.
|
Variante |
Wie gesucht wird |
Stark bei |
Typischer Einsatz |
|---|---|---|---|
|
Vector RAG |
Ähnlichkeit von Textabschnitten, oft ergänzt um Stichwortsuche |
Faktenfragen in Dokumenten, unstrukturierte Texte, schneller Start |
interner Wissensassistent für Handbücher und Richtlinien |
|
Graph RAG |
Beziehungen in einem Wissensgraphen |
Varianten, Kompatibilitäten, Versionen, Fragen über mehrere Schritte |
Produktberatung, Ersatzteile, technischer Service |
|
Kombination |
Graph für Zusammenhänge, Vektor- und Stichwortsuche für Textstellen und exakte Begriffe |
gemischte Fragen aus Stammdaten und Dokumenten |
Assistenten für Produktwissen in der Industrie |
Der Vorteil zeigt sich bei Fragen, deren Antwort sich aus Zusammenhängen ergibt. Ein Beispiel aus dem Maschinenbau: „Welches Kabel passt zu Maschine B, Baujahr 2013?“ Im Graphen ist hinterlegt, welche Version von Maschine B zu diesem Baujahr gehört und welches Kabel zu dieser Version passt. Das System folgt diesen Beziehungen und nennt das passende Kabel, auch wenn diese Kombination in keinem einzelnen Dokument steht.
Daraus ergeben sich weitere Vorteile. Ein Graph kann alle Varianten eines Produkts vollständig aufzählen, Gültigkeiten wie Baujahre oder Versionsstände abbilden und gezielt nachfragen, wenn für eine eindeutige Antwort eine Angabe fehlt. Weil die Antwort einem nachvollziehbaren Pfad folgt, lässt sich prüfen, woher sie kommt.
Graph RAG ersetzt die Vektorsuche dabei nicht. Bei einfachen Faktenfragen, deren Antwort in einem einzelnen Textabschnitt steht, bringt der Graph laut Vergleichsstudien keinen Gewinn. Seine Stärken spielt er bei Fragen mit mehreren Schritten, Varianten oder zeitlichem Bezug aus.
Für viele Anwendungsfälle in der Industrie, etwa in der Produktberatung und im technischen Service, ist Graph RAG deshalb die Technologie hinter unserem Product Assistant. Dabei kombinieren wir den Graphen mit Vektor- und Stichwortsuche, um die Vorteile aller Ansätze zu nutzen: Der Graph liefert die Zusammenhänge, die Vektorsuche findet passende Textstellen, die Stichwortsuche exakte Begriffe wie Artikelnummern.
Was über die Qualität eines RAG-Systems entscheidet
Ob ein RAG-System gute Antworten liefert, entscheidet sich meist vor dem Sprachmodell. Findet die Suche die falschen Informationsblöcke, kann auch das beste LLM keine richtige Antwort formulieren. In der Praxis haben vor allem vier Stellschrauben großen Einfluss.
Die erste ist die Aufbereitung der Dokumente. PDFs mit Tabellen, Scans oder mehrspaltigem Layout sind der häufigste Engpass. Was beim Umwandeln in Text verloren geht, findet später keine Suche mehr.
Die zweite ist die Art der Suche. Die Vektorsuche findet inhaltlich Ähnliches, tut sich aber mit exakten Begriffen wie Artikelnummern oder Typbezeichnungen schwer. Deshalb wird sie häufig mit einer klassischen Stichwortsuche kombiniert. Ein zusätzliches Modell kann die Treffer danach noch einmal nach Relevanz sortieren, bevor sie an das LLM gehen (Reranking). Wie viel das ausmacht, zeigt ein Test von Anthropic: Mit angereicherten Informationsblöcken, kombinierter Suche und Reranking sank der Anteil nicht gefundener relevanter Blöcke von 5,7 auf 1,9 %. Der Test stammt vom Anbieter selbst und misst nur die Suche, nicht die fertige Antwort.
Die dritte ist die Menge an Kontext. Mehr ist nicht automatisch besser. Steht die entscheidende Information mitten in einem langen Kontext, übersehen Sprachmodelle sie häufiger als am Anfang oder Ende.
Die vierte sind Testfragen aus dem Alltag. Ohne eine Sammlung echter Fragen mit geprüften Antworten lässt sich die Qualität eines RAG-Systems nicht beurteilen. Viele Fehler zeigen sich erst im Betrieb, wenn Nutzer Fragen stellen, an die beim Aufbau niemand gedacht hat.
Vorteile und Herausforderungen von RAG
Vorteile
- Schnelle Möglichkeit, LLMs um internes und domänenspezifisches Wissen zu erweitern
- Günstiges initiales Setup
- Unterstützt die dynamische Einbindung von Echtzeitdaten
- Ermöglicht die Angabe und Nachvollziehbarkeit der Quellen
- Benötigt keine gelabelten Daten
- Zugriffsverwaltung von Quellen
- Informationen lassen sich jederzeit löschen oder austauschen, ohne das Modell neu zu trainieren
Herausforderungen
- „Search and Retrieval“-Prozess hat einen großen Einfluss auf die Outputqualität
- Aufbau und dauerhafter Betrieb der Vektordatenbank verursachen laufende Kosten
- Anzahl an Input-Tokens, die dem LLM übergeben werden, vergrößert sich durch den Kontext
- Halluzinationen werden seltener, sind aber nicht ausgeschlossen
RAG vs. Fine-Tuning
Ein anderer Weg, ein Sprachmodell anzupassen, ist Fine-Tuning. Dabei wird ein vortrainiertes Modell mit eigenen Beispielen nachtrainiert. Fine-Tuning eignet sich vor allem, um Verhalten zu prägen: Tonalität, Ausgabeformat oder die zuverlässige Erledigung einer bestimmten Aufgabe. Wissen lässt sich so zwar ebenfalls vermitteln, aber deutlich weniger effizient. Jede inhaltliche Änderung erfordert ein neues Training, und die Antworten lassen sich nicht auf eine Quelle zurückführen. Bei offenen Modellen kann das Training auf eigener Infrastruktur laufen, bei kommerziellen Anbietern gehen die Trainingsdaten über deren Plattform.
In der Praxis schließen sich beide Ansätze nicht aus. Für Unternehmenswissen, das sich ändert und belegbar sein muss, ist RAG die erste Wahl. Fine-Tuning kann ergänzend sinnvoll sein, wenn ein Modell zusätzlich einen bestimmten Stil oder ein festes Format einhalten soll.
Use Cases
RAG eignet sich vor allem für Frage-Antwort-Systeme, bei denen eine klare und belegte Antwort erwartet wird. Die Antwort lässt sich mit den Quellen verknüpfen, die das Sprachmodell genutzt hat, sodass Nutzer sie nachprüfen können. Welche Variante passt, hängt davon ab, wie komplex die typischen Fragen sind.
Vector RAG ist stark bei einfachen Fragen, deren Antwort in einem Dokument steht. Ein typisches Beispiel ist der interne Wissensassistent: Mitarbeitende fragen, wie sie eine Dienstreise beantragen oder wo die Vorlage für Projektberichte liegt. Auch beim Onboarding neuer Kolleginnen und Kollegen oder als Zugang zu Lerninhalten reicht die Suche nach dem passenden Textabschnitt meist aus.
Graph RAG spielt seine Vorteile aus, sobald die Fragen komplexer werden. In der Produktberatung auf der Website oder in der App fragen Kunden etwa, welches Zubehör zu ihrem Modell passt oder welche Variante ihre Anforderungen erfüllt. Im technischen Service geht es um Ersatzteile für bestimmte Baujahre oder um Fehlerbilder, die mehrere Bauteile betreffen. Die Antwort ergibt sich hier aus Beziehungen zwischen Produkten, Versionen und Regeln. Weil der Graph diesen Beziehungen folgt, zieht er alle relevanten Informationen heran, statt nur die ähnlichsten Textstellen zu liefern. Gleiches gilt, wenn es um komplexe Richtlinien, Prozesse, Gesetze oder Normen geht. Hier hilft die Vernetzung des Wissens enorm bei der Suche und Ausgabe von Informationen.
Fazit
RAG ist eine Suche, die vor das Sprachmodell geschaltet wird. Die Qualität der Antworten entsteht vor allem in dieser Suche: in sauber aufbereiteten Dokumenten, in der Kombination von Vektor- und Stichwortsuche und in einer Sammlung echter Testfragen. Für einen internen Wissensassistenten, der einfache Fragen zu Handbüchern oder Richtlinien beantwortet, ist Standard-RAG oft der richtige Start. In der Produktberatung und im technischen Service reicht das häufig nicht. Kunden und Servicetechniker fragen nach Varianten, Kompatibilitäten, Ersatzteilen und Baujahren, und die Antwort ergibt sich dort aus Zusammenhängen zwischen Produkten. Für solche Fragen wird der Wissensgraph zum entscheidenden Baustein.
