Data Science – laizee.ai

Was ist Retrieval Augmented Generation (RAG) und wie funktioniert es?

Kai Fedin — Thu, 11 Apr 2024 09:58:54 +0000

Seit Ende 2022 gehören Sprachmodelle wie ChatGPT, Claude oder Gemini für viele Menschen zum Arbeitsalltag. Technisch gesehen besitzen diese Large Language Models (LLMs) jedoch kein Wissen im eigentlichen Sinn. Sie beruhen auf Next-Word-Prediction und sagen auf Grundlage der vorangegangenen Wörter „nur“ das nächste vorher. Durch die enormen Mengen an Trainingsdaten und Modellparametern erkennen und reproduzieren sie dabei komplexe sprachliche und inhaltliche Muster. Das hat Grenzen, vor allem bei sehr spezifischem oder hochaktuellem Wissen, auf das Anbieter wie OpenAI beim Training keinen Zugriff hatten.

RAG (Retrieval Augmented Generation) löst dieses Problem, indem es dem Sprachmodell vor jeder Antwort passende Informationen aus den eigenen Daten mitgibt, etwa aus Produktdokumentation, Handbüchern oder internen Richtlinien. So beruht die Antwort auf Unternehmenswissen und nicht nur auf allgemeinen Trainingsdaten. Dieser Artikel erklärt, wie ein RAG-System aufgebaut ist, welche Varianten es gibt, insbesondere Vector RAG und Graph RAG, und was über die Qualität entscheidet.

Wo Sprachmodelle im Unternehmen an Grenzen stoßen

Im Unternehmen zeigt sich schnell eine Grenze: Ein Sprachmodell kennt nur, womit es trainiert wurde. Das sind vor allem öffentlich verfügbare Texte, etwa aus Wikipedia, Nachrichten oder dem sogenannten CommonCrawl. Produktdaten, technische Dokumentation, interne Richtlinien oder Kundenhistorien eines Unternehmens sind darin nicht enthalten.

Fragt man ein Modell nach solchem Wissen, etwa nach der Kompatibilität zweier eigener Produkte, halluziniert es möglichkerweise. Erfindet es also eine Antwort, die plausibel klingt, aber falsch ist.

Hinzu kommt der Trainingsstichtag: Was danach veröffentlicht oder geändert wurde, kennt das Modell nicht. Es sei denn, es wird nachtrainiert oder bekommt das fehlende Wissen bei jeder Anfrage explizit mitgeliefert. Genau hier setzt RAG an.

Was ist RAG und wie funktioniert es?

RAG steht für Retrieval Augmented Generation. Auf Deutsch lässt es sich übersetzen als „um Abfragen erweiterte Generierung“. RAG ist ein Prozess zur Optimierung und Spezialisierung von LLM-Ausgaben. Im Wesentlichen geht es dabei darum, dass wir das implizit gelernte Wissen eines LLMs um anwendungsspezifische Informationen erweitern. Das LLM ist anschließend in der Lage, anwendungsspezifische Anfragen eines Users auf Grundlage seiner Wissenserweiterung korrekt zu beantworten.

Wie die Informationen abgerufen werden, legt der Begriff RAG nicht fest. Am weitesten verbreitet ist die Suche über eine Vektordatenbank, auch Vector RAG genannt, und an diesem Beispiel erklären wir den Aufbau im Folgenden. Seit 2024 setzt sich daneben Graph RAG durch, bei dem der Abruf über einen Wissensgraphen läuft. Beide Varianten stellen wir weiter unten im Überblick gegenüber.

In der einfachsten Form baut der RAG-Prozess auf drei Komponenten auf:

Einer Vektodatenbank, in der anwendungsspezifische Informationsblöcke gespeichert werden.
Einem Retrieval-System, welches die Vektordatenbank nach anfragerelevanten Informationen durchsucht.
Dem LLM, das userfreundliche Antworten aus den gefundenen Informationen generiert.

Das Rückgrat eines RAG-Systems bildet die Vektordatenbank, in welcher die Informationen, die zur Beantwortung von anwendungsspezifischen Anfragen benötigt werden, gespeichert sind. Um diese aufzubauen, werden im wesentlichen folgende sechs Schritte durchgeführt:

Sammlung von Dokumenten (z.B. PDF-Dokumente) mit anwendungsspezifischen Informationen und Daten.
Aufbereitung der Dokumente, also beispielsweise Konvertierung von PDF-Dokumenten in maschinenlesbaren Text.
Festlegung einer sogenannten Chunking Strategie, mithilfe derer die Dokumente in Informationsblöcke zerlegt werden.
Generierung der Informationsblöcke („Chunks“) auf Grundlage der zuvor festgelegten Strategie.
Überführung der Chunks in Zahlenreihen (Vektoren). Dieser Schritt wird auch als Embedding bezeichnet.
Speichern der überführten Chunks in der Vektordatenbank.

Wie funktioniert das Retrieval System?

Texte, also einzelne Wörter, Sätze oder ganze Informationsblöcke, werden in numerische Vektoren umgewandelt. Jeder Text wird so als Zahlenreihe dargestellt. Das Spannende an Vektoren ist, dass sich mit ihrer Hilfe semantische Ähnlichkeiten und Zusammenhänge zwischen Texten berechnen lassen. Da Vektoren sehr schnell verglichen werden können, lassen sich mit einem Retrieval-System inhaltlich ähnliche Dokumente auffinden.

RAG-Prozess

Der User schickt eine Anfrage an das System. Diese Anfrage wird mit demselben Verfahren aus Schritt 5 in einen Vektor umgewandelt.
Basierend auf dem Vektor der Anfrage wird in der Vektordatenbank nach relevanten Informationen gesucht.
Diese Daten werden dann abgerufen (retrieved) und nach unterschiedlichen Faktoren bewertet, geranked und die Top-Ergebnisse anschließend konsolidiert. Diese Daten und Dokumente stellen den Kontext dar, mit welchem die Anfrage des Users angereichert wird.
Die Anfrage sowie der zuvor ermittelte Kontext werden anschließend an das LLM übergeben. Dieses generiert mithilfe der zusätzlichen Informationen eine passende Antwort und spielt sie dem User abschließend zurück.

Übersicht der RAG Architektur und Prozess

RAG-Varianten: Vector RAG, Graph RAG und Kombination

Neben Vector RAG hat sich vor allem Graph RAG etabliert. Hier läuft der Abruf über einen Wissensgraphen, der Dinge wie Produkte, Bauteile oder Dokumente als Knoten und ihre Beziehungen als Kanten speichert, etwa „ist Variante von“ oder „passt zu“. In der Praxis können die beiden Ansätze auch kombiniert werden.

Variante	Wie gesucht wird	Stark bei	Typischer Einsatz
Vector RAG	Ähnlichkeit von Textabschnitten, oft ergänzt um Stichwortsuche	Faktenfragen in Dokumenten, unstrukturierte Texte, schneller Start	interner Wissensassistent für Handbücher und Richtlinien
Graph RAG	Beziehungen in einem Wissensgraphen	Varianten, Kompatibilitäten, Versionen, Fragen über mehrere Schritte	Produktberatung, Ersatzteile, technischer Service
Kombination	Graph für Zusammenhänge, Vektor- und Stichwortsuche für Textstellen und exakte Begriffe	gemischte Fragen aus Stammdaten und Dokumenten	Assistenten für Produktwissen in der Industrie

Der Vorteil zeigt sich bei Fragen, deren Antwort sich aus Zusammenhängen ergibt. Ein Beispiel aus dem Maschinenbau: „Welches Kabel passt zu Maschine B, Baujahr 2013?“ Im Graphen ist hinterlegt, welche Version von Maschine B zu diesem Baujahr gehört und welches Kabel zu dieser Version passt. Das System folgt diesen Beziehungen und nennt das passende Kabel, auch wenn diese Kombination in keinem einzelnen Dokument steht.

Daraus ergeben sich weitere Vorteile. Ein Graph kann alle Varianten eines Produkts vollständig aufzählen, Gültigkeiten wie Baujahre oder Versionsstände abbilden und gezielt nachfragen, wenn für eine eindeutige Antwort eine Angabe fehlt. Weil die Antwort einem nachvollziehbaren Pfad folgt, lässt sich prüfen, woher sie kommt.

Graph RAG ersetzt die Vektorsuche dabei nicht. Bei einfachen Faktenfragen, deren Antwort in einem einzelnen Textabschnitt steht, bringt der Graph laut Vergleichsstudien keinen Gewinn. Seine Stärken spielt er bei Fragen mit mehreren Schritten, Varianten oder zeitlichem Bezug aus.

Für viele Anwendungsfälle in der Industrie, etwa in der Produktberatung und im technischen Service, ist Graph RAG deshalb die Technologie hinter unserem Product Assistant. Dabei kombinieren wir den Graphen mit Vektor- und Stichwortsuche, um die Vorteile aller Ansätze zu nutzen: Der Graph liefert die Zusammenhänge, die Vektorsuche findet passende Textstellen, die Stichwortsuche exakte Begriffe wie Artikelnummern.

Was über die Qualität eines RAG-Systems entscheidet

Ob ein RAG-System gute Antworten liefert, entscheidet sich meist vor dem Sprachmodell. Findet die Suche die falschen Informationsblöcke, kann auch das beste LLM keine richtige Antwort formulieren. In der Praxis haben vor allem vier Stellschrauben großen Einfluss.

Die erste ist die Aufbereitung der Dokumente. PDFs mit Tabellen, Scans oder mehrspaltigem Layout sind der häufigste Engpass. Was beim Umwandeln in Text verloren geht, findet später keine Suche mehr.

Die zweite ist die Art der Suche. Die Vektorsuche findet inhaltlich Ähnliches, tut sich aber mit exakten Begriffen wie Artikelnummern oder Typbezeichnungen schwer. Deshalb wird sie häufig mit einer klassischen Stichwortsuche kombiniert. Ein zusätzliches Modell kann die Treffer danach noch einmal nach Relevanz sortieren, bevor sie an das LLM gehen (Reranking). Wie viel das ausmacht, zeigt ein Test von Anthropic: Mit angereicherten Informationsblöcken, kombinierter Suche und Reranking sank der Anteil nicht gefundener relevanter Blöcke von 5,7 auf 1,9 %. Der Test stammt vom Anbieter selbst und misst nur die Suche, nicht die fertige Antwort.

Die dritte ist die Menge an Kontext. Mehr ist nicht automatisch besser. Steht die entscheidende Information mitten in einem langen Kontext, übersehen Sprachmodelle sie häufiger als am Anfang oder Ende.

Die vierte sind Testfragen aus dem Alltag. Ohne eine Sammlung echter Fragen mit geprüften Antworten lässt sich die Qualität eines RAG-Systems nicht beurteilen. Viele Fehler zeigen sich erst im Betrieb, wenn Nutzer Fragen stellen, an die beim Aufbau niemand gedacht hat.

Vorteile und Herausforderungen von RAG

Vorteile

Schnelle Möglichkeit, LLMs um internes und domänenspezifisches Wissen zu erweitern
Günstiges initiales Setup
Unterstützt die dynamische Einbindung von Echtzeitdaten
Ermöglicht die Angabe und Nachvollziehbarkeit der Quellen
Benötigt keine gelabelten Daten
Zugriffsverwaltung von Quellen
Informationen lassen sich jederzeit löschen oder austauschen, ohne das Modell neu zu trainieren

Herausforderungen

„Search and Retrieval“-Prozess hat einen großen Einfluss auf die Outputqualität
Aufbau und dauerhafter Betrieb der Vektordatenbank verursachen laufende Kosten
Anzahl an Input-Tokens, die dem LLM übergeben werden, vergrößert sich durch den Kontext
Halluzinationen werden seltener, sind aber nicht ausgeschlossen

RAG vs. Fine-Tuning

Ein anderer Weg, ein Sprachmodell anzupassen, ist Fine-Tuning. Dabei wird ein vortrainiertes Modell mit eigenen Beispielen nachtrainiert. Fine-Tuning eignet sich vor allem, um Verhalten zu prägen: Tonalität, Ausgabeformat oder die zuverlässige Erledigung einer bestimmten Aufgabe. Wissen lässt sich so zwar ebenfalls vermitteln, aber deutlich weniger effizient. Jede inhaltliche Änderung erfordert ein neues Training, und die Antworten lassen sich nicht auf eine Quelle zurückführen. Bei offenen Modellen kann das Training auf eigener Infrastruktur laufen, bei kommerziellen Anbietern gehen die Trainingsdaten über deren Plattform.

In der Praxis schließen sich beide Ansätze nicht aus. Für Unternehmenswissen, das sich ändert und belegbar sein muss, ist RAG die erste Wahl. Fine-Tuning kann ergänzend sinnvoll sein, wenn ein Modell zusätzlich einen bestimmten Stil oder ein festes Format einhalten soll.

Use Cases

RAG eignet sich vor allem für Frage-Antwort-Systeme, bei denen eine klare und belegte Antwort erwartet wird. Die Antwort lässt sich mit den Quellen verknüpfen, die das Sprachmodell genutzt hat, sodass Nutzer sie nachprüfen können. Welche Variante passt, hängt davon ab, wie komplex die typischen Fragen sind.

Vector RAG ist stark bei einfachen Fragen, deren Antwort in einem Dokument steht. Ein typisches Beispiel ist der interne Wissensassistent: Mitarbeitende fragen, wie sie eine Dienstreise beantragen oder wo die Vorlage für Projektberichte liegt. Auch beim Onboarding neuer Kolleginnen und Kollegen oder als Zugang zu Lerninhalten reicht die Suche nach dem passenden Textabschnitt meist aus.

Graph RAG spielt seine Vorteile aus, sobald die Fragen komplexer werden. In der Produktberatung auf der Website oder in der App fragen Kunden etwa, welches Zubehör zu ihrem Modell passt oder welche Variante ihre Anforderungen erfüllt. Im technischen Service geht es um Ersatzteile für bestimmte Baujahre oder um Fehlerbilder, die mehrere Bauteile betreffen. Die Antwort ergibt sich hier aus Beziehungen zwischen Produkten, Versionen und Regeln. Weil der Graph diesen Beziehungen folgt, zieht er alle relevanten Informationen heran, statt nur die ähnlichsten Textstellen zu liefern. Gleiches gilt, wenn es um komplexe Richtlinien, Prozesse, Gesetze oder Normen geht. Hier hilft die Vernetzung des Wissens enorm bei der Suche und Ausgabe von Informationen.

Fazit

RAG ist eine Suche, die vor das Sprachmodell geschaltet wird. Die Qualität der Antworten entsteht vor allem in dieser Suche: in sauber aufbereiteten Dokumenten, in der Kombination von Vektor- und Stichwortsuche und in einer Sammlung echter Testfragen. Für einen internen Wissensassistenten, der einfache Fragen zu Handbüchern oder Richtlinien beantwortet, ist Standard-RAG oft der richtige Start. In der Produktberatung und im technischen Service reicht das häufig nicht. Kunden und Servicetechniker fragen nach Varianten, Kompatibilitäten, Ersatzteilen und Baujahren, und die Antwort ergibt sich dort aus Zusammenhängen zwischen Produkten. Für solche Fragen wird der Wissensgraph zum entscheidenden Baustein.

Fragen zu dem Aufbau von RAG-Systemen?

Kostenloses Erstgepräch vereinbaren

Currenta Coding Weekend 2022 – laizee.ai goes Speed-Coding

Henri Werth — Tue, 07 Mar 2023 13:30:38 +0000

Was?

10 Teams, 48 Stunden Zeit und 15.000 Euro Preisgelder – das war der spannende Hackathon bei der Currenta im Oktober 2022 in Zons bei Dormagen. Für Nils, Henri, Steffen & Yoka von laizee.ai war das der perfekte Anlass, sowohl ihre technische Expertise eindrucksvoll zu präsentieren als auch ihre Problemlösungsskills unter Beweis zu stellen. Gemeinsam traten wir gegen andere Teams an um in verschiedenen Challenges kreative digitale und datengetriebene Lösungen für den Chempark-Betreiber zu konzipieren – und im Idealfall auch noch einen Gewinn abzustauben.

Wer?

Die Currenta GmbH ist der führende Betreiber von Chemieparks in Leverkusen, Dormagen und Krefeld-Uerdingen. Die Currenta bietet Dienstleistungen und Infrastruktur für verschiedene Unternehmen im chemischen Sektor an und stellt die Produktion des wichtigen Wirtschaftszweigs sicher. Das Unternehmen spielt eine zentrale Rolle bei der Schaffung eines sicheren, effizienten und nachhaltigen Umfelds für Produktionsprozesse und Innovationen.

Herausforderung

Am Anreisetag wählten wir aus einer der 3 gestellten Herausforderungen eine aus: es galt, Schäden an Pumpen durch frühzeitige Erkennung von Abweichungen in Sensordaten zu vermeiden. Diese Pumpen werden im CHEMPARK genutzt, um Wasser aus dem Rhein zu pumpen. Unser Ziel war es, einen universellen Messwertanalysator zu entwickeln, der eigenständig und in Echtzeit auf minimale Abweichungen (sogenannte Anomalien) in Prozessen oder Maschinen hinweist. Die Schaffung eines zuverlässigen Systems zur automatischen Bewertung von Messwerten und die Anwendbarkeit auf vielfältige Zeitreihen und Prozessleitsysteme waren hierbei zentrale Aspekte, um effektive Lösungen zu liefern.

Einsatz von Data Science

Bei exzellenter Verpflegung mit veganem Essen und Massen an Filterkaffee, Mate und Redbull sowie kurzen Denkpausen bei heißen Kicker-Battles ging es also an die Arbeit – 48 Stunden voller Einsatz.
Dabei war es uns wichtig, dass die Bestimmung von Anomalien für die Endnutzer*innen unserer Anwendung nachvollziehbar sind. Deswegen entschieden wir uns, Algorithmen zu testen und zu verwenden, die nicht nur eine binäre Klassifikation liefern, sondern einen interpretierbaren Wert zwischen 0.0 und 1.0.
Nach dem Planen der nächsten Schritte beschäftigte sich ein Teil des Teams mit der Analyse der Daten, welche uns in Zeitreihen vorlagen, wobei wir uns auf die Erfassung von Mustern und Abweichungen konzentrierten. Die Visualisierung der Daten half uns, den Verlauf der Zeitreihe und mögliche Anomalien, die in einem Pumpwasserkraftwerk auftreten können, besser nachzuvollziehen. Das bessere Verständnis der Domäne war ein wichtiger Punkt für uns, denn vor dem Hackathon waren Pumpwasserkraftwerke für keine*n von uns ein Thema.
Der andere Teil unseres Teams beschäftigte sich mit der Konzeptionalisierung und Entwicklung eines funktionalen UI-Prototypen mit dem Framework Streamlit.

Im nächsten Schritt verarbeiteten wir die Zeitreihen-Daten sorgfältig, um Rauschen zu eliminieren und Ausreißer zu reduzieren. Dies trug dazu bei, die Qualität der Daten für die spätere Modellierung zu verbessern. Die unterschiedlichen Messwerte aus den Zeitreihen wurden aggregiert, um einen kohärenten Datensatz zu erstellen, der die Gesamtdaten für die Anomalie-Erkennung repräsentiert.

Um das optimale Modell zu ermitteln, führten wir eine umfangreiche Evaluierung der verschiedenen Modelle durch. Dies beinhaltete das Testen der Modelle auf verschiedenen Datensätzen und die Beurteilung ihrer Leistung hinsichtlich Genauigkeit und Effizienz.
Außerdem entwickelten wir ein Sliding Window, um den Zeitrahmen der Anomalie einzugrenzen. Dies ermöglichte uns auch, festzustellen, ob Anomalien in aufeinanderfolgenden Zeiträumen auftreten, was zusätzliche Einblicke in das Verhalten der Daten lieferte.
Dann war Kreativität und graphisches Know-how gefragt: Um die Ergebnisse anschaulich darzustellen, visualisierten wir die erkannten Anomalien und die Sliding Windows in Graphen. Dies half uns, Abweichungen in den Daten klar zu erkennen und zu interpretieren.
So gelang es uns innerhalb der 48 Stunden mit einer iterativen Herangehensweise und der Kombination aus gründlicher Analyse, Modellierung und Visualisierung, eine effektive Anomalie-Detektion zu entwickeln, die den komplexen Anforderungen der Zeitreihen-Analyse gerecht wird. Und nicht zuletzt entstand in dieser Zeit auch noch ein zugleich spannender sowie nachvollziehbarer und informativer 5-Minuten-Pitch für die Präsentation unserer Ergebnisse vor der Jury.
Bei der Bekanntgabe der Gewinner*innen der einzelnen Herausforderungen konnten Nils, Henri, Steffen & Yoka dann kaum noch stillsitzen, denn schließlich ging es um ein Preisgeld von 5000 Euro! Als die Jury dann das Team von laizee.ai zum Gewinner kürte, hielt uns nichts mehr auf unseren Plätzen. Da hatten sich die 48 Stunden beim Coding-Weekend doch mehr als rentiert gemacht und neben jeder Menge Spaß, Teambuilding und kreativem Denken konnten wir nun auch noch den Gewinn mit nach Hause nehmen.

Daher lautet das Motto:

Nach der Coding-Challenge ist vor der Coding-Challenge! Bis zum nächsten Jahr, Currenta!