Natural Language Processing – laizee.ai

Was ist Retrieval Augmented Generation (RAG) und wie funktioniert es?

Kai Fedin — Thu, 11 Apr 2024 09:58:54 +0000

Seit Ende 2022 gehören Sprachmodelle wie ChatGPT, Claude oder Gemini für viele Menschen zum Arbeitsalltag. Technisch gesehen besitzen diese Large Language Models (LLMs) jedoch kein Wissen im eigentlichen Sinn. Sie beruhen auf Next-Word-Prediction und sagen auf Grundlage der vorangegangenen Wörter „nur“ das nächste vorher. Durch die enormen Mengen an Trainingsdaten und Modellparametern erkennen und reproduzieren sie dabei komplexe sprachliche und inhaltliche Muster. Das hat Grenzen, vor allem bei sehr spezifischem oder hochaktuellem Wissen, auf das Anbieter wie OpenAI beim Training keinen Zugriff hatten.

RAG (Retrieval Augmented Generation) löst dieses Problem, indem es dem Sprachmodell vor jeder Antwort passende Informationen aus den eigenen Daten mitgibt, etwa aus Produktdokumentation, Handbüchern oder internen Richtlinien. So beruht die Antwort auf Unternehmenswissen und nicht nur auf allgemeinen Trainingsdaten. Dieser Artikel erklärt, wie ein RAG-System aufgebaut ist, welche Varianten es gibt, insbesondere Vector RAG und Graph RAG, und was über die Qualität entscheidet.

Wo Sprachmodelle im Unternehmen an Grenzen stoßen

Im Unternehmen zeigt sich schnell eine Grenze: Ein Sprachmodell kennt nur, womit es trainiert wurde. Das sind vor allem öffentlich verfügbare Texte, etwa aus Wikipedia, Nachrichten oder dem sogenannten CommonCrawl. Produktdaten, technische Dokumentation, interne Richtlinien oder Kundenhistorien eines Unternehmens sind darin nicht enthalten.

Fragt man ein Modell nach solchem Wissen, etwa nach der Kompatibilität zweier eigener Produkte, halluziniert es möglichkerweise. Erfindet es also eine Antwort, die plausibel klingt, aber falsch ist.

Hinzu kommt der Trainingsstichtag: Was danach veröffentlicht oder geändert wurde, kennt das Modell nicht. Es sei denn, es wird nachtrainiert oder bekommt das fehlende Wissen bei jeder Anfrage explizit mitgeliefert. Genau hier setzt RAG an.

Was ist RAG und wie funktioniert es?

RAG steht für Retrieval Augmented Generation. Auf Deutsch lässt es sich übersetzen als „um Abfragen erweiterte Generierung“. RAG ist ein Prozess zur Optimierung und Spezialisierung von LLM-Ausgaben. Im Wesentlichen geht es dabei darum, dass wir das implizit gelernte Wissen eines LLMs um anwendungsspezifische Informationen erweitern. Das LLM ist anschließend in der Lage, anwendungsspezifische Anfragen eines Users auf Grundlage seiner Wissenserweiterung korrekt zu beantworten.

Wie die Informationen abgerufen werden, legt der Begriff RAG nicht fest. Am weitesten verbreitet ist die Suche über eine Vektordatenbank, auch Vector RAG genannt, und an diesem Beispiel erklären wir den Aufbau im Folgenden. Seit 2024 setzt sich daneben Graph RAG durch, bei dem der Abruf über einen Wissensgraphen läuft. Beide Varianten stellen wir weiter unten im Überblick gegenüber.

In der einfachsten Form baut der RAG-Prozess auf drei Komponenten auf:

Einer Vektodatenbank, in der anwendungsspezifische Informationsblöcke gespeichert werden.
Einem Retrieval-System, welches die Vektordatenbank nach anfragerelevanten Informationen durchsucht.
Dem LLM, das userfreundliche Antworten aus den gefundenen Informationen generiert.

Das Rückgrat eines RAG-Systems bildet die Vektordatenbank, in welcher die Informationen, die zur Beantwortung von anwendungsspezifischen Anfragen benötigt werden, gespeichert sind. Um diese aufzubauen, werden im wesentlichen folgende sechs Schritte durchgeführt:

Sammlung von Dokumenten (z.B. PDF-Dokumente) mit anwendungsspezifischen Informationen und Daten.
Aufbereitung der Dokumente, also beispielsweise Konvertierung von PDF-Dokumenten in maschinenlesbaren Text.
Festlegung einer sogenannten Chunking Strategie, mithilfe derer die Dokumente in Informationsblöcke zerlegt werden.
Generierung der Informationsblöcke („Chunks“) auf Grundlage der zuvor festgelegten Strategie.
Überführung der Chunks in Zahlenreihen (Vektoren). Dieser Schritt wird auch als Embedding bezeichnet.
Speichern der überführten Chunks in der Vektordatenbank.

Wie funktioniert das Retrieval System?

Texte, also einzelne Wörter, Sätze oder ganze Informationsblöcke, werden in numerische Vektoren umgewandelt. Jeder Text wird so als Zahlenreihe dargestellt. Das Spannende an Vektoren ist, dass sich mit ihrer Hilfe semantische Ähnlichkeiten und Zusammenhänge zwischen Texten berechnen lassen. Da Vektoren sehr schnell verglichen werden können, lassen sich mit einem Retrieval-System inhaltlich ähnliche Dokumente auffinden.

RAG-Prozess

Der User schickt eine Anfrage an das System. Diese Anfrage wird mit demselben Verfahren aus Schritt 5 in einen Vektor umgewandelt.
Basierend auf dem Vektor der Anfrage wird in der Vektordatenbank nach relevanten Informationen gesucht.
Diese Daten werden dann abgerufen (retrieved) und nach unterschiedlichen Faktoren bewertet, geranked und die Top-Ergebnisse anschließend konsolidiert. Diese Daten und Dokumente stellen den Kontext dar, mit welchem die Anfrage des Users angereichert wird.
Die Anfrage sowie der zuvor ermittelte Kontext werden anschließend an das LLM übergeben. Dieses generiert mithilfe der zusätzlichen Informationen eine passende Antwort und spielt sie dem User abschließend zurück.

Übersicht der RAG Architektur und Prozess

RAG-Varianten: Vector RAG, Graph RAG und Kombination

Neben Vector RAG hat sich vor allem Graph RAG etabliert. Hier läuft der Abruf über einen Wissensgraphen, der Dinge wie Produkte, Bauteile oder Dokumente als Knoten und ihre Beziehungen als Kanten speichert, etwa „ist Variante von“ oder „passt zu“. In der Praxis können die beiden Ansätze auch kombiniert werden.

Variante	Wie gesucht wird	Stark bei	Typischer Einsatz
Vector RAG	Ähnlichkeit von Textabschnitten, oft ergänzt um Stichwortsuche	Faktenfragen in Dokumenten, unstrukturierte Texte, schneller Start	interner Wissensassistent für Handbücher und Richtlinien
Graph RAG	Beziehungen in einem Wissensgraphen	Varianten, Kompatibilitäten, Versionen, Fragen über mehrere Schritte	Produktberatung, Ersatzteile, technischer Service
Kombination	Graph für Zusammenhänge, Vektor- und Stichwortsuche für Textstellen und exakte Begriffe	gemischte Fragen aus Stammdaten und Dokumenten	Assistenten für Produktwissen in der Industrie

Der Vorteil zeigt sich bei Fragen, deren Antwort sich aus Zusammenhängen ergibt. Ein Beispiel aus dem Maschinenbau: „Welches Kabel passt zu Maschine B, Baujahr 2013?“ Im Graphen ist hinterlegt, welche Version von Maschine B zu diesem Baujahr gehört und welches Kabel zu dieser Version passt. Das System folgt diesen Beziehungen und nennt das passende Kabel, auch wenn diese Kombination in keinem einzelnen Dokument steht.

Daraus ergeben sich weitere Vorteile. Ein Graph kann alle Varianten eines Produkts vollständig aufzählen, Gültigkeiten wie Baujahre oder Versionsstände abbilden und gezielt nachfragen, wenn für eine eindeutige Antwort eine Angabe fehlt. Weil die Antwort einem nachvollziehbaren Pfad folgt, lässt sich prüfen, woher sie kommt.

Graph RAG ersetzt die Vektorsuche dabei nicht. Bei einfachen Faktenfragen, deren Antwort in einem einzelnen Textabschnitt steht, bringt der Graph laut Vergleichsstudien keinen Gewinn. Seine Stärken spielt er bei Fragen mit mehreren Schritten, Varianten oder zeitlichem Bezug aus.

Für viele Anwendungsfälle in der Industrie, etwa in der Produktberatung und im technischen Service, ist Graph RAG deshalb die Technologie hinter unserem Product Assistant. Dabei kombinieren wir den Graphen mit Vektor- und Stichwortsuche, um die Vorteile aller Ansätze zu nutzen: Der Graph liefert die Zusammenhänge, die Vektorsuche findet passende Textstellen, die Stichwortsuche exakte Begriffe wie Artikelnummern.

Was über die Qualität eines RAG-Systems entscheidet

Ob ein RAG-System gute Antworten liefert, entscheidet sich meist vor dem Sprachmodell. Findet die Suche die falschen Informationsblöcke, kann auch das beste LLM keine richtige Antwort formulieren. In der Praxis haben vor allem vier Stellschrauben großen Einfluss.

Die erste ist die Aufbereitung der Dokumente. PDFs mit Tabellen, Scans oder mehrspaltigem Layout sind der häufigste Engpass. Was beim Umwandeln in Text verloren geht, findet später keine Suche mehr.

Die zweite ist die Art der Suche. Die Vektorsuche findet inhaltlich Ähnliches, tut sich aber mit exakten Begriffen wie Artikelnummern oder Typbezeichnungen schwer. Deshalb wird sie häufig mit einer klassischen Stichwortsuche kombiniert. Ein zusätzliches Modell kann die Treffer danach noch einmal nach Relevanz sortieren, bevor sie an das LLM gehen (Reranking). Wie viel das ausmacht, zeigt ein Test von Anthropic: Mit angereicherten Informationsblöcken, kombinierter Suche und Reranking sank der Anteil nicht gefundener relevanter Blöcke von 5,7 auf 1,9 %. Der Test stammt vom Anbieter selbst und misst nur die Suche, nicht die fertige Antwort.

Die dritte ist die Menge an Kontext. Mehr ist nicht automatisch besser. Steht die entscheidende Information mitten in einem langen Kontext, übersehen Sprachmodelle sie häufiger als am Anfang oder Ende.

Die vierte sind Testfragen aus dem Alltag. Ohne eine Sammlung echter Fragen mit geprüften Antworten lässt sich die Qualität eines RAG-Systems nicht beurteilen. Viele Fehler zeigen sich erst im Betrieb, wenn Nutzer Fragen stellen, an die beim Aufbau niemand gedacht hat.

Vorteile und Herausforderungen von RAG

Vorteile

Schnelle Möglichkeit, LLMs um internes und domänenspezifisches Wissen zu erweitern
Günstiges initiales Setup
Unterstützt die dynamische Einbindung von Echtzeitdaten
Ermöglicht die Angabe und Nachvollziehbarkeit der Quellen
Benötigt keine gelabelten Daten
Zugriffsverwaltung von Quellen
Informationen lassen sich jederzeit löschen oder austauschen, ohne das Modell neu zu trainieren

Herausforderungen

„Search and Retrieval“-Prozess hat einen großen Einfluss auf die Outputqualität
Aufbau und dauerhafter Betrieb der Vektordatenbank verursachen laufende Kosten
Anzahl an Input-Tokens, die dem LLM übergeben werden, vergrößert sich durch den Kontext
Halluzinationen werden seltener, sind aber nicht ausgeschlossen

RAG vs. Fine-Tuning

Ein anderer Weg, ein Sprachmodell anzupassen, ist Fine-Tuning. Dabei wird ein vortrainiertes Modell mit eigenen Beispielen nachtrainiert. Fine-Tuning eignet sich vor allem, um Verhalten zu prägen: Tonalität, Ausgabeformat oder die zuverlässige Erledigung einer bestimmten Aufgabe. Wissen lässt sich so zwar ebenfalls vermitteln, aber deutlich weniger effizient. Jede inhaltliche Änderung erfordert ein neues Training, und die Antworten lassen sich nicht auf eine Quelle zurückführen. Bei offenen Modellen kann das Training auf eigener Infrastruktur laufen, bei kommerziellen Anbietern gehen die Trainingsdaten über deren Plattform.

In der Praxis schließen sich beide Ansätze nicht aus. Für Unternehmenswissen, das sich ändert und belegbar sein muss, ist RAG die erste Wahl. Fine-Tuning kann ergänzend sinnvoll sein, wenn ein Modell zusätzlich einen bestimmten Stil oder ein festes Format einhalten soll.

Use Cases

RAG eignet sich vor allem für Frage-Antwort-Systeme, bei denen eine klare und belegte Antwort erwartet wird. Die Antwort lässt sich mit den Quellen verknüpfen, die das Sprachmodell genutzt hat, sodass Nutzer sie nachprüfen können. Welche Variante passt, hängt davon ab, wie komplex die typischen Fragen sind.

Vector RAG ist stark bei einfachen Fragen, deren Antwort in einem Dokument steht. Ein typisches Beispiel ist der interne Wissensassistent: Mitarbeitende fragen, wie sie eine Dienstreise beantragen oder wo die Vorlage für Projektberichte liegt. Auch beim Onboarding neuer Kolleginnen und Kollegen oder als Zugang zu Lerninhalten reicht die Suche nach dem passenden Textabschnitt meist aus.

Graph RAG spielt seine Vorteile aus, sobald die Fragen komplexer werden. In der Produktberatung auf der Website oder in der App fragen Kunden etwa, welches Zubehör zu ihrem Modell passt oder welche Variante ihre Anforderungen erfüllt. Im technischen Service geht es um Ersatzteile für bestimmte Baujahre oder um Fehlerbilder, die mehrere Bauteile betreffen. Die Antwort ergibt sich hier aus Beziehungen zwischen Produkten, Versionen und Regeln. Weil der Graph diesen Beziehungen folgt, zieht er alle relevanten Informationen heran, statt nur die ähnlichsten Textstellen zu liefern. Gleiches gilt, wenn es um komplexe Richtlinien, Prozesse, Gesetze oder Normen geht. Hier hilft die Vernetzung des Wissens enorm bei der Suche und Ausgabe von Informationen.

Fazit

RAG ist eine Suche, die vor das Sprachmodell geschaltet wird. Die Qualität der Antworten entsteht vor allem in dieser Suche: in sauber aufbereiteten Dokumenten, in der Kombination von Vektor- und Stichwortsuche und in einer Sammlung echter Testfragen. Für einen internen Wissensassistenten, der einfache Fragen zu Handbüchern oder Richtlinien beantwortet, ist Standard-RAG oft der richtige Start. In der Produktberatung und im technischen Service reicht das häufig nicht. Kunden und Servicetechniker fragen nach Varianten, Kompatibilitäten, Ersatzteilen und Baujahren, und die Antwort ergibt sich dort aus Zusammenhängen zwischen Produkten. Für solche Fragen wird der Wissensgraph zum entscheidenden Baustein.

Fragen zu dem Aufbau von RAG-Systemen?

Kostenloses Erstgepräch vereinbaren

Wie lassen sich NLP-Systeme entwickeln ohne den Datenschutz zu gefährden?

Bodo Kraft — Wed, 09 Aug 2023 12:14:32 +0000

Nur wenige Bereiche der Informatik sind momentan so populär wie das maschinelle Lernen (ML) und insbesondere der Bereich des Natural Language Processing (NLP). Wer kennt nicht die Bedienung des Smartphones oder Radios mittels Sprachassistent (Siri, Alexa etc.)? Wie angenehm ist es doch die Adresse, zu der man navigiert werden will, einfach einzusprechen? Selbst die automatische Erkennung von Kundenanliegen bei der Dunkelverarbeitung von Briefen ist möglich.

Trotz bereits vorhandener Helfer und etablierten Prozess- und Vorgehensmodellen, wie zum Beispiel STAMP4NLP [1], ist die Erstellung einer solchen Anwendung immer noch mit hohem Aufwand verbunden. Um die notwendigen statistischen Modelle, die in der Lage sind Muster innerhalb von Daten zur Informationsextraktion abzubilden, trainieren zu können, müssen zunächst geeignete Daten identifiziert werden und aufbereitet werden. Dazu zählt sowohl die Bereinigung von Rechtschreibfehlern, als auch das manuelle Tagging, welches die Markierung von Elementen im Text ist. Auf Basis des annotierten Korpus wird in der Trainingsphase das Modell trainiert und nach abgeschlossener Optimierung in ein KI-System integriert, dass produktiv einsetzbar ist (siehe Abbildung 1).

Abbildung 1: Entwicklungsprozess KI-System

Ein Punkt, der bei der Erstellung von KI-Systemen immer mehr in den Fokus rückt, ist der Datenschutz [2]. Auf Grund der hohen Komplexität in der Erstellung von NLP-Anwendungen sind viele Unternehmen auf die Hilfe von externen Firmen und Entwicklern angewiesen. Dabei sind allerdings Daten, die auch datenschutzkritische Informationen enthalten, herauszugeben, auf deren Basis die neuen Anwendungen trainiert werden. Dies ist der Punkt an dem bisher der Großteil dieser Unternehmen die Einführung von NLP im eigenen Betrieb zurückzieht, da eine Anonymisierung der Daten mit hohem Aufwand verbunden ist.

Insbesondere durch die EU-Datenschutz-Grundverordnung (DSGVO) hat das Thema datenschutzkonforme Anonymisierung von Daten nochmal Aufwind bekommen [3]. Durch die drohenden hohen Strafen bei Zuwiderhandlung stellt der Datenschutz aktuell ein besonders großes Hindernis zur Einführung von NLP dar.

Existierende Verfahren, die relativ einfach die datenschutzkritischen Informationen gegen künstliche austauschen, sind nicht ohne weiteres nutzbar. Dies ist einerseits durch die jeweilige Anwendungsdomäne begründet. Im Kontext von Versicherungen sind exemplarisch sicherlich die Kennungen von Policen, Namen, Ereignisdaten und Adressen als kritisch anzusehen. Hingegen ist im Kontext von medizinischen Daten ein großes Augenmerk auf Attribute wie z.B. Größe, Gewicht, Symptome und Diagnosen zu legen. Folglich sind für jede Domäne erst einmal die kritischen Attribute zu identifizieren.

Zudem ist zu berücksichtigen, dass ausreichend Informationen anonymisiert werden. Wenn mit den verbliebenen Informationen und Hinzunahme einer weiteren Datenquelle wieder Rückschlüsse auf die Ursprungsdaten möglich sind, liegt keine rückschlussfreie Anonymisierung vor. Ein Beispiel hierfür ist die Entfernung des Namens und der Adresse, aber zugleich Erhalt des Geburtsdatums und des Geschlechts in einem medizinischen Bericht. Nimmt man nun das Melderegister hinzu und grenzt es auf den Einzugsbereich des Krankenhauses ein, ist eine Identifikation der betroffenen Person mit geringem Aufwand möglich [4].

Andererseits ist außerdem auch die Auswahlmöglichkeit an Verfahren zu beachten. Hierbei stehen exemplarisch Varianten zur Verfügung, die Namen zufällig gegen die 100 häufigsten Namen innerhalb Deutschlands tauschen. Es ist aber auch ein schematischer 1:1 Austausch denkbar oder komplexere Verfahren möglich. Dabei darf der Einfluss der Anonymisierung auf das zu trainierende Modell nicht unberücksichtigt bleiben. Wenn im produktiven Betrieb der NLP-Anwendung ein Dokument mit einem Namen auftaucht, der nicht zu den 100 häufigsten zählt, kann dieser unter Umständen nicht erkannt werden. Folglich ist der Erhalt der Daten-Varianz innerhalb der anonymisierten Attribute zu berücksichtigen.

Hinzukommt, dass auch die Erhaltung von Zusammenhängen innerhalb der Daten bei der Anonymisierung wichtig ist. Andernfalls wird über Sätze hinweg nicht erkannt, dass auf dieselbe Person Bezug genommen wird oder beschriebene Abläufe miteinander zusammenhängen. Insgesamt schränken bisherige Verfahren durch Informationsverlust das Training von Modellen auf anonymisieren Daten zu sehr ein.

Ziel ist es, das Gleichgewicht zwischen Einhaltung der Datenschutzvorschriften und dem Training einer qualitativ hochwertigen Anwendung zu finden. Ein möglicher Ablauf, wie per Anonymisierung die Einführung von NLP machbar ist, wird in der folgenden Vorgehensskizze dargestellt.

Vorgehensskizze

Wir betrachten als Beispiel ein Unternehmen, das per Kontaktformular mit seinen Kunden kommuniziert. Um nicht jede Nachricht händisch verarbeiten zu müssen, sollen diese möglichst automatisch verarbeitet werden.

Die Entwicklung einer entsprechenden NLP-Anwendung übernimmt ein externer NLP-Dienstleister, der hierfür vom Unternehmen erhaltene Kundennachrichten anfordert. Da diese Nachrichten aber personenbezogene Daten enthalten, die unter den Datenschutz fallen, darf das Unternehmen diese nicht herausgeben.

Abbildung 2: Vorgehen zur Modellerstellung

Entsprechend zu Abbildung 2 wird deshalb folgendes Vorgehen angewandt: Zuerst erstellt das Unternehmen einen Korpus und annotiert diesen. Er wird als Gold-Standard gesichert. Anschließend ist der Korpus zu anonymisieren. Eine gängige Lösung ist, dass Mitarbeiter des Unternehmens die kritischen Stellen innerhalb der Mitteilungen markieren und gegen entsprechende Label tauschen.

Abbildung 3: Beispiel Anonymisierung einer E-Mail

Hierfür sind zunächst alle domänenspezifischen kritischen Informationskategorien zu identifizieren. Wir befinden uns hier beispielhaft in der Versicherungsbranche. Entsprechend sind Name, Datum, Kundennummer und E-Mail-Adresse, sowie eventuell weitere Attribute, auszutauschen (siehe Abbildung 3).

Sobald die Anonymisierung durchgeführt wurde, wird der Datensatz mit den anonymisierten E-Mails an den NLP-Dienstleister verschickt. Dieser ersetzt die Label mit künstlichen Daten und generiert somit einen datenschutzkonformen Datenbestand, der weiterverwendet werden darf und einen anonymisierten Gold-Standard darstellt. Sodann trainiert der Dienstleister ein statistisches Modell zur Informations-Extraktion und entwickelt einen passenden NLP-KI-Service.

Der Service und das Modell werden anschließend an das Auftrag gebende Unternehmen übergeben und dort bezüglich der Verarbeitungsqualität von E-Mails geprüft. Hierfür kommt der zu Beginn gesicherte Gold-Standard zum Einsatz. Mit Hilfe verschiedener Metriken wird die Extraktionsgenauigkeit der Anwendung gegen die vorab spezifizierten Produktziele gemessen. Sollte die Qualität nicht ausreichend sein, erfolgt eine Evaluierung, ob das Anonymisierungsverfahren anzupassen oder der Korpus zu erweitern ist, und die Anwendung wird noch einmal überarbeitet.

Wenn die Verarbeitungsqualität alle Kriterien für den produktiven Einsatz erfüllt, wird die Anwendung in die vorhandenen Prozesse integriert. In regelmäßigen Abständen sollte kontrolliert werden, ob die Verarbeitung weiterhin problemlos funktioniert oder eine Anpassung notwendig ist.

Alternative zur Beauftragung von Dienstleistern?

Als Alternative zur Beauftragung von externen Dienstleistern, bieten sich „on Premise“ gehostete, moderne Low-Code Plattformen an. Low-Code bedeutet hier, dass auch Laien ermöglicht wird hoch performante NLP-Modelle zu entwickeln. Open-Plattform Lösungen, wie die des FH-Aachen Startups TaggingMatters (https://taggingmatters.de/), berücksichtigen den Datenschutz und verbergen gleichzeitig auch die Komplexität der eingesetzten Frameworks. Somit müssen Mitarbeiter in Unternehmen keine Experten für die umfangreichen NLP- bzw. ML-Tools, wie spaCy oder TensorFlow, und der Mathematik hinter modernen Verfahren werden, sondern können sich auf die wertschöpfenden Tätigkeiten konzentrieren.

Solche Plattformen erlauben, neben dem Vorbereiten der Daten („Tagging”), die optimierte Erstellung der KI und Bereitstellung von KI-Services. Dadurch können die oben beschriebenen Iterationen, auch ohne NLP-Erfahrung, um ein Vielfaches schneller durchlaufen werden. Letzten Endes profitiert das Unternehmen von niedrigeren Entwicklungskosten und schnellerem Return-On-Invest, denn das eigentliche Ziel, die Verbesserung von Geschäftsprozessen, darf nicht aus den Augen verloren werden.

Zusammenfassung

Das Vorhandensein und Verschärfung von Datenschutzrechten erschwert die Einführung von NLP bei zahlreichen Unternehmen unterschiedlichster Domänen. Eine Anonymisierung vor Herausgabe von Daten an externe Software-Firmen oder der Einsatz einer Low-Code-Plattform kann hier Abhilfe schaffen. Ein kritischer Punkt ist die erreichbare Qualität der auf anonymisierten Daten trainierten Modelle und deren Messung durch das auftraggebende Unternehmen. Ein iterativer Optimierungsprozess zur Modellerstellung und -optimierung mit mehrfachem Feedback ist hierbei unumgänglich.

Mit Blick auf die Zukunft werden automatische Verarbeitungen im digitalen Kontext immer wichtiger werden. Vor allem bezüglich Onlinezugangsgesetz (OZG) werden immer mehr Unternehmen daran interessiert sein, ihre Prozesse zu optimieren. Dabei wird vermehrt externe Unterstützung notwendig sein, die mit der hier gezeigten Vorgehensskizze oder dem Einsatz von Low-Code Plattformen umsetzbar ist.

Autoren

Prof. Dr. rer. nat. Bodo Kraft
Prof. Dr. Bodo Kraft ist Gründer und Leiter des Labors Business Programming. Er betreibt dort seit über zehn Jahren zusammen mit aktuell fünf Promovierenden anwendungs-orientierte Forschung im Umfeld von Computer-Linguistik. Gemeinsame Basis der unterschiedlichen Projekte ist die Problemstellung, massenhaft anfallende, natürlichsprachliche Dokumente effizient und automatisiert zu verarbeiten.
Die erfolgreiche Anpassung der Lösungen auf die jeweilige Domäne ist hierbei elementar. Ein weiterer Schwerpunkt liegt auf einer agilen, qualitätsgetriebenen Vorgehensweise zur Erstellung betrieblich verwertbarer und wartbarer Softwaresysteme.

Prof. Dr. Matthias Meinecke
Prof. Dr. Matthias Meinecke (Professor für Operations Management, Vorstand am Institut für Digitalisierung Aachen, FH Aachen) lehrt, forscht und berät zu Themen der Optimierung und Automatisierung von Geschäftsprozessen.
Zusammen mit Prof. Dr. Kraft ist er Coach des Start-Ups laizee.ai, welches Produkte und Services für die effiziente, automatisierte Verarbeitung menschlicher Sprache zur Optimierung von Unternehmensprozessen entwickelt.

M. Sc. Ines Larissa Siebigteroth
M. Sc. Ines Larissa Siebigteroth hat an der FH Aachen und der University of Wisconsin-Milwaukee Technomathematik studiert und promoviert nun bei Prof. Dr. Bodo Kraft. Frau Siebigteroth ist Teil des Labor Business Programming. Ihr Fokus liegt auf NLP und besonders auf der datenschutzkonformen Erstellung hochwertiger Korpora zur automatisierten Verarbeitung natürlicher Sprache.

Verweise

[1]	P. Kohl, O. Schmidts, L. Klöser, H. Werth, B. Kraft und A. Zündorf, „STAMP 4 NLP – An Agile Framework for Rapid Quality-Driven NLP Applications Development,“ [Online]. Available: https://link.springer.com/chapter/10.1007%2F978-3-030-85347-1_12.
[2]	Datenethikkommission, „Empfehlungen der Datenethikkommission für die Strategie Künstliche Intelligenz der Bundesregierung,“ [Online]. Available: https://www.bmjv.de/SharedDocs/Downloads/DE/Ministerium/ForschungUndWissenschaft/DEK_Empfehlungen.pdf?__blob=publicationFile&v=2.
[3]	S. C. A. Probst Eide, „Der aktuelle Entwicklungsstand von Tools zur Daten-Anonymisierung,“ [Online]. Available: https://www.it-finanzmagazin.de/entwicklungsstand-daten-anonymisierung-73373/.
[4]	D. Barth-Jones, „The ‚Re-Identification‘ of Governor William Weld’s Medical Information: A Critical Re-Examination of Health Data Identification Risks and Privacy Protections, Then and Now,“ [Online]. Available: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2076397. [Zugriff am 15 12 2021].

Digitale Kommunikation zwischen Mensch und Maschine durch Natural Language Processing

Bodo Kraft — Sun, 16 Jul 2023 12:36:00 +0000

Der technische Fortschritt hat die Art der Computernutzung in den letzten Jahren grundlegend revolutioniert. Kaum eine andere Branche hat dabei die Arbeitsweise der Menschen so stark verändert. Digitale Kommunikation ist sowohl im privaten als auch im beruflichen Umfeld effektiv und selbstverständlich. Rückständige Bereiche leiden unter ihren veralteten Kommunikationsformen und investieren in Optimierung.

Weit verbreitet sind aktuell Lösungen, die menschliche Kommunikation in natürlicher Sprache zwischen Menschen ermöglichen und solche, die formale Datenkommunikation zwischen IT-Systemen realisieren. Die Ersteren fallen in den Bereich E-Mail, Social Media und Chat. Viele Unternehmen erhalten über oben die beschriebenen Kanäle eine große Zahl an Kommunikationsanfragen in natürlicher Sprache. Bislang ist ein hoher Fließtextanteil ein Digitalisierungshindernis und führt zu hohen Kosten durch eine überwiegend manuelle Bearbeitung.

Natürliche Sprache ist vor allem durch eine hohe Vielfalt, Variabilität und Mehrdeutigkeit geprägt. Diese Faktoren machen eine automatisierte Verarbeitung mit klassischen Methoden der Informatik, z.B. Grammatiken, Wörterbüchern oder Parsern, fast unmöglich. Im Gegensatz hierzu haben Menschen eine genetische Veranlagung um Informationen aus dem Kontext der Sprache zu nutzen und so mit diesen Faktoren umzugehen.

Das Forschungsgebiet Natural Language Processing (NLP) untersucht die Schnittstelle zwischen Computern und natürlicher Sprache. Grundsätzlich wird in diesem Feld nicht versucht, alleine durch operational formulierte Regeln (Programm-Code usw.) Lösungsalgorithmen zu implementieren. Vielmehr werden Regeln auf Basis vorhandener Daten angelernt, es entsteht ein statistisches Modell (Maschinelles Lernen, ML). Sobald das statistische Modell in dieser Form ausreichend trainiert ist, können auch unbekannte Texte mit hoher Wahrscheinlichkeit korrekt verarbeitet werden. Die Kombination von manuell erstellten und gelernten Regeln erzeugt eine effektive Algorithmik zur Verarbeitung natürlicher Sprache, als Basis für vielfältige Anwendungsfälle.

Abbildung 1: Spezialisierung auf die Domäne und den Anwendungsfall auf Basis repräsentativer Trainingsdaten.

Die Methoden des ML sind bereits seit den 50er Jahren Gegenstand der Forschung. Mit dem Durchbruch von Deep-Learning in der Bild- und Sprachverarbeitung in den 2010er Jahren haben diese Methoden zunehmend den Weg in die Unternehmen gefunden.

Abbildung 1 illustriert den Entwicklungsprozess von NLP-Anwendungen. Für eine möglichst repräsentative und ausreichend große Trainingsdatenmenge erfolgt eine manuelle Bearbeitung (Tagging) zur Erstellung einer Referenzlösung. Diese Datenmenge (annotierter Korpus) bildet die Basis für das Training des Modells, also der statistischen Verteilung. Nach optionalen Optimierungsschritten ist der Entwicklungsprozess abgeschlossen.

Während der anschließenden Produktionsphase werden auf Basis dieses Modells nun unbekannte Texte analysiert. Entsprechend der jeweiligen Anwendung erfolgt z.B. eine Informationsextraktion, also die Identifikation von bekannten semantischen Strukturen aus dem Text oder eine Analyse der Stimmungslage des Autors beim Schreiben. Von außen betrachtet arbeitet das trainierte Modell wie ein menschlicher Sachbearbeiter und kann in bestehende Prozesse integriert werden. Die folgende Fallstudie verdeutlicht diesen Prozess.

Fallstudie

Die Deutsche Bahn als Beispiel für einen großen Mobilitätsanbieter möchte ihre Kundenkommunikation effektiver gestalten. Um die Arbeitskraft ihrer Servicemitarbeiter möglichst sinnvoll einzusetzen sollen besonders regelmäßige Anfragen, wie

„Meine Verbindung von Aachen nach Köln am nächsten Mittwoch fällt aus, welche Ersatzverbindung darf ich nutzen?“

automatisiert beantwortet werden. Zunächst ist zu beobachten, dass die relevanten Parameter der Anfrage in diesem Beispiel konkret genannt werden:

Eine automatisierte Extraktion dieser bekannten Konzepte hat zur Folge, dass die Fließtextanfrage automatisch in eine strukturierte Anfrage überführt und so in bestehende digitale Prozesse integriert werden kann.

Während des Trainingsprozesses werden diese Konzepte in vorhandenen Kundenanfragen annotiert. Mit der resultierenden Trainingsdatenmenge wird ein statistisches Modell so trainiert, dass es Regelmäßigkeiten in unbekannten Fließtexten entdecken kann um Instanzen der antrainierten Konzeptklassen zu extrahieren. Die Kombination des NLP Modells mit einer entsprechenden Geschäftslogik kann nun genutzt werden, um einen Teil der Anfragen automatisiert zu beantworten.

Die Vorteile von ML möchten wir in diesem Zusammenhang am Beispiel des Datum-Konzepts verdeutlichen. Um ein Datum aus Anfragen zu extrahieren, könnten wir einen regulären Ausdruck, z.B.

^\d{1,2}[ \.]{1,2}\d{0,2}[ \.]{0,2}((19|20|21)?\d{0,2})?$

in Kombination mit einem Wörterbuch (Montag, …, Sonntag, morgen, nächsten …) verwenden. Diese klassische Form der Datenverarbeitung funktioniert in vielen Fällen bereits gut. Kleinste Abweichungen von dem hier definierten Schema führen allerdings dazu, dass ein Datum im Text nicht mehr erkannt wird. Zudem birgt dieser Ansatz die Gefahr verschiedener gravierender Fehlersituationen. Zunächst stellt sich heraus, dass Fehler, wie z.B. Tippfehler, Rechtschreibfehler usw., nicht berücksichtigt werden. Zusätzlich gibt es Fälle in denen Wörter aus dem Wörterbuch nicht im Kontext eines Datums genutzt werden.

„… den zug habe ich verpasst und warte auf den nächsten montag gilt mein wochenendticket aber nicht mehr.“

Das Beispiel zeigt, dass „nächsten“ auch eine Referenz auf einen Zug sein kann. Hier erschweren fehlende Satzzeichen zusätzlich zur fehlenden Groß- und Kleinschreibung die Definition allgemeingültiger Regeln. Ein auf derartigen Daten trainiertes ML-basiertes NLP Modell erkennt die Referenz und hat so die Möglichkeit nur „Montag“ als Datumsangabe zu identifizieren.

Der Entwicklungs- und DevOps-Prozess dieses NLP Modells wird, vergleichbar zu konventioneller Softwareentwicklung, durch einen problemspezifischen Tool Stack unterstützt. So bieten NLP Frameworks wie bspw. spaCy alle Methoden um NLP Modelle aus vorhandenen Daten zu erzeugen. Die Erstellung der Trainingsdaten werden durch Task-spezifische Annotationstools und ML-spezifische Versionierungstools, wie bspw. DVC unterstützt. Erstellte Modelle können effizient durch Container-Technologien wie Docker in Kombination mit Systemen zur Bereitstellung der Softwarecontainer wie Amazon EC² oder Kubernetes in der Cloud bereitgestellt, betrieben und überwacht werden.

Zusammenfassung

Die Forschung im Bereich des NLP hat in den letzten Jahren grundlegende Fortschritte gemacht. Der enorme Zuwachs in verfügbarer Rechenleistung führt zu immer stärkeren Modellen und immer besseren NLP Systemen (der Google Übersetzer ist nur ein positives Beispiel).

Laut einer Studie von Gartner[1],befindet sich NLP gerade auf dem Weg aus der Forschung in die Industrie. Die Möglichkeiten, die sich aus ML-gestütztem NLP ergeben, haben in vielen Unternehmen das Potential IT-Prozesse grundlegend kosteneffizient zu optimieren und gleichzeitig den immer weiterwachsenden Anforderungen der Kunden an die Verfügbarkeit durch eine vollständige oder teilweise Automatisierung gerecht zu werden.

Autoren

Prof. Dr. Bodo Kraft
Prof. Dr. Bodo Kraft ist Gründer und Leiter des Labors Business Programming. Er betreibt dort seit über zehn Jahren zusammen mit aktuell fünf Promovierenden anwendungs-orientierte Forschung im Umfeld von Computer-Linguistik. Gemeinsame Basis der unterschiedlichen Projekte ist die Problemstellung, massenhaft anfallende, natürlichsprachliche Dokumente effizient und automatisiert zur verarbeiten.
Die erfolgreiche Anpassung der Lösungen auf die jeweilige Domäne ist hierbei elementar. Ein weiterer Schwerpunkt liegt auf einer agilen, qualitätsgetriebenen Vorgehensweise zur Erstellung betrieblich verwertbarer und wartbarer Softwaresysteme.

M. Sc. Lars Klöser
M. Sc. Lars Klöser hat an der RWTH Aachen Informatik studiert und promoviert nun bei Prof. Dr. Bodo Kraft und ist Teil des Labor Business Programming. Sein Fokus liegt auf NLP und besonders auf der Extraktion komplexer semantischer Strukturen aus rechtlichen Texten.

[1] https://www.gartner.com/smarterwithgartner/top-trends-on-the-gartner-hype-cycle-for-artificial-intelligence-2019/