Hybrid RAG: Hands-On Ansatz zur großflächigen Wissensextraktion

Unternehmen haben oft Schwierigkeiten, aussagekräftige Erkenntnisse aus riesigen Mengen unstrukturierter Daten zu gewinnen, die über Tausende oder gar Millionen von Dokumenten verteilt sind.

Gängige Ansätze zur Retrieval-Augmented Generation (RAG), die typischerweise eine Handvoll relevanter Dokumente finden, um die Antwort einer KI zu informieren, scheitern, wenn die erforderlichen Informationen über ein gesamtes Korpus verteilt sind.

Wir setzen hier auf hands-on Lösungen um das Problem in der Praxis zu lösen. Dabei kombinieren wir zwei Schlüsselstrategien: hierarchisches Prompting und dynamisches Attribut-Mapping. Diese Techniken ermöglichen eine umfassende Analyse großer Dokumentensätze und die Extraktion relevanter Informationen, wodurch Unternehmen komplexe Abfragen beantworten können, die ihre gesamte Wissensbasis umfassen.

Hierarchisches Prompting: Skalierung der Informationsextraktion

Hierarchisches Prompting ist unsere Lösung zur Verarbeitung großer Datensätze, die die Kontextgrenzen einzelner Sprachmodelle überschreiten. Es geht hier darum, in einem Map-Reduce ähnlichen Prozess Fragen in Dokumentensätzen/Batches aus den Quelldokumenten zu beantworten und zu einer Antwort zu aggregieren.

1. Dokumentensatz-Aufteilung: Das große Korpus wird in handhabbare Dokumentensätze aufgeteilt, die innerhalb des Kontextfensters des Sprachmodells verarbeitet werden können.
2. Parallele Verarbeitung: Jeder Dokumentensatz wird unabhängig mit derselben Abfrage oder Aufforderung verarbeitet.
3. Iterative Aggregation: Die Ergebnisse einzelner Dokumentensätze werden auf zunehmend höheren Ebenen kombiniert, bis eine endgültige Antwort erstellt wird, die den gesamten Datensatz abdeckt.

Diese Methode ermöglicht es uns, relevante Informationen aus jedem Dokument im Korpus zu extrahieren, anstatt die Analyse auf eine kleine Teilmenge von Dokumenten zu beschränken.

Dynamisches Attribut-Mapping: Strukturierte Wissensextraktion

Weil häufiges, wiederholtes hierarchischen Prompting teuer werden kann, schaffen wir zusätzlich ein Korpus an Wissen, das wir mit jeder neuen Anfrage erweitern: Dynamisches Attribut-Mapping konzentriert sich auf die wiederverwendbare Organisation und Speicherung der extrahierten Informationen.

1. Attribut-Identifikation: Bevor Dokumente verarbeitet werden, verwendet das System das Sprachmodell, um zu bestimmen, welche Attribute basierend auf der Frage des Benutzers und bestehenden Attributen extrahiert werden sollen.
2. Informationsextraktion: Während Dokumentensätze verarbeitet werden, extrahiert das System die identifizierten Attribute und deren Beziehungen.
3. Strukturierte Speicherung: Extrahierte Informationen werden in einem Format ähnlich einem JSON-Objekt oder Wörterbuch gespeichert.
4. Kontinuierliche Aktualisierungen: Die Struktur entwickelt sich weiter, während neue Abfragen verarbeitet und mehr Dokumente analysiert werden, wobei das Sprachmodell kontinuierlich verfeinert, welche Attribute relevant sind.

Dieser dynamische Ansatz ermöglicht es dem System, sich im Laufe der Zeit an neue Arten von Informationen und Abfragen anzupassen und eine zunehmend umfassende und nuancierte Darstellung der Daten zu erstellen.

Beispiel: Analyse von Arzneimittelwechselwirkungen

Betrachten wir ein Pharmaunternehmen, das diesen Ansatz nutzt, um Arzneimittel-wechselwirkungen über Millionen von Forschungsarbeiten und klinischen Studien hinweg zu analysieren.

1. Anfängliche Abfrage: "Was sind die möglichen Wechselwirkungen zwischen Medikament A und häufig verschriebenen Antidepressiva?"
2. Hierarchischer Prompting-Prozess:
   • Teilt das Korpus in Batches auf (z.B. 1000 Papiere pro Batch)
   • Verarbeitet jeden Batch, um Erwähnungen von Medikament A, Antidepressiva und beobachtete Wechselwirkungen zu extrahieren
   • Aggregiert Ergebnisse über alle Batches hinweg
3. Dynamisches Attribut-Mapping:
   • Erstellt eine strukturierte Darstellung:

     {
       "Medikament A": {
         "Wechselwirkungen": {
           "SSRI": ["erhöhtes Risiko eines Serotonin-Syndroms", "20% der Papiere"],
           "MAOI": ["kontraindiziert", "15% der Papiere"],
           "SNRI": ["potenzielle Blutdruckeffekte", "10% der Papiere"]
         }
       }
     }
                 

   • Aktualisiert diese Struktur mit jeder neuen Analyse
4. Ergebnis: Das System liefert eine umfassende Antwort über die Wechselwirkungen von Medikament A, einschließlich der Häufigkeit der gemeldeten Wechselwirkungen über den gesamten Datensatz hinweg. Diese strukturierten Daten können für zukünftige verwandte Abfragen schnell abgerufen werden, ohne alle Dokumente erneut verarbeiten zu müssen.

Dieser Ansatz ermöglicht es dem Pharmaunternehmen, Erkenntnisse zu gewinnen, die bei herkömmlichen RAG-Methoden möglicherweise übersehen werden könnten, da diese wichtige Wechselwirkungen, die in weniger prominenten Papieren erwähnt werden, übersehen könnten.

Fazit

Der hands on Einsatz von hierarchischem Prompting und dynamischem Attribut-Mapping stellt eine praktische Lösung bei der Ableitung von Erkenntnissen aus großen, komplexen Datensätzen dar. Indem es eine wirklich umfassende Analyse und effiziente Wissensstrukturierung ermöglicht, erlaubt dieser Ansatz Unternehmen, das volle Potenzial ihrer Informationsbestände auszuschöpfen, fundiertere Entscheidungen zu treffen und wertvolle Erkenntnisse über ihr gesamtes Datenkorpus hinweg aufzudecken.

Die Verbindung von hierarchischem Prompting und dynamischem Attribut-Mapping bringt mehrere entscheidende Vorteile mit sich:

• - Eine gründliche Analyse kompletter Datensätze
• - Skalierbarkeit, die über die Kapazitäten einzelner Modelle hinausgeht
• - Eine sich fortentwickelnde Wissensstruktur, die sowohl die Effizienz als auch die Robustheit und deterministische Antworten verbessert
• - Eine effiziente Abfragegestaltung für zukünftige Anfragen