Chatbot mit RAG unter Verwendung von OCI Generative AI Agents
Einführung
In der heutigen Technologielandschaft können wir Forschung und Statistiken nutzen, Datenfeeds für Analysen abrufen und Erkenntnisse gewinnen, um Entscheidungen in Echtzeit zu treffen. Neue Informationen können jedoch selbst für die robustesten Analyselösungen schwer zu parsen und zu kontextualisieren sein. Hier ist die retrieval-augmented generation (RAG) nützlich, sodass Sie die Kenntnisse eines großen Sprachmodells erweitern können, ohne es erneut zu trainieren, wenn neue Informationen verfügbar sind. Dadurch wird Ihr Modell mit neueren Daten aktualisiert, sodass es mit minimalem Aufwand leistungsfähiger wird.
Mit Oracle Cloud Infrastructure (OCI) Generative AI Agents können Sie genau das tun. In diesem Beispiel laden wir unsere Dokumente hoch, verarbeiten diese Daten, legen sie in einen Vektorspeicher (über OCI Search mit OpenSearch), erstellen ein Redis-Cluster zu Caching-Zwecken und bieten Ihnen eine Möglichkeit, die Daten über einen Chatbot zu konsumieren.
Für die Infrastruktur sind die folgenden OCI-Services vorhanden:
- OCI Cache für das Caching von Benutzer-Agent-Interaktionen (damit wir dem Modell einen gewissen Kontext geben können)
- OCI Search mit OpenSearch-Cluster zur Indexähnlichkeitssuche (Vektordatenbank) und zum Speichern von Indizes mit Daten
- OCI Compute für eine sichere Verbindung zum OpenSearch-Cluster (über OCI-Routing für private Subnetze)
- OCI Generative AI Agents für die Kommunikation und Interaktion mit den Daten in unserem Cluster
Demo
Voraussetzungen und Setup
- Oracle Cloud-Account – Anmeldeseite
- Erste Schritte mit OCI Generative AI – Dokumentation
- OCI-SDK und Befehlszeilenschnittstelle – Konfiguration
- OCI Generative AI – Python-SDK
- Open Source Package Manager – Conda