KI-Lösung

Chatbot mit RAG unter Verwendung von OCI Generative AI Agents

Einführung

In der heutigen Technologielandschaft können wir auf Forschung und Statistiken zurückgreifen, Datenfeeds für Analysen einbeziehen und Erkenntnisse gewinnen, um Entscheidungen in Echtzeit zu treffen. Neue Informationen können jedoch auch für die robustesten Analyselösungen schwer zu parsen und zu kontextualisieren sein. Hier ist die retrieval-augmented generation (RAG) nützlich, mit der Sie die Kenntnisse eines großen Sprachmodells erweitern können, ohne es neu zu trainieren, wenn neue Informationen verfügbar sind. Dadurch wird Ihr Modell mit neueren Daten aktualisiert, sodass es mit minimalem Aufwand leistungsfähiger wird.

Mit generativen KI-Agents von Oracle Cloud Infrastructure (OCI) können Sie genau das tun. In diesem Beispiel laden wir unsere Dokumente hoch, verarbeiten diese Daten, legen sie in einem Vektorspeicher ab (über OCI Search mit OpenSearch), erstellen ein Redis-Cluster für Caching-Zwecke und bieten Ihnen eine Möglichkeit, die Daten über einen Chatbot zu konsumieren.

Für die Infrastruktur sind die folgenden OCI-Services vorhanden:

  • OCI-Cache für das Caching von Benutzer-Agent-Interaktionen (damit wir dem Modell einen Kontext geben können)
  • OCI Search mit dem OpenSearch-Cluster für die Indexähnlichkeitssuche (Vektordatenbank) und das Speichern von Indizes mit Daten
  • OCI Compute zur sicheren Verbindung mit dem OpenSearch-Cluster (über OCI Private Subnet Routing)
  • OCI Generative AI-Agents für die Kommunikation und Interaktion mit den Daten in unserem Cluster

Demo

Demo: Chatbot mit RAG mit OCI Generative AI Agents (1:38)

Voraussetzungen und Einrichtung

  1. Oracle Cloud-Account - Anmeldeseite
  2. Erste Schritte mit OCI Generative AI Agents - Dokumentation
  3. OCI-SDK und Befehlszeilenschnittstelle - Konfiguration
  4. OCI Generative AI - Python-SDK
  5. Erste Schritte mit der OCI Generative AI-API - Dokumentation
  6. Open Source-Paketmanager - Conda