Nutzung von Open Neural Network Exchange-Modellen zur Vektorisierung von Inhalten in PDFs

Einführung

Während die Abfrage externer Large Language Models (LLMs) nach Antworten auf Fragen häufig ein Problem löst, können sich die Anforderungen geringfügig von der Suche nach internen Wissens-Repositorys und Datensätzen des Unternehmens unterscheiden.

Stellen Sie sich vor, eine Organisation, die interne Recherchen durchführt, hat mehrere PDFs, die von einer KI-Suchmaschine und nicht von öffentlichen LLMs nach relevanten Antworten durchsucht werden sollten. Es besteht auch die Möglichkeit, traditionelle Abfragen des relationalen Datenbankmanagementsystems zusammen mit generativen KI-Abfragen zu verwenden, um die Suche leistungsfähiger zu machen.

Diese Lösung demonstriert, wie Sie Open Neural Network Exchange-(ONNX-)Konzepte verwenden, unsere eigenen ONNX-Modelle erstellen und diese Modelle zum Lesen von PDFs und Vektorisieren von Inhalten verwenden. Schließlich wird eine vektorbasierte Oracle APEX-Suchmaschine entwickelt, die interne Wissens-Repositorys abfragen kann (und manchmal auch externe LLMs abfragen).

Demo

Voraussetzungen und Einrichtung

1. Oracle Cloud-Account – Anmeldeseite
2. Oracle Database 23ai – Dokumentation
3. Oracle Machine Learning for Python – Dokumentation
4. ONNX – Dokumentation
5. Oracle APEX – Dokumentation

Erste Schritte

• Detaillierte Schritte und Beispielcode auf GitHub