Sichere Automatisierung von Aufgaben mit RAG und einer Auswahl an LLMs
Einführung
Um sich wiederholende Aufgaben zu rationalisieren oder vollständig zu automatisieren, warum nicht die Hilfe von KI in Anspruch nehmen? Die Verwendung eines Basismodells zur Automatisierung sich wiederholender Aufgaben mag ansprechend klingen, kann jedoch vertrauliche Daten gefährden. Die Retrieval-augmented Generation (RAG) ist eine Alternative zur Feinabstimmung, bei der Inferenzdaten vom Korpus eines Modells isoliert bleiben.
Wir wollen unsere Inferenzdaten und unser Modell getrennt halten - aber wir wollen auch eine Auswahl, in der wir ein großes Sprachmodell (LLM) verwenden und eine leistungsstarke GPU für Effizienz. Stellen Sie sich vor, Sie könnten das alles mit nur einer GPU machen!
In dieser Demo zeigen wir, wie Sie eine RAG-Lösung mit einer einzelnen NVIDIA A10-GPU, einem Open-Source-Framework wie LangChain, LlamaIndex, Qdrant oder vLLM und einem leichten LLM mit 7 Milliarden Parametern von Mistral AI bereitstellen. Es ist ein ausgezeichnetes Gleichgewicht zwischen Preis und Leistung und hält Inferenzdaten getrennt, während die Daten nach Bedarf aktualisiert werden.
Demo
Voraussetzungen und Einrichtung
- Oracle Cloud-Account - Anmeldeseite
- Oracle GPU-Compute-Instanz - Dokumentation
- LlamaIndex-Dokumentation
- LangChain-Dokumentation
- vLLM-Dokumentation
- Qdrant-Dokumentation