Bereitstellung von LLMs mit NVIDIA-GPUs auf OCI Compute Bare Metal
Einführung
Haben Sie sich jemals gefragt, wie Sie ein großes Sprachmodell (LLM) auf Oracle Cloud Infrastructure (OCI) bereitstellen? In dieser Lösung erfahren Sie, wie Sie LLMs mit OCI Compute Bare Metal-Instanzen bereitstellen, die von NVIDIA-GPUs mit einem Inferenzserver namens vLLM beschleunigt werden.
vLLM kann als Server bereitgestellt werden, der das API-Protokoll OpenAI implementiert. Dadurch kann vLLM als Drop-in-Ersatz für Anwendungen mit der OpenAI-API verwendet werden, was bedeutet, dass wir OpenAI-Modelle (wie GPT-3.5 oder GPT-4) auswählen können, um Text für unsere Anforderung basierend auf nur zwei Dingen zu generieren.
- Abfrage des ursprünglichen Benutzers
- Der Modellname des LLM, für den Sie die Textgenerierung ausführen möchten
Diese LLMs können aus jedem gut geformten Hugging Face Repository (Entwicklerwahl) stammen. Daher müssen wir uns bei Hugging Face authentifizieren, um die Modelle (wenn wir sie nicht aus dem Quellcode erstellt haben) mit einem Authentifizierungstoken abzurufen.
LLMs können auch mit NVIDIA NIM bereitgestellt werden, einer Reihe benutzerfreundlicher Microservices, die für die sichere, zuverlässige Bereitstellung von leistungsstarken KI-Modellinferenzen auf NVIDIA-GPU-beschleunigten Instanzen auf OCI entwickelt wurden.
Demo
Voraussetzungen und Einrichtung
- Oracle Cloud-Account – Anmeldeseite
- Oracle Cloud Infrastructure – Dokumentation
- OCI Generative AI – Dokumentation
- vLLM – Dokumentation zu den ersten Schritten