KI-Infrastruktur
Mit Unterstützung von einer GPU bis zu Zehntausenden von GPUs können virtuelle Maschinen und Bare-Metal-Instanzen von Oracle Cloud Infrastructure (OCI) Compute Anwendungen für Computer Vision, Natural Language Processing, Empfehlungssysteme und mehr antreiben. Für das Training von großen Sprachmodellen (LLMs), einschließlich Konversations-KI und Diffusionsmodellen, bietet OCI Supercluster Cluster-Networking mit extrem geringer Latenz, HPC-Speicher und OCI Compute-Bare-Metal-Instanzen auf Basis von NVIDIA-GPUs.
Sprechen Sie mit Oracle über die Beschleunigung Ihrer GPU-Workloads.
OCI auf der NVIDIA GTC (20.-23. März 2023)
Erfahren Sie mehr über die Supercluster-Architektur von OCI und hören Sie von den Kunden Adept und MosaicML.
Erfahren Sie, wie OCI Modelltraining und parallele Anwendungen unterstützt
Bis zu 32.768 NVIDIA A100-GPUs bereitstellen
Jede OCI Compute-Bare-Metal-Instanz wird mit dem Clusternetzwerk mit extrem geringer Latenz von OCI verbunden, das auf bis zu 32.768 NVIDIA A100-GPUs in einem einzelnen Cluster skalieren kann. Diese Instanzen verwenden die einzigartige leistungsstarke Netzwerkarchitektur von OCI, die RDMA over Converged Ethernet (RoCE) v2 zum Erstellen von RDMA-Superclustern mit einer Latenzzeit im Mikrosekundenbereich zwischen den Knoten und einer Bandbreite von nahezu 200 Gb/s zwischen den GPUs nutzt.
Die OCI-Implementierung von RoCE v2 bietet
- 1.600 Gb/s Bandbreite pro Server und 200 Gb/s Bandbreite pro A100-GPU
- 3.200 Gb/s Bandbreite pro Server und 400 Gb/s Bandbreite pro H100-GPU
Hochgeschwindigkeits-RDMA-Clusternetzwerke
High Performance Computing auf Oracle Cloud Infrastructure bietet leistungsstarke, kostengünstige Computing-Funktionen zur branchenübergreifenden Lösung komplexer mathematischer und wissenschaftlicher Probleme.
Die Bare-Metal-Server von OCI in Verbindung mit dem Clusternetzwerk von Oracle bieten Zugang zu RDMA over Converged Ethernet (RoCE) v2 mit extrem niedriger Latenz (weniger als 2 Mikrosekunden über Cluster mit Zehntausenden von Kernen).
Das Diagramm zeigt die Performance der Netzwerkstruktur von Oracle. OCI kann über 100 % unter 10.000 Simulationszellen pro Kern mit gängigen CFD-Codes skalieren, was der Leistung entspricht, die Sie On-Premises sehen würden. Es ist wichtig anzumerken, dass Bare-Metal-HPC-Maschinen ohne den Nachteil der Virtualisierung alle Kerne des Knotens nutzen können, ohne Kerne für kostspieligen Overhead reservieren zu müssen.
High Performance Computing (HPC) auf OCI
HPC auf OCI konkurriert mit der Leistungsfähigkeit von On-Premises-Lösungen, mit der Elastizität und den verbrauchsbasierten Kosten der Cloud und bietet On-Demand-Potenzial, um Zehntausende von Kernen zeitgleich zu skalieren.
Mit HPC auf OCI erhalten Sie Zugriff auf Hochfrequenzprozessoren, schnellen und dichten lokalen Speicher, RDMA-Clusternetzwerke mit hohem Durchsatz sowie hoher Latenz und die Tools zur nahtlosen Automatisierung und Ausführung von Ihrer Jobs.
OCI kann laut einer Analyse von Exabyte.io Latenzzeiten von bis zu 1,7 Mikrosekunden bieten – weniger als jeder andere Cloud-Anbieter. Durch die Ermöglichung von RDMA-verbundenen Clustern hat OCI die Clustervernetzung für Bare-Metal-Server erweitert, die mit NVIDIA A100 GPUs ausgestattet sind.
Die bahnbrechende Backend-Netzwerkstruktur ermöglicht es Kunden, die ConnectX-5-Netzwerkschnittstellenkarten von Mellanox mit 100 Gbit/s und RDMA over Converged Ethernet (RoCE) v2 zu verwenden, um Cluster mit denselben niedrigen Latenzzeiten und der gleichen Anwendungsskalierbarkeit zu erstellen, wie sie On-Premises erreicht werden können.
Einzigartige Bare-Metal-GPU-Cluster
Die Bare-Metal-NVIDIA-GPU-Instanzen von OCI ermöglichen Start-ups eine Hochleistungs-Rechenplattform für Anwendungen, die auf maschinelles Lernen, Bildverarbeitung und massiv parallele Hochleistungs-Computing-Aufgaben angewiesen sind. GPU-Instanzen eignen sich ideal für Modell-Schulungen, Inferenzberechnungen, Physik- und Bildrendering sowie massiv parallele Anwendungen.
Die BM.GPU4.8-Instanzen verfügen über acht NVIDIA A100-GPUs und verwenden das Clusternetzwerk mit geringer Latenz von Oracle, das auf dem Remote Direct Memory Access (RDMA) basiert, der über konvergiertes Ethernet (RoCE) mit einer Latenzzeit von unter 2 Mikrosekunden ausgeführt wird. Kunden können jetzt mehr als 500 GPU-Cluster hosten und einfach nach Bedarf skalieren.
Erfahren Sie, wie OCI und NVIDIA KI-Modelle der nächsten Generation vorantreiben
Kunden wie Adept, ein ML-Forschungs- und Produktlabor zur Entwicklung eines universellen KI-Teams, nutzen die Leistungsfähigkeit von OCI- und NVIDIA-Technologien, um die nächste Generation von KI-Modellen zu entwickeln. Durch die Ausführung Tausender NVIDIA-GPUs in Clustern von OCI-Bare-Metal-Compute-Instanzen und die Nutzung der Netzwerkbandbreite von OCI kann Adept umfangreiche KI- und ML-Modelle schneller und wirtschaftlicher als zuvor trainieren.
Adept entwickelt mit Oracle und NVIDIA einen leistungsstarken KI-Teamkollegen für alle
„Mit der Skalierbarkeit und Rechenleistung der OCI- und NVIDIA-Technologie trainieren wir ein neuronales Netzwerk, um jede existierende Softwareanwendung, Website und API zu nutzen – aufbauend auf den Funktionen, die Softwarehersteller bereits geschaffen haben.“
David Luan, CEO
Adept
SoundHound wählt OCI, um sein enormes Unternehmenswachstum zu unterstützen
„Wir sehen diese Beziehung zu OCI als langfristig an. Wir freuen uns, die GPUs nutzen und damit unsere nächste Generation von Sprach-KI trainieren zu können. Wir glauben, dass OCI uns in Bezug auf zukünftiges Wachstum einiges bieten wird.“
James Hom, Cofounder und Vice President of Products
SoundHound
„Wir haben uns aufgrund der Erschwinglichkeit und Performance der GPUs in Kombination mit dem umfangreichen Cloud-Angebot für Oracle entschieden. GPUs sind sehr wichtig für das Training von tiefen neuronalen Netzwerkmodellen. Je höher die GPU-Leistung, desto besser unsere Modelle. Und weil wir in verschiedenen Ländern und Regionen arbeiten, brauchten wir die Infrastruktur, um das zu unterstützen.“
Nils Helset, Mitgründer und CEO
DigiFarm
University of Michigan verbessert KI-Textzusammenfassungen
„Bei der Durchführung von Experimenten mit der gleichen Konfiguration benötigt der A100 im Durchschnitt etwa 25 % weniger Zeit. Was es noch besser macht, ist der reibungslose Prozess der Einrichtung der Maschine auf Oracle Cloud.“
Shuyang Cao, Graduate Student Research Assistant
University of Michigan
MosaicML skaliert KI/ML-Training auf OCI
Erfahren Sie, warum MosaicML festgestellt hat, dass OCI die beste Grundlage für KI-Training ist.
Was ist in GPU-Instanzen auf OCI enthalten?
Dedizierte technische Unterstützung
OCI stellt Ihnen erstklassige technische Experten zur Seite, die Sie bei der Inbetriebnahme unterstützen. Wir beseitigen die technischen Hürden einer komplexen Bereitstellung, von der Planung bis zur Einführung, und tragen so zu Ihrem Erfolg bei.
- Entwicklung der Lösungsarchitektur
- Netzwerke, Sicherheit und Prüfung
- Onboarding in OCI
- Anwendungsmigration
- Schulung nach der Migration
Verbesserte Wirtschaftlichkeit
OCI wurde für Unternehmen entwickelt, die an einer höheren Performance, durchgängig niedrigeren Kosten und einer einfacheren Cloud-Migration für ihre aktuellen On-Premises-Anwendungen interessiert sind.
- Private Netzwerkkonnektivität, die 74 % weniger kostet
- Mehr als 3-fach besseres Preis-Leistungs-Verhältnis bei Compute
- Bis zu 44 % günstigere Infrastruktur mit lokalen Solid-State-Festplatten, doppelt so viel RAM, RDMA-Netzwerke und Performance-SLA
- 20-mal mehr Eingabe-/Ausgabevorgänge pro Sekunde bei weniger als der Hälfte der Kosten
First Principles: Supercluster mit RDMA – ultrahohe Performance in großem Maßstab
Jag Brar, OCI Vice President und Distinguished Engineer und Pradeep Vincent, OCI Senior Vice President und Chief Technical Architect
OCI bietet viele einzigartige Services, darunter das Clusternetzwerk, ein extrem leistungsstarkes Netzwerk mit Unterstützung für Remote Direct Memory Access (RDMA). In unserem vorherigen First Principles-Video und -Blog „Aufbau eines High Performance-Netzwerks in der Public Cloud“ haben wir erklärt, wie das Clusternetzwerk von OCI RDMA over Converged Ethernet (RoCE) zur Unterstützung von RDMA verwendet.
Vollständigen Beitrag lesenAusgewählte Blogs
- 11. Januar 2023 Deep Learning Workload mit JAX in Multi-GPU-Clustern mit mehreren Knoten auf OCI ausführen
- 13. Dezember 2022 First Principles: Aufbau eines High Performance-Netzwerks in der Public Cloud
GPU-Ressourcen
Blogs
- Die schnellsten Dateiserver in der Public Cloud (Produkt-Spotlight)
- NVIDIA A100-Bare Metal-Performance in Oracle Cloud Infrastructure (Produkt-Spotlight)
- Ausführen von Anwendungen auf Oracle Cloud mithilfe des Clusternetzwerks (Technische Lösung)