OCI Supercluster und KI-Infrastruktur
Oracle Cloud Infrastructure (OCI) Supercluster bietet ultraschnelles Cluster-Networking, HPC-Speicher und OCI Compute-Bare-Metal-Instanzen. OCI Supercluster eignet sich ideal für das Training generativer KI, einschließlich Konversationsanwendungen und Diffusionsmodelle. Dank der Unterstützung von bis zu Zehntausenden von NVIDIA-GPUs können OCI Compute-Bare-Metal-Instanzen und VMs Anwendungen für Computer Vision, Natural Language Processing, Empfehlungssysteme und vieles mehr betreiben.
Wie OCI Supercluster die Konkurrenz schlägt
-
Branchenführende Skalierbarkeit für generative KI
Stellen Sie für eine wesentlich größere Skalierbarkeit bis zu 32.768 NVIDIA A100-GPUs pro Cluster bereit.
-
Extrem niedrige Latenz und extrem hohe Bandbreite*
Reduzieren Sie den Zeitaufwand für das Trainieren von KI mit einer einfachen Ethernet-Netzwerkarchitektur, die eine extrem hohe Leistung in großem Maßstab bietet.
-
Zugriff auf KI-Subject Matter Experts (SMEs)
Holen Sie sich technische Hilfe in Bezug auf Lösungsarchitektur, Netzwerk, Sicherheit, Auditing, Onboarding, Anwendungsmigration und vielem mehr.
Sprechen Sie mit Oracle über die Beschleunigung Ihrer GPU-Workloads.
Erfahren Sie, wie OCI Modelltraining und parallele Anwendungen unterstützt
Bis zu 32.768 NVIDIA A100-GPUs bereitstellen
Jede OCI Compute-Bare-Metal-Instanz wird mit dem Clusternetzwerk mit extrem geringer Latenz von OCI verbunden, das auf bis zu 32.768 NVIDIA A100-GPUs in einem einzelnen Cluster skalieren kann. Diese Instanzen verwenden die einzigartige leistungsstarke Netzwerkarchitektur von OCI, die RDMA over Converged Ethernet (RoCE) v2 zum Erstellen von RDMA-Superclustern mit einer Latenzzeit im Mikrosekundenbereich zwischen den Knoten und einer Bandbreite von nahezu 200 Gb/s zwischen den GPUs nutzt.
Die OCI-Implementierung von RoCE v2 bietet
- 1.600 Gb/s Bandbreite pro Server und 200 Gb/s Bandbreite pro A100-GPU
- 3.200 Gb/s Bandbreite pro Server und 400 Gb/s Bandbreite pro H100-GPU
Hochgeschwindigkeits-RDMA-Clusternetzwerke
High Performance Computing auf Oracle Cloud Infrastructure bietet leistungsstarke, kostengünstige Computing-Funktionen zur branchenübergreifenden Lösung komplexer mathematischer und wissenschaftlicher Probleme.
Die Bare-Metal-Server von OCI in Verbindung mit dem Clusternetzwerk von Oracle bieten Zugang zu RDMA over Converged Ethernet (RoCE) v2 mit extrem niedriger Latenz (weniger als 2 Mikrosekunden über Cluster mit Zehntausenden von Kernen).
Das Diagramm zeigt die Performance der Netzwerkstruktur von Oracle. OCI kann über 100 % unter 10.000 Simulationszellen pro Kern mit gängigen CFD-Codes skalieren, was der Leistung entspricht, die Sie On-Premises sehen würden. Es ist wichtig anzumerken, dass Bare-Metal-HPC-Maschinen ohne den Nachteil der Virtualisierung alle Kerne des Knotens nutzen können, ohne Kerne für kostspieligen Overhead reservieren zu müssen.
High Performance Computing (HPC) auf OCI
HPC auf OCI konkurriert mit der Leistungsfähigkeit von On-Premises-Lösungen, mit der Elastizität und den verbrauchsbasierten Kosten der Cloud und bietet On-Demand-Potenzial, um Zehntausende von Kernen zeitgleich zu skalieren.
Mit HPC auf OCI erhalten Sie Zugriff auf Hochfrequenzprozessoren, schnellen und dichten lokalen Speicher, RDMA-Clusternetzwerke mit hohem Durchsatz sowie hoher Latenz und die Tools zur nahtlosen Automatisierung und Ausführung von Ihrer Jobs.
OCI kann laut einer Analyse von Exabyte.io Latenzzeiten von bis zu 1,7 Mikrosekunden bieten – weniger als jeder andere Cloud-Anbieter. Durch die Ermöglichung von RDMA-verbundenen Clustern hat OCI die Clustervernetzung für Bare-Metal-Server erweitert, die mit NVIDIA A100 GPUs ausgestattet sind.
Die bahnbrechende Backend-Netzwerkstruktur ermöglicht es Kunden, die ConnectX-5-Netzwerkschnittstellenkarten von Mellanox mit 100 Gbit/s und RDMA over Converged Ethernet (RoCE) v2 zu verwenden, um Cluster mit denselben niedrigen Latenzzeiten und der gleichen Anwendungsskalierbarkeit zu erstellen, wie sie On-Premises erreicht werden können.
Einzigartige Bare-Metal-GPU-Cluster
Die Bare-Metal-NVIDIA-GPU-Instanzen von OCI ermöglichen Start-ups eine Hochleistungs-Rechenplattform für Anwendungen, die auf maschinelles Lernen, Bildverarbeitung und massiv parallele Hochleistungs-Computing-Aufgaben angewiesen sind. GPU-Instanzen eignen sich ideal für Modell-Schulungen, Inferenzberechnungen, Physik- und Bildrendering sowie massiv parallele Anwendungen.
Die BM.GPU4.8-Instanzen verfügen über acht NVIDIA A100-GPUs und verwenden das Clusternetzwerk mit geringer Latenz von Oracle, das auf dem Remote Direct Memory Access (RDMA) basiert, der über konvergiertes Ethernet (RoCE) mit einer Latenzzeit von unter 2 Mikrosekunden ausgeführt wird. Kunden können jetzt mehr als 500 GPU-Cluster hosten und einfach nach Bedarf skalieren.
OCI auf der NVIDIA GTC, der Konferenz für KI und das Metaverse
Erfahren Sie, wie OCI und NVIDIA KI-Modelle der nächsten Generation vorantreiben
Kunden wie Adept, ein ML-Forschungs- und Produktlabor zur Entwicklung eines universellen KI-Teams, nutzen die Leistungsfähigkeit von OCI- und NVIDIA-Technologien, um die nächste Generation von KI-Modellen zu entwickeln. Durch die Ausführung Tausender NVIDIA-GPUs in Clustern von OCI-Bare-Metal-Compute-Instanzen und die Nutzung der Netzwerkbandbreite von OCI kann Adept umfangreiche KI- und ML-Modelle schneller und wirtschaftlicher als zuvor trainieren.
Adept entwickelt mit Oracle und NVIDIA einen leistungsstarken KI-Teamkollegen für alle
„Mit der Skalierbarkeit und Rechenleistung der OCI- und NVIDIA-Technologie trainieren wir ein neuronales Netzwerk, um jede existierende Softwareanwendung, Website und API zu nutzen – aufbauend auf den Funktionen, die Softwarehersteller bereits geschaffen haben.“
David Luan, CEO
Adept
SoundHound wählt OCI, um sein enormes Unternehmenswachstum zu unterstützen
„Wir sehen diese Beziehung zu OCI als langfristig an. Wir freuen uns, die GPUs nutzen und damit unsere nächste Generation von Sprach-KI trainieren zu können. Wir glauben, dass OCI uns in Bezug auf zukünftiges Wachstum einiges bieten wird.“
James Hom, Cofounder und Vice President of Products
SoundHound
„Wir haben uns aufgrund der Erschwinglichkeit und Performance der GPUs in Kombination mit dem umfangreichen Cloud-Angebot für Oracle entschieden. GPUs sind sehr wichtig für das Training von tiefen neuronalen Netzwerkmodellen. Je höher die GPU-Leistung, desto besser unsere Modelle. Und weil wir in verschiedenen Ländern und Regionen arbeiten, brauchten wir die Infrastruktur, um das zu unterstützen.“
Nils Helset, Mitgründer und CEO
DigiFarm
University of Michigan verbessert KI-Textzusammenfassungen
„Bei der Durchführung von Experimenten mit der gleichen Konfiguration benötigt der A100 im Durchschnitt etwa 25 % weniger Zeit. Was es noch besser macht, ist der reibungslose Prozess der Einrichtung der Maschine auf Oracle Cloud.“
Shuyang Cao, Graduate Student Research Assistant
University of Michigan
MosaicML skaliert KI/ML-Training auf OCI
Erfahren Sie, warum MosaicML festgestellt hat, dass OCI die beste Grundlage für KI-Training ist.
Softdrive bietet Workstations der nächsten Generation mit OCI Compute und NVIDIA A10
„Softdrive ist die Zukunft der Business-Computer. Auf dem Cloud-PC-Markt ist Performance alles. NVIDIA-GPUs auf OCI-Bare Metal-Servern haben das Erlebnis für unsere Kunden erheblich verbessert.“
Leonard Ivey, Mitbegründer
Softdrive
Was ist in GPU-Instanzen auf OCI enthalten?
Dedizierte technische Unterstützung
OCI stellt Ihnen erstklassige technische Experten zur Seite, die Sie bei der Inbetriebnahme unterstützen. Wir beseitigen die technischen Hürden einer komplexen Bereitstellung, von der Planung bis zur Einführung, und tragen so zu Ihrem Erfolg bei.
- Entwicklung der Lösungsarchitektur
- Netzwerke, Sicherheit und Prüfung
- Onboarding in OCI
- Anwendungsmigration
- Schulung nach der Migration
Verbesserte Wirtschaftlichkeit
OCI wurde für Unternehmen entwickelt, die an einer höheren Performance, durchgängig niedrigeren Kosten und einer einfacheren Cloud-Migration für ihre aktuellen On-Premises-Anwendungen interessiert sind.
- Private Netzwerkkonnektivität, die 74 % weniger kostet
- Mehr als 3-fach besseres Preis-Leistungs-Verhältnis bei Compute
- Bis zu 44 % günstigere Infrastruktur mit lokalen Solid-State-Festplatten, doppelt so viel RAM, RDMA-Netzwerke und Performance-SLA
- 20-mal mehr Eingabe-/Ausgabevorgänge pro Sekunde bei weniger als der Hälfte der Kosten
Generative KI mit MosaicML und Oracle schneller trainieren und bereitstellen
Bandish Shah, Engineering Manager, MosaicML and Akshai Parthasarathy, Product Marketing Director, Oracle
Generative KI-Modelle haben uns mit ihrer Fähigkeit verblüfft, Fragen zusammenzufassen und zu beantworten, Software zu entwickeln und sogar Gedichte zu schreiben. Solche Tools haben praktische Auswirkungen auf Branchen wie den Finanzdienstleistungssektor, wo sie zur Risikoerkennung, zum Schutz vor Betrug und zur Kundenbetreuung eingesetzt werden können.
Vollständigen Beitrag lesenAusgewählte Blogs
- 28. März 2023 Bereitstellung von ML-Modellen in großem Maßstab mit NVIDIA Triton Inference Server auf OKE
- 21. März 2023 Ankündigung der begrenzten Verfügbarkeit von OCI Compute-Bare-Metal-Instanzen mit NVIDIA H100-GPUs
- 14. Februar 2023 Erste Grundsätze: OCI-RDMA-Supercluster – ultrahohe Performance im großen Maßstab
- 14. Februar 2023 Was kommt als nächstes: Training großer Sprach-KI-Modelle bei Trillionen von Operationen auf OCI
- 13. Dezember 2022 First Principles: Aufbau eines High Performance-Netzwerks in der Public Cloud
GPU-Ressourcen
Blogs
- Die schnellsten Dateiserver in der Public Cloud (Produkt-Spotlight)
- NVIDIA A100-Bare Metal-Performance in Oracle Cloud Infrastructure (Produkt-Spotlight)
- Ausführen von Anwendungen auf Oracle Cloud mithilfe des Clusternetzwerks (Technische Lösung)