OCI Supercluster and AI Infrastructure
Oracle Cloud Infrastructure (OCI) Supercluster provides ultrafast cluster networking, HPC storage, and OCI Compute bare metal instances. OCI Supercluster is ideal for training generative AI, including conversational applications and diffusion models. With support for up to tens of thousands of NVIDIA GPUs, OCI Compute bare metal instances and VMs can power applications for computer vision, natural language processing, recommendation systems, and more.
Oracle and NVIDIA partner to speed AI adoption for enterprises (2:06)
Wie OCI Supercluster die Konkurrenz schlägt
-
Branchenführende Skalierbarkeit für generative KI
Stellen Sie bis zu Zehntausende von GPUs pro Cluster bereit, um sich eine wesentlich größere Skalierbarkeit zu sichern
-
Extrem niedrige Latenz und extrem hohe Bandbreite*
Reduzieren Sie den Zeitaufwand für das Trainieren von KI mit einer einfachen Ethernet-Netzwerkarchitektur, die eine extrem hohe Leistung in großem Maßstab bietet.
-
Zugriff auf KI-Subject Matter Experts (SMEs)
Holen Sie sich technische Hilfe in Bezug auf Lösungsarchitektur, Netzwerk, Sicherheit, Auditing, Onboarding, Anwendungsmigration und vielem mehr.
Sprechen Sie mit Oracle über die Beschleunigung Ihrer GPU-Workloads.
Erfahren Sie, wie OCI Modelltraining und parallele Anwendungen unterstützt
Bereitstellung Zehntausender NVIDIA H100- und A100-GPUs
Jede Bare Metal-Instanz von OCI Compute ist über das latenzarme Cluster-Netzwerk von OCI verbunden, das auf Zehntausende NVIDIA H100- oder A100-GPUs in einem einzigen Cluster skaliert werden kann. Diese Instanzen nutzen die einzigartige Hochleistungs-Netzwerkarchitektur von OCI, die RDMA über Converged Ethernet (RoCE) v2 mit einer Latzenz von Mikrosekunden zwischen Knoten und eine nahezu lineare Bandbreite nutzt.
Die OCI-Implementierung von RoCE v2 bietet
- 1.600 Gb/s Bandbreite pro Server und 200 Gb/s Bandbreite pro A100-GPU
- 3.200 Gb/s Bandbreite pro Server und 400 Gb/s Bandbreite pro H100-GPU
Hochgeschwindigkeits-RDMA-Clusternetzwerke
High Performance Computing auf OCI bietet leistungsstarke, kostengünstige Computing-Funktionen zur branchenübergreifenden Lösung komplexer mathematischer und wissenschaftlicher Probleme.
Das Diagramm zeigt die Performance der Netzwerkstruktur von Oracle. Unter 10.000 Simulationszellen pro Kern kann OCI mit gängigen CFD-Codes auf über 100 % skaliert werden, also die gleiche Leistung, die Sie in On-Premises-Umgebungen sehen würden. Es ist wichtig, anzumerken, dass Bare Metal-HPC-Maschinen ohne den Nachteil der Virtualisierung alle Kerne des Knotens nutzen können, ohne Kerne für kostspielige indirekte Kosten reservieren zu müssen.
High Performance Computing (HPC) auf OCI
HPC auf OCI konkurriert mit der Leistungsfähigkeit von On-Premises-Lösungen, mit der Elastizität und den verbrauchsbasierten Kosten der Cloud und bietet On-Demand-Potenzial, um Zehntausende von Kernen zeitgleich zu skalieren. Kunden erhalten Zugriff auf Hochfrequenzprozessoren, schnellen und dichten lokalen Speicher, RDMA-Clusternetzwerke mit hohem Durchsatz sowie hoher Latenz und die Tools zur nahtlosen Automatisierung und Ausführung ihrer Jobs.
OCI kann laut einer Analyse von Exabyte.io Latenzzeiten von bis zu 1,7 Mikrosekunden bieten – weniger als jeder andere Cloud-Anbieter. Durch die Ermöglichung von RDMA-verbundenen Clustern hat OCI die Clustervernetzung für Bare Metal-Server erweitert, die mit NVIDIA H100- und A100-GPUs ausgestattet sind. Mit der bahnbrechenden Backend-Netzwerkstruktur können Kunden Cluster mit der gleichen latenzarmen Netzwerk- und Anwendungsskalierbarkeit erstellen, die in On-Premises-Umgebungen erreicht werden kann.
Einzigartige Bare-Metal-GPU-Cluster
Die Bare Metal-NVIDIA-GPU-Instanzen von OCI ermöglichen Start-ups eine High-Performance-Computing-(HPC-)Plattform für Anwendungen, die auf Deep Learning und massiv parallele High-Performance-Computing-Aufgaben angewiesen sind. GPU-Instanzen eignen sich ideal für Modell-Schulungen, Inferenzberechnungen, Physik- und Bildrendering sowie massiv parallele Anwendungen.
OCI bietet Instanzen mit acht NVIDIA H100- oder NVIDIA A100-GPUs. Während OCI Supercluster die Möglichkeit bietet, bis auf Hunderte oder Tausende von GPUs pro Cluster zu skalieren, bietet OCI auch die Möglichkeit, in viel kleinerem Maßstab bereitzustellen, beginnend mit nur einer einzigen GPU.
OCI auf der NVIDIA GTC, der Konferenz für KI und das Metaverse
Erfahren Sie, wie OCI und NVIDIA KI-Modelle der nächsten Generation vorantreiben
Kunden wie Adept, ein ML-Forschungs- und Produktlabor zur Entwicklung eines universellen KI-Teams, nutzen die Leistungsfähigkeit von OCI- und NVIDIA-Technologien, um die nächste Generation von KI-Modellen zu entwickeln. Durch die Ausführung Tausender NVIDIA-GPUs in Clustern von OCI-Bare-Metal-Compute-Instanzen und die Nutzung der Netzwerkbandbreite von OCI kann Adept umfangreiche KI- und ML-Modelle schneller und wirtschaftlicher als zuvor trainieren.
Adept entwickelt mit Oracle und NVIDIA einen leistungsstarken KI-Teamkollegen für alle
„Mit der Skalierbarkeit und Rechenleistung der OCI- und NVIDIA-Technologie trainieren wir ein neuronales Netzwerk, um jede existierende Softwareanwendung, Website und API zu nutzen – aufbauend auf den Funktionen, die Softwarehersteller bereits geschaffen haben.“
David Luan, CEO
Adept
SoundHound wählt OCI, um sein enormes Unternehmenswachstum zu unterstützen
„Wir sehen diese Beziehung zu OCI als langfristig an. Wir freuen uns, die GPUs nutzen und damit unsere nächste Generation von Sprach-KI trainieren zu können. Wir glauben, dass OCI uns in Bezug auf zukünftiges Wachstum einiges bieten wird.“
James Hom, Cofounder und Vice President of Products
SoundHound
Emory University nutzt Oracle Cloud zur Bekämpfung der Parkinsonkrankheit
„Mit Oracle Cloud betreiben wir zwischen vier und acht GPUs parallel, um unseren Forschungsfortschritt erheblich zu beschleunigen. So können wir ein Experiment in nur wenigen Stunden abschließen.“
Hyeokhyen Kwon, Assistant Professor, Biomedical Informatics
Emory University
University of Michigan verbessert KI-Textzusammenfassungen
„Bei der Durchführung von Experimenten mit der gleichen Konfiguration benötigt der A100 im Durchschnitt etwa 25 % weniger Zeit. Was es noch besser macht, ist der reibungslose Prozess der Einrichtung der Maschine auf Oracle Cloud.“
Shuyang Cao, Graduate Student Research Assistant
University of Michigan
MosaicML skaliert KI/ML-Training auf OCI
Erfahren Sie, warum MosaicML festgestellt hat, dass OCI die beste Grundlage für KI-Training ist.
Softdrive bietet Workstations der nächsten Generation mit OCI Compute und NVIDIA A10
„Softdrive ist die Zukunft der Business-Computer. Auf dem Cloud-PC-Markt ist Performance alles. NVIDIA-GPUs auf OCI-Bare Metal-Servern haben das Erlebnis für unsere Kunden erheblich verbessert.“
Leonard Ivey, Mitbegründer
Softdrive
Was ist in GPU-Instanzen auf OCI enthalten?
Dedizierte technische Unterstützung
OCI stellt Ihnen erstklassige technische Experten zur Seite, die Sie bei der Inbetriebnahme unterstützen. Wir beseitigen die technischen Hürden einer komplexen Bereitstellung, von der Planung bis zur Einführung, und tragen so zu Ihrem Erfolg bei.
- Entwicklung der Lösungsarchitektur
- Netzwerke, Sicherheit und Prüfung
- Onboarding in OCI
- Anwendungsmigration
- Schulung nach der Migration
Verbesserte Wirtschaftlichkeit
OCI wurde für Unternehmen entwickelt, die an einer höheren Performance, durchgängig niedrigeren Kosten und einer einfacheren Cloud-Migration für ihre aktuellen On-Premises-Anwendungen interessiert sind.
- Private Netzwerkkonnektivität, die 74 % weniger kostet
- Mehr als 3-fach besseres Preis-Leistungs-Verhältnis bei Compute
- Bis zu 44 % günstigere Infrastruktur mit lokalen Solid-State-Festplatten, doppelt so viel RAM, RDMA-Netzwerke und Performance-SLA
- 20-mal mehr Eingabe-/Ausgabevorgänge pro Sekunde bei weniger als der Hälfte der Kosten
Die außergewöhnliche Leistung von OCI für KI wurde in den Ergebnissen von MLPerf Inference v3.1 validiert
Seshadri Dehalisan, Akshai Parthasarathy, and Ruzhu Chen, Oracle
Oracle Cloud Infrastructure (OCI) hat in mehreren Benchmarks in der MLCommons Inference Datacenter v3.1 Suite, dem Industriestandard zur Messung der KI-Infrastrukturleistung, starke Ergebnisse erzielt. OCI wurde in mehreren Formen mit NVIDIA-GPUs getestet, darunter die NVIDIA H100 Tensor Core-GPU, die NVIDIA A100 Tensor Core-GPU und die NVIDIA A10 Tensor Core-GPU, und konnte die folgenden wichtigen Ergebnisse erzielen:
- Die BM.GPU.H100.8-Ausprägung von OCI mit acht NVIDIA H100-GPUs lieferte Top-Ergebnisse und übertraf oder erreichte die Konkurrenz bei RESNET-, RetinaNet-, BERT-, DLRMv2- und GPT-J-Benchmarks.
- Auch BM.GPU.A100-v2.8 mit acht NVIDIA A100 GPUs zeigte durchweg eine starke Leistung.
Ausgewählte Blogs
- 19. September 2023 Ankündigung der allgemeinen Verfügbarkeit von OCI Compute-Bare Metal-Instanzen mit NVIDIA H100-GPUs
- 19. September 2023 Ankündigung von OCI Compute mit NVIDIA L40S-GPUs
- 24. Juli 2023 OCI beschleunigt HPC, KI und Datenbank mithilfe von RoCE und NVIDIA ConnectX
- 16. Mai 2023 Generative KI mit MosaicML und Oracle schneller trainieren und bereitstellen
- 28. März 2023 Bereitstellung von ML-Modellen in großem Maßstab mit NVIDIA Triton Inference Server auf OKE
- 14. Februar 2023 Erste Grundsätze: OCI-RDMA-Supercluster – ultrahohe Performance im großen Maßstab
GPU-Ressourcen
Blogs
- Die schnellsten Dateiserver in der Public Cloud (Produkt-Spotlight)
- NVIDIA A100-Bare Metal-Performance in Oracle Cloud Infrastructure (Produkt-Spotlight)
- Ausführen von Anwendungen auf Oracle Cloud mithilfe des Clusternetzwerks (Technische Lösung)