GPU-Instanzen

Oracle Cloud Infrastructure (OCI) Compute bietet branchenführende Skalierbarkeit und Performance für Bare-Metal- und VM (Virtual Machine)-Instanzen, die auf NVIDIA- und AMD-Grafikprozessoren für Mainstream-Grafiken, KI-Inferenz, KI-Training, digitale Zwillinge und HPC gestützt sind.

Lesen Sie unser Update zur agentenbasierten KI
Twelve Labs trainiert KI-Videomodelle mit einer Oracle AI-Infrastruktur (1:51)

Lesen Sie die aktuellen Ankündigen zu OCI

Erfahren Sie, wie die Oracle AI-Infrastruktur und AMD Instinct GPUs eine leistungsstarke, skalierbare und kostengünstige Grundlage für KI/ML bieten.

Was spricht für den Einsatz von OCI für GPU-Instanzen?

Skalierbarkeit

131.072

Maximale Anzahl von GPUs in einem OCI Supercluster1

Performance

3.200

Bis zu 3.200 GB/s RDMA-Cluster-Netzwerkbandbreite2

Mehrwert

220 %

GPUs für andere CSPs können bis zu 220 % teurer sein3

Auswahl

VM/BM

Rightsizing mit VM und Performance mit Bare-Metal-Instanzen

1. OCI Supercluster skaliert auf bis zu 131.072 NVIDIA B200 GPUs; mehr als 100.000 NVIDIA B200 GPUs in NVIDIA GB200 Superchips, 65.536 NVIDIA H200 Tensor Core GPUs; 32.768 NVIDIA A100 Tensor Core GPUs; 16.384 NVIDIA H100 Tensor Core GPUs und 16.384 AMD MI300X GPUs.

2. Für Bare-Metal-Instanzen mit NVIDIA B200-, H200- und H100-GPUs und AMD Instinct MI300X-Beschleunigern.

3. Basierend auf On-Demand-Tarifen vom 5. Juni 2024.

Melden Sie sich für das neue „Try-before-you-buy“-Programm für OCI Compute mit AMD Instinct MI300X-GPUs an.

GPU-Instanzen – Wichtige Features

OCI ist der einzige große Cloud-Provider, der Bare-Metal-Instanzen mit NVIDIA-und AMD-Grafikprozessoren anbietet, die hohe Performance ohne Virtualisierungsaufwand bieten. Für das Checkpointing während des KI-Trainings bieten unsere Instanzen den meisten lokalen Speicher pro Knoten (61,4 TB mit H100-GPUs).

Leistungsstarke NVIDIA- und AMD-GPUs

NVIDIA Tensor Core-GPUs

OCI bietet den höchsten Mehrwert und die beste Leistung für Bare Metal- und VM-Instanden, die auf NVIDIA Blackwell GPUs, H200 Tensor Core GPUs, H100 Tensor Core GPUs, L40S GPUs, A100 Tensor Core GPUs, A10 Tensor Core GPUs und NVIDIA GPUs älterer Generationen gestützt sind.

NVIDIA-Superchips

OCI bietet den NVIDIA GB200 Grace Blackwell Superchip in Superclustern an, die auf über 100.000 GPUs skaliert werden können.

AMD Instinct-Beschleuniger

OCI bietet AMD Instinct MI300X GPUs mit 192 GB Speicher zu einem kostengünstigen Preis von 6 US-Dollar pro GPU-Stunde an.

High Performance-Cluster-Networking

Das Clusternetzwerk von Oracle mit ultraniedriger Latenz, das auf direktem Speicherzugriff (RDMA) basiert, bietet Latenzzeiten im Mikrosekundenbereich.

High Performance-NVIDIA GPU-Instanzen
GPT-3 175B-Training: Trainingszeit im Vergleich zur Anzahl der in OCI Supercluster bereitgestellten NVIDIA H100-GPUs. Quelle: OCI-Performance beim MLPerf v4.1-Training

Bereitstellung auf VMs, Bare-Metal-Instanzen und Kubernetes-Clustern

VM-Instanzen

Bei virtuellen Maschinen können Sie zwischen NVIDIAs Hopper, Ampere und älteren GPU-Architekturen mit einem bis vier Kernen, 16 bis 64 GB GPU-Speicher pro VM und bis zu 48 Gb/s Netzwerkbandbreite wählen.

Bare Metal-Instanzen

Verwenden Sie OCI Supercluster mit Bare-Metal-Instanzen, die AMD Instinct GPUs, NVIDIA Blackwell GPUs oder Superchips, NVIDIA Hopper GPUs bzw. Superchips und NVIDIA Ampere GPUs enthalten.

Kubernetes-Orchestrierung

Nutzen Sie die Vorteile von verwaltetem Kubernetes, Service-Mesh und Container Registry, um KI-/ML-Training und -Inferenzen mit Containern zu orchestrieren.

Wählen Sie aus einer Vielzahl von VM- und Bare Metal-Compute-Instanzen
Vergleich der Performance von NVIDIA V100- und A10-GPUs

Zugriff auf leicht verfügbare Software

Greifen Sie auf Software und Disk-Images zu

Der Oracle Cloud Marketplace bietet Software und Disk-Images für Data Science, Analysen, künstliche Intelligenz (KI), und ML-Modelle, um Kunden die Möglichkeit zu geben, schnell Erkenntnisse aus ihren Daten zu gewinnen.

NVIDIA AI Enterprise

Holen Sie sich Zugriff auf NVIDIA AI Enterprise, einer End-to-End-Softwareplattform für Data Science und Produktions-KI, einschließlich generativer KI, Computer Vision und Sprach-KI.

NVIDIA DGX Cloud

NVIDIA DGX Cloud auf OCI ist eine KI-Training-as-a-Service-Plattform, die eine für KI-optimierte, serverlose Erfahrung für Entwickler bietet.

NVIDIA GPU Cloud Machine-Image

Nutzen Sie NVIDIA GPU Cloud Machine-Image für Hunderte von GPU-optimierten Anwendungen für maschinelles Lernen, Deep Learning und High Performance Computing, die ein breites Spektrum von Branchen und Workloads abdecken.

NVIDIA RTX Virtual Workstation

Mit der NVIDIA RTX Virtual Workstation auf Oracle Cloud können Kunden leistungsstarke Workstation-Leistung überall dort bereitstellen, wo Mitarbeiter sie benötigen.

Kontrollieren Sie Ihre AI-Computing-Umgebung und Ihre Daten

Verteilte Cloud

In Kombination mit GPU-Compute unterstützt die verteilte Cloud von OCI Unternehmen dabei, KI- und Cloud-Services dort und so auszuführen, wie sie benötigt werden.

Sovereign Cloud

Unterstützen Sie die Datenresidenz in einer Region oder einem Land, einschließlich der EU, der USA, Großbritannien und Australien.

OCI Dedicated Region

Stellen Sie mit OCI Dedicated Region eine komplette Cloud-Region in Ihrem Data Center bereit, um die volle Kontrolle über Ihre Daten und Anwendungen zu behalten.

Oracle Alloy

Werden Sie Partner für Oracle Alloy und stellen Sie Ihre Cloud-Services bereit, um spezifische Marktanforderungen zu erfüllen.

Microservices und Container

Containerregistrierung

Entwickler, die Anwendungen mithilfe von Containern erstellen, können einen hochverfügbaren, von Oracle verwalteten privaten Container-Registrierungsdienst zum Speichern und Teilen von Container-Images nutzen. Bewegen Sie Docker-Images per Push und Pull mit der Docker V2 API und der Standard-Docker-Befehlszeilenschnittstelle (CLI) in die Registrierung oder aus ihr heraus. Images können direkt als Teil einer Kubernetes-Bereitstellungsstrategie verwendet werden.

Oracle Functions

Functions as a Service (FaaS) für Entwickler zum Ausführen von Anwendungen ohne Server, die in Oracle Cloud Infrastructure, Oracle Cloud-Anwendungen und Dienste von Drittanbietern integriert sind. Sichern Sie sich Effizienz für Entwickler und Zugang zur Community des Open Source Fn-Projekts.

GPU-Instanzen – Anwendungsfälle

KI-Infrastruktur für Deep Learning-Training und Inferenzierung

Trainieren Sie KI-Modelle mit OCI Data Science, Bare-Metal-Instanzen und Cluster-Netzwerken basierend auf RDMA und NVIDIA-GPUs.


KI-Training und Inferenzierung Dieses Diagramm beschreibt zwei Phasen der Deep-Learning-Modellentwicklung: Modelltraining und Modellinferenzierung. Beim Modelltraining auf der linken Seite wird das untrainierte neuronale Netzwerk in einen Trainingsalgorithmus eingegeben, der durch OCI Data Science, Bare-Metal-Computing, lokalem Speicher und Cluster-Netzwerke ermöglicht wird. Das Ergebnis des Trainingsalgorithmus ist ein trainiertes Modell mit einer neuen Fähigkeit. Der Schritt zur Modellinferenzierung wird auf der rechten Seite beschrieben. Stellen Sie sich ein trainiertes Modell wie DALL-E 2 vor, das Texteingaben annehmen und Bilder generieren kann. Eine Texteingabe wird in das trainierte Modell eingespeist, und eine Bildausgabe des Modells wird bereitgestellt.

Virtual Desktop Infrastructure (VDI)

OCI Compute auf Basis von NVIDIA-GPUs bietet eine konsistent hohe Performance für VDI.


Virtual Desktop Infrastructure (VDI) Virtual Desktop Infrastructure

CFD und High Performance Computing mit GPU-Instanzen

OCI ermöglicht computergestütztes Engineering und Computational Fluid Dynamics für schnelle Vorhersagen der aerodynamischen Eigenschaften von Objekten.


CFD und High Performance Computing mit GPU-Instanzen CFD und High Performance Computing mit GPU-Instanzen

GPU-Instanzen – Kunden

Weitere Kundenberichte

Erste Schritte mit GPU-Instanzen

Testen Sie Oracle AI, und erhalten Sie eine 30-tägige Testversion

Oracle bietet Ihnen eine kostenlose Preisstufe für die meisten KI-Services sowie einen Testaccount mit einem Guthaben in Höhe von 300 US-Dollar, um zusätzliche Cloud-Services zu testen. KI-Services sind eine Sammlung von Services mit vordefinierten Machine Learning-(ML-)Modellen, die es Entwicklern erleichtern, KI auf Anwendungen und Geschäftsabläufe anzuwenden.

  • Welche KI- und ML-Services von Oracle bieten eine kostenlose Preisstufen?

    • OCI Speech
    • OCI Language
    • OCI Vision
    • OCI Document Understanding
    • Maschinelles Lernen in Oracle Database
    • OCI-Datenbeschriftung

    Sie müssen dabei nur die Compute- und Speichergebühren für OCI Data Science bezahlen.

GPUs noch heute nutzen

Erfahren Sie, wie Oracle Kunden dabei unterstützt, NVIDIA- und AMD-GPUs für eine Vielzahl von KI-Anwendungsfällen zu nutzen.

  • Was können Sie mit GPU-Instanzen tun?

    • Host-LLMs mit NVIDIA- und AMD-GPUs
    • Verteiltes Multinode-Training mit NVIDIA-GPUs ausführen
    • Automatisieren von Aufgaben mit LLMs und Retrieval-Augmented Generation
    • NVIDIA NIM-Inferenz skalieren

Erfahren Sie, welche Einsparungen mit OCI möglich sind.

Die Tarife für Oracle Cloud sind unkompliziert, mit weltweit konsequent niedrigen Tarifen und zahlreichen unterstützten Anwendungsfällen. Um den für Sie zutreffenden, niedrigen Tarif zu berechnen, gehen Sie zum Kostenrechner und konfigurieren Sie die Services entsprechend Ihrer Anforderungen.

Lernen Sie den Unterschied kennen:

  • 1/4 der Kosten für ausgehende Bandbreite
  • 3-mal besseres Preis-Leistungs-Verhältnis
  • Gleicher niedriger Preis in jeder Region
  • Niedrige Tarife ohne langfristige Verpflichtungen

Zugang zu GPU- und KI-Experten

Holen Sie sich Hilfe beim Aufbau Ihrer nächsten GPU-Lösung oder bei der Bereitstellung Ihrer KI-Workloads auf der KI-Infrastruktur von OCI.

  • Sie können Fragen beantworten, z. B.

    • Wie sehen die ersten Schritte in Oracle Cloud Infrastructure WAF aus?
    • Welche Arten von KI-Workloads kann ich auf OCI ausführen?
    • Welche Arten von KI-Services bietet OCI an?