GPU-instances

Oracle Cloud Infrastructure (OCI) Compute biedt toonaangevende schaalbaarheid voor bare metal- en virtuele machine-instances (VM), aangedreven door NVIDIA GPU's voor mainstream graphics, AI-inferentie, AI-training, digital twins en HPC.

Aankondiging van 's werelds eerste zettascale AI-supercomputer
Modal Labs lost met OCI uitdagingen op het gebied van AI Compute op voor ontwikkelaars (1:35)
Onderzoekers van Stanford kiezen voor Oracle Cloud voor nieuwe manieren om hartfalen te behandelen

OCI-supercluster biedt hoogwaardige GPU's op schaal om het trainen van grote taalmodellen (LLM's) voor cardiothoracisch onderzoek te versnellen.

Waarom OCI gebruiken voor GPU-instances?

Schaalbaar

131.072

Maximum aantal GPU's in een OCI-supercluster1

Prestaties

3200

Tot 3200 Gb/sec netwerkbandbreedte voor RDMA-clusters2

Waarde

220%

GPU's voor andere CSP's kunnen tot 220% duurder zijn3

Keuzemogelijkheden

VM/BM

Optimalisatie met VM en prestaties met bare metal-instances

1: OCI Supercluster schaalt op tot 131.072 NVIDIA B200 GPU's (gepland); meer dan 100.000 NVIDIA B200 GPU's in NVIDIA GB200 superchips (gepland); 65.536 H200 GPU's (gepland); 32.768 NVIDIA A100 GPU's; en 16.384 NVIDIA H100 GPU's.

2: Voor bare metal-instances met NVIDIA H100 GPU's.

3: Op basis van prijzen op aanvraag vanaf 5 juni 2024.

Belangrijke kenmerken van GPU-instances

OCI is de enige grote cloudprovider die bare metal-instances met NVIDIA GPU's biedt voor hoge prestaties zonder virtualisatieoverhead. Voor controlepunten tijdens AI-training bieden onze instances de meeste lokale opslag per node (6144 TB).

NVIDIA GPU-instances met hoge prestaties

NVIDIA Tensor Core GPU's

OCI biedt de meeste waarde en hoogste prestaties voor bare metal- en virtuele machine-compute-instances op basis van NVIDIA H100 Tensor Core GPU's, L40S GPU's, A100 Tensor Core GPU's, A10 Tensor Core GPU en oudere NVIDIA GPU's. OCI is van plan instances aan te bieden met NVIDIA H200 en Blackwell GPU's.

NVIDIA-superchips

OCI biedt de NVIDIA-superchip GH200 Grace Hopper en wil ook de superchip GB200 Grace Blackwell bieden voor LLM-inferentie.

Krachtige clusternetwerken

Oracle's clusternetwerken op basis van RDMA (Remote Direct Memory Access) bieden een minimale vertraging van enkele microseconden.

NVIDIA GPU-instances met hoge prestaties
Bandbreedte ten opzichte van clusternodes; 1 node = 8 NVIDIA A100 GPU's

Implementatie op VM's, bare metal-instances en Kubernetes-clusters

VM-instances

Voor VM's kunt u kiezen uit de Hopper, Ampere en oudere GPU-architecturen van NVIDIA met één tot vier cores, 16 tot 64 GB GPU-geheugen per VM en en een netwerkbandbreedte tot 48 GB/sec.

Bare metal-instances

Gebruik OCI Supercluster met bare metal-instances die gebruikmaken van de Blackwell, Hopper of Ampere Superchips van NVIDIA met GPU's met 640 GB GPU-geheugen per node.

Kubernetes-orkestratie

Profiteer van beheerde Kubernetes, servicemesh en een containerregister om training en inferentie van AI en machine learning met containers te orkestreren.

Kies uit verschillende VM en bare metal compute-instances
Vergelijking van de prestaties van NVIDIA V100 en A10 GPU's

Toegang tot direct beschikbare software

Toegang tot software en schijfimages

Oracle Cloud Marketplace biedt software- en schijfimages voor modellen voor data science, analytics, kunstmatige intelligentie (AI) en machine learning (ML) zodat klanten snel inzicht kunnen verkrijgen uit hun data.

NVIDIA AI Enterprise

Krijg toegang tot NVIDIA AI Enterprise, een end-to-end softwareplatform voor data science en productie-AI, inclusief generatieve AI, beeldherkenning en spraak-AI.

NVIDIA DGX Cloud

NVIDIA DGX Cloud op OCI is een platform voor AI-training-as-a-service dat een serverloze ervaring biedt voor ontwikkelaars. Dit platform is tevens geoptimaliseerd voor generatieve AI.

NVIDIA GPU Cloud Machine Image

Gebruik NVIDIA GPU Cloud Machine Image voor honderden voor GPU's geoptimaliseerde applicaties voor machine learning, deep learning en high-performance computing voor een breed scala aan bedrijfstakken en workloads.

NVIDIA RTX Virtual Workstation

Bied uw werknemers krachtige workstationprestaties door NVIDIA RTX Virtual Workstation uit te voeren op Oracle Cloud.

Beheer uw omgeving en data voor AI-computing

Gedistribueerde cloud

In combinatie met GPU Compute helpt de distributed cloud van OCI organisaties bij het uitvoeren van AI- en cloudservices waar en hoe ze die nodig hebben.

Soevereine cloud

Ondersteun dataopslag binnen een regio of land, waaronder de EU, de VS, het VK en Australië.

OCI Dedicated Region

Implementeer een complete cloudregio in uw datacenter met OCI Dedicated Region om volledige controle te behouden over uw data en applicaties.

Oracle Alloy

Word partner voor Oracle Alloy en lever uw cloudservices om aan specifieke marktbehoeften te voldoen.

Microservices en containers

Containerregister

Ontwikkelaars die applicaties met containers bouwen, kunnen gebruikmaken van een door Oracle beheerde registerservice voor privécontainers met een hoge beschikbaarheid en hiermee containerimages opslaan en delen. Sla Docker-images op in het register of haal ze hieruit op met behulp van de Docker V2 API en de standaardopdrachtregelinterface (CLI) voor Docker. Images kunnen rechtstreeks naar een Kubernetes-implementatie worden overgezet.

Oracle Functions

Functions-as-a-Service (FaaS) stelt ontwikkelaars in staat om serverless applicaties uit te voeren die integreren met Oracle Cloud Infrastructure, Oracle Cloud Applications en services van derden. Gebruik de open-source oplossing Fn Project en maak ontwikkelingsprocessen efficiënter.

Gebruiksscenario's voor GPU-instances

AI-infrastructuur voor training en inferencing op basis van deep learning

Train AI-modellen met behulp van OCI Data Science, bare metal-instances en clusternetwerken op basis van RDMA en NVIDIA GPU's.


AI-training en -inferencing In dit diagram worden twee fasen van de ontwikkeling van deep learning-modellen beschreven: modeltraining en modelinferencing. Bij 'modeltraining' aan de linkerkant wordt het niet-getrainde neurale netwerk ingevoerd in een trainingsalgoritme dat mogelijk wordt gemaakt door OCI Data Science, bare-metal computing, lokale opslag en clusternetwerken. De uitvoer van het trainingsalgoritme is een getraind model met een nieuwe functionaliteit. De stap 'modelinferencing' wordt aan de rechterkant beschreven. Denk aan een getraind model zoals DALL-E 2, dat tekstinvoer kan maken en afbeeldingen kan genereren. Er wordt tekst in het getrainde model ingevoerd en het model geeft een afbeelding als uitvoer.

Virtuele desktopinfrastructuur (VDI)

OCI Compute op basis van NVIDIA GPU's biedt consistent hoge prestaties voor VDI.


Virtuele desktopinfrastructuur Virtuele desktopinfrastructuur

CFD en high-performance computing met GPU-instances

OCI maakt geautomatiseerde engineering en computational fluid dynamics mogelijk voor snelle voorspellingen van de aerodynamische eigenschappen van objecten.


CFD en high-performance computing met GPU-instances CFD- en high-performance computing met GPU-instances

GPU-instances: klanten

Meer verhalen van klanten
11 september 2024

Aankondiging van 's werelds grootste, eerste Zettascale AI-supercomputer in de cloud

Mahesh Thiagarajan, Executive Vice President, OCI

Klanten van Oracle Cloud Infrastructure (OCI) hebben enkele van de meest geavanceerde AI-workloads op OCI gedraaid. Hun succes versterkt onze strategie om onze klanten de AI-infrastructuur met de hoogste prestaties te bieden, met krachtige beveiligings- en soevereiniteitscontroles en tegen de beste prijs in de cloud.

Lees het volledige artikel

Uitgelichte blogs

Aan de slag met GPU-instances

Probeer Oracle AI 30 dagen gratis uit

Oracle biedt een gratis prijsklasse voor de meeste AI-services, evenals een gratis proefaccount met USD 300 aan tegoed om extra cloudservices uit te proberen. AI-services zijn een verzameling services, inclusief generatieve AI en gebruiksklare machine learning-modellen, waarmee ontwikkelaars eenvoudiger AI kunnen toepassen op applicaties en bedrijfsactiviteiten.

  • Voor welke AI- en ML-services van Oracle is een gratis prijsstaffel beschikbaar?

    • OCI Speech
    • OCI Language
    • OCI Vision
    • OCI Document Understanding
    • Machine Learning in Oracle Database
    • OCI Data Labeling

    U hoeft ook alleen reken- en opslagkosten te betalen voor OCI Data Science.

Bekijk hoeveel u kunt besparen met OCI

De prijsbepaling voor Oracle Cloud is eenvoudig, met wereldwijd consistente lage prijzen, met ondersteuning voor een breed scala aan gebruiksdoelen. Ga naar de kostencalculator voor een schatting van uw lage tarief en kies en configureer de services die u nodig hebt.

Praat met een GPU- en AI-expert

Krijg hulp bij het bouwen van uw volgende GPU-oplossing of het implementeren van uw AI-workload op een OCI AI-infrastructuur.

  • Ze kunnen vragen beantwoorden zoals:

    • Hoe ga ik aan de slag met Oracle Cloud?
    • Welke soorten AI-workloads kan ik uitvoeren op OCI?
    • Welke soorten AI-services biedt OCI?