Infrastructure pour l'IA
Avec la prise en charge d'un GPU à des dizaines de milliers de GPU, les machines virtuelles Oracle Cloud Infrastructure (OCI) Compute et les instances bare metal peuvent alimenter les applications pour la vision par ordinateur, le traitement du langage naturel, les systèmes de recommandation, etc. Pour l'entraînement de modèles de langage volumineux (LLM), y compris l'IA conversationnelle et des modèles de diffusion, OCI Supercluster fournit un réseau de cluster à latence ultra-faible, un stockage HPC et des instances bare metal OCI Compute optimisées par des GPU NVIDIA.
Discutez avec un membre d'Oracle de l'accélération de vos workloads de GPU.
OCI à NVIDIA GTC (du 20 au 23 mars 2023)
Découvrez l'architecture de supercluster d'OCI et écoutez les témoignages des clients Adept et MosaicML.
Découvrez comment OCI prend en charge l'entraînement de modèles et les applications parallèles
Déployez jusqu'à 32 768 GPU NVIDIA A100
Chaque instance bare metal d'OCI Compute est connectée grâce au réseau de cluster à latence extrêmement faible d'OCI qui peut évoluer jusqu'à 32 768 GPU NVIDIA A100 dans un seul cluster. Ces instances utilisent l'architecture réseau à hautes performances unique d'OCI qui tire parti de RDMA sur Ethernet convergé (RoCE) v2 pour créer des superclusters RDMA avec des microsecondes de latence entre les nœuds et une bande passante à débit proche de 200 Go/s entre les GPU.
L'implémentation d'OCI de RoCE v2 fournit
- 1 600 Go/s de bande passante par serveur et 200 Go/s de bande passante par GPU A100
- 3 200 Go/s de bande passante par serveur et 400 Go/s de bande passante par GPU H100
Mise en réseau de clusters RDMA à grande vitesse
Le calcul haute performance sur Oracle Cloud Infrastructure offre des fonctionnalités informatiques puissantes et économiques qui permettent de résoudre des problèmes mathématiques et scientifiques complexes dans tous les secteurs.
Les serveurs bare metal d'OCI couplés à la mise en réseau des clusters d'Oracle permettent d'accéder à une très faible latence (moins de 2 microsecondes sur des clusters de dizaines de milliers de cœurs) RDMA sur Ethernet convergé (RoCE) v2.
Le graphique présente les performances de la structure réseau de cluster d'Oracle. OCI peut évoluer au-delà de 100 % en dessous de 10 000 cellules de simulation par cœur avec des codes CFD populaires, les mêmes performances que sur site. Il est important de noter que sans la contrainte de la virtualisation, les machines HPC bare metal peuvent utiliser tous les cœurs du nœud sans avoir à réserver aucun cœur pour des frais généraux coûteux.
Calcul haute performance sur OCI
Le calcul haute performance sur OCI rivalise sur les performances des solutions sur site avec l'élasticité et les coûts basés sur la consommation du cloud, offrant un potentiel à la demande d'évolution simultanée vers des dizaines de milliers de cœurs.
Grâce au calcul haute performance sur OCI, vous avez accès à des processeurs à haute fréquence, à un stockage local rapide et dense, à des réseaux de cluster RDMA à haut débit et à très faible latence et aux outils permettant d'automatiser et d'exécuter des tâches avec aisance.
OCI peut fournir des latences allant jusqu'à 1,7 microseconde, une performance inégalée par les autres fournisseurs de cloud, selon une analyse de Exabyte.io. En activant les clusters connectés à RDMA, OCI étend le réseau de cluster pour les serveurs bare metal équipés de GPU NVIDIA A100.
La structure révolutionnaire de réseau back-end permet aux clients d'utiliser les cartes d'interface réseau ConnectX-5 100 Gb/s de Mellanox avec RDMA sur Ethernet convergé (RoCE) v2 pour créer des clusters avec la même évolutivité d'application et de réseau à faible latence que sur site.
Clusters uniques de GPU bare metal
Les instances de GPU NVIDIA bare metal d'OCI offrent aux start-up une plateforme de calcul haute performance pour les applications qui s'appuient sur le machine learning, le traitement des images et les tâches de calcul haute performance massivement parallèles. Les instances GPU sont idéales pour l'entraînement de modèles, le calcul d’inférence, la physique et le rendu d’image et les applications massivement parallèles.
Les instances BM.GPU4.8 disposent de huit GPU NVIDIA A100 et utilisent le réseau de cluster à faible latence d'Oracle, sur la base de l'accès à la mémoire directe distante (RDMA) exécuté sur Ethernet convergé (RoCE) avec une latence inférieure à 2 microsecondes. Les clients peuvent désormais héberger plus de 500 clusters de GPU et facilement évoluer à la demande.
Découvrez comment OCI et NVIDIA rendent possibles les modèles d'IA de nouvelle génération
Des clients tels qu'Adept, un laboratoire de recherche et de produits de ML développant un coéquipier d'IA universel, utilisent la puissance des technologies d'OCI et de NVIDIA pour créer la prochaine génération de modèles d'IA. En exécutant des milliers de GPU NVIDIA sur des clusters d'instances de calcul bare metal OCI et en capitalisant sur la bande passante réseau d'OCI, Adept peut entraîner des modèles d'IA et de machine learning à grande échelle plus rapidement et plus économiquement qu'auparavant.
Adept crée un coéquipier pour tous avec l'IA à l'aide d'Oracle et de NVIDIA
« Grâce à l'évolutivité et à la puissance de calcul des technologies d'OCI et de NVIDIA, nous pouvons entraîner un réseau neuronal qui permet d'utiliser toutes les applications, tous les sites Web et toutes les API imaginables, en s'appuyant sur les fonctionnalités déjà créées par les éditeurs de logiciels. »
David Luan, PDG
Adept
SoundHound choisit OCI pour soutenir son importante croissance
« Cette relation avec OCI est, à nos yeux, une relation à long terme. Nous sommes ravis de tirer parti des GPU et de les utiliser pour entraîner notre nouvelle génération d'IA vocale. Nous pensons qu'OCI sera un soutien essentiel dans la poursuite de notre croissance. »
James Hom, Cofondateur et Vice-Président des produits
SoundHound
« Nous avons choisi Oracle en raison de ses prix abordables et de ses performances de GPU associés à l'environnement cloud étendu d'Oracle. Les GPU sont très importants pour l'entraînement des modèles de réseaux neuronaux profonds. Plus les performances du GPU sont élevées, plus nos modèles sont performants. Et comme nous travaillons dans plusieurs pays et régions différents, nous avions besoin de l'infrastructure adaptée. »
Nils Helset, Cofondateur et PDG
de DigiFarm
L'Université du Michigan améliore les résumés de texte par l'IA
« Lors de l'exécution d'expériences avec la même configuration, A100 utilise environ 25 % de temps en moins en moyenne. Et le processus fluide de configuration de la machine sur Oracle Cloud le rend encore meilleur. »
Shuyang Cao, assistant en recherche
à l'Université du Michigan
MosaicML fait évoluer son entraînement de l'IA/du ML sur OCI
Découvrez pourquoi MosaicML a constaté qu'OCI était la meilleure base pour entraîner son IA.
Qu'est-ce qui est inclus avec les instances de GPU sur OCI ?
Assistance technique dédiée
OCI fournit des experts techniques de premier ordre pour vous aider à être opérationnel. Nous supprimons les obstacles techniques d'un déploiement complexe, de la planification au lancement, pour vous aider à réussir.
- Développement d’architecture de solution
- Mise en réseau, sécurité et audit
- Intégration à OCI
- Migration d’applications
- Formation post-migration
Économie améliorée
OCI est conçu pour les entreprises qui recherchent des performances supérieures, des coûts toujours plus bas et une migration vers le cloud plus facile pour leurs applications actuelles sur site.
- Connectivité réseau privée 74 % moins chère
- Rapport performances-prix 3 fois supérieur pour le calcul
- Infrastructure jusqu'à 44 % moins chère avec des disques SSD locaux, deux fois la RAM, la mise en réseau RDMA et un contrat de niveau de service performant
- 20 fois les opérations d'entrée/sortie par seconde pour moins de la moitié du coût
Premiers principes : Des superclusters RDMA d'OCI pour des performances ultra-élevées à grande échelle
Jag Brar, Vice-Président et Ingénieur émérite, et Pradeep Vincent, Vice-Président senior d'OCI et Architecte technique en chef
OCI offre de nombreux services uniques, y compris le réseau de cluster, un réseau à ultra-hautes performances avec prise en charge de l'accès direct à la mémoire à distance (RDMA). Dans les vidéo et article de blogs précédents sur les premiers principes, « Créer un réseau à hautes performances dans le cloud public », nous avons expliqué comment le réseau de cluster d'OCI utilise RDMA over Converged Ethernet (RoCE) pour prendre en charge le RDMA.
Lire la suite de l'articleBlogs à la une
- 11 janvier 2023 Exécution d'un workload de deep learning avec JAX sur des clusters multi-GPU multinœuds sur OCI
- 13 décembre 2022 Premiers principes : Créer un réseau à hautes performances dans le cloud public
Ressources GPU
Blogs
- Les serveurs de fichiers les plus rapides du cloud public (Pleins feux sur les produits)
- Performance de NVIDIA A100 Bare Metal dans Oracle Cloud Infrastructure (Pleins feux sur les produits)
- Exécution d'applications sur Oracle Cloud à l'aide d'un réseau de clusters (Solution technique)