Exécutez plus rapidement les workloads d'IA les plus exigeants, y compris l'IA générative, la vision par ordinateur et l'analyse prédictive, où que vous soyez dans notre cloud distribué. Utilisez Oracle Cloud Infrastructure (OCI) Supercluster pour évoluer jusqu'à 32 768 GPU aujourd'hui et 65 536 GPU à l'avenir.*
L'infrastructure d'IA d'OCI offre la performance et la valeur les plus élevées pour tous les workloads d'IA, y compris les l'inférence, l'entraînement et les assistants d'IA.
Seul OCI Supercluster offre une évolutivité de pointe avec le calcul bare metal afin que vous puissiez accélérer l'entraînement pour des modèles d'IA à des billions de paramètres.
Le cloud distribué d'Oracle vous permet de déployer une infrastructure d'IA n'importe où pour répondre aux exigences en matière de performances, de sécurité et de souveraineté de l'IA.
*OCI Supercluster peut évoluer jusqu'à 65 536 GPU NVIDIA B200 (planifiés), 32 768 GPU NVIDIA A100 et 16 384 GPU NVIDIA H100.
Que vous cherchiez à effectuer des déductions ou des ajustements, ou à entraîner des modèles à grande échelle pour l'IA générative, OCI offre des options de cluster de GPU bare metal et de machine virtuelle de pointe, optimisées par un réseau à très large bande passante et un stockage à hautes performances pour répondre à vos besoins en IA.
Le calcul bare metal et VM alimenté par les GPU NVIDIA A10 Tensor Core, L40S,*, GH200 Grace Hopper Superchip* et GB200 NVL72* permettent l'inférence, le réglage fin et l'entraînement de l'IA.
Le calcul bare metal alimenté par les NVIDIA H100, L40S,*, A100, H200* et B200** accélère l'entraînement et l'inférence de l'IA à grande échelle.
Le RDMA avec des réseaux de cluster dédiés permet l'infrastructure d'IA et fournit une latence de l'ordre de la microseconde et une bande passante entre-nœuds de 3.2 To/s.
Le stockage pour l'infrastructure d'IA inclut un stockage NVMe lié à l'environnement local pour les workloads d'IA exigeants et les systèmes de fichiers de cluster tels que BeeGFS, Lustre et WEKA.
* Disponible en tant que deux types de produits.
** Bientôt disponible.
OCI Supercluster vous permet de déployer jusqu'à 32 768 GPU par cluster, en tirant parti de la mise en réseau de clusters RDMA et du stockage local pour obtenir un entraînement et une inférence rapides sur des modèles d'IA à grande échelle.
Calcul
• 8x GPU NVIDIA H100 ; SSD NVMe 61,44 To par nœud
• 8x GPU NVIDIA A100 ; SSD NVMe 27,2 To par nœud
• 4x GPU NVIDIA L40S ; SSD 7,38 To NVMe par nœud
Stockage
• Stockage de blocs : jusqu'à 32 To par volume
• Stockage d'objets : jusqu'à 10 TiB par objet
• Stockage de fichiers : jusqu'à 8 Eo par système de fichiers
• Clusters de stockage avec des formes d'E/S denses
Mise en réseau
• RDMA sur Ethernet Convergé (RoCE v2)
• Peu de microsecondes de latence entre les nœuds
• Bande passante inter-nœuds OCI Supercluster :
o NVIDIA H100 : 3200 Gb/s
o NVIDIA A100 : 1600 Gb/s
o NVIDIA L40S : 800 Gb/s
Grâce à OCI Supercluster, les clients peuvent accéder au stockage local, de blocs, d'objets et de fichiers pour le calcul exaflopique. Parmi les principaux fournisseurs de cloud, OCI offre la capacité la plus élevée de stockage NVMe local à hautes performances pour des points de reprise plus fréquents pendant les entraînements, ce qui permet une récupération plus rapide en cas de défaillance.
Les systèmes de fichiers HPC, y compris BeeGFS, GlusterFS, Lustre et WEKA, peuvent être utilisés pour l'entraînement d'IA à grande échelle sans compromettre les performances.
La mise en réseau de clusters RDMA à haut débit alimentée par les cartes d'interface réseau NVIDIA ConnectX avec RDMA sur la version 2 de l'ethernet convergé vous permet de créer de grands clusters d'instances GPU avec la même mise en réseau à très faible latence et la même évolutivité des applications attendue on-premises.
Vous ne payez pas de frais supplémentaires pour la capacité RDMA, le stockage de blocs ou la bande passante réseau, et les 10 premiers To de sortie sont gratuits.
Les instances bare metal OCI alimentées par les GPU NVIDIA L40S, H100 et A100 permettent aux clients d'exécuter de grands modèles d'IA pour des cas d'utilisations tels que le deep learning, l'IA conversationnelle et l'IA générative. Avec OCI Supercluster, les clients peuvent évoluer jusqu'à 32 768 GPU A100, 16 384 GPU H100 et 3 840 GPU L40S par cluster.
Pradeep Vincent, Architecte technique en chef, explique comment OCI Supercluster optimise l'entraînement et l'inférence des modèles de machine learning en s'adaptant à des dizaines de milliers de GPU NVIDIA.
Entraînez des modèles d'IA sur des instances bare metal OCI optimisées par des GPU, des réseaux de clusters RDMA et OCI Data Science.
La protection des milliards de transactions financières qui se produisent chaque jour nécessite des outils d'IA améliorés capables d'analyser de grandes quantités de données client historiques. Les modèles d'IA exécutés sur OCI Compute alimentés par des GPU NVIDIA, ainsi que des outils de gestion de modèles tels qu'OCI Data Science et d'autres modèles open source aident les institutions financières à réduire la fraude.
L'IA est souvent utilisée pour analyser divers types d'images médicales (comme les rayons X et les IRM) dans un hôpital. Les modèles entraînés peuvent aider à hiérarchiser les cas nécessitant une révision immédiate par un radiologue et à rapporter des résultats concluants sur d'autres.
La découverte de médicaments est un processus long et coûteux qui peut prendre de nombreuses années et coûter des millions de dollars. En tirant parti de l'infrastructure et de l'analyse de l'IA, les chercheurs peuvent accélérer la découverte de médicaments. En outre, OCI Compute s'appuie sur des GPU NVIDIA ainsi que sur des outils de gestion des workflows d'IA tels que BioNeMo pour permettre aux clients de traiter et de prétraiter leurs données.
Oracle offre un niveau gratuit pour la plupart des services d'IA ainsi qu'un compte d'essai gratuit avec 300 USD de crédits pour tester ses services cloud complémentaires. Les services d'IA comprennent un ensemble d'offres, incluant l'IA générative, avec des modèles de machine learning prédéfinis qui permettent aux développeurs d'appliquer plus facilement l'IA aux applications et aux opérations métier.
Vous n'avez à payer que des frais de calcul et de stockage pour OCI Data Science.
En savoir plus sur la mise en réseau de clusters RDMA, les instances GPU, les serveurs bare metal, etc.
La tarification d'Oracle Cloud est simple, avec des tarifs faibles homogènes dans le monde entier et prenant en charge un large éventail de cas spécifiques. Pour estimer votre tarif réduit, consultez l’estimateur de coûts et configurez les services en fonction de vos besoins.
Obtenez de l'aide pour créer votre prochaine solution d'IA ou déployer votre workload sur l'infrastructure d'IA d'OCI.