OCI Supercluster and AI Infrastructure
Oracle Cloud Infrastructure (OCI) Supercluster provides ultrafast cluster networking, HPC storage, and OCI Compute bare metal instances. OCI Supercluster is ideal for training generative AI, including conversational applications and diffusion models. With support for up to tens of thousands of NVIDIA GPUs, OCI Compute bare metal instances and VMs can power applications for computer vision, natural language processing, recommendation systems, and more.
Oracle and NVIDIA partner to speed AI adoption for enterprises (2:06)
Cómo OCI Supercluster supera a la competencia
-
Escalabilidad líder del sector para IA generativa
Implementa decenas de miles de GPU por clúster para lograr una escalabilidad mucho mayor
-
Latencia ultrabaja y ancho de banda ultraalto*
Reduce el tiempo necesario para entrenar la IA con una arquitectura de red Ethernet sencilla que proporciona rendimiento ultraalto a escala masiva.
-
Accede a expertos en IA
Recibe ayuda en materia de ingeniería y diseño con la arquitectura de soluciones, redes, seguridad, auditoría, incorporación, migración de aplicaciones y mucho más.
Habla con Oracle sobre la aceleración de las cargas de trabajo de GPU.
Descubre cómo OCI respalda el entrenamiento de modelos y aplicaciones paralelas
Implementa decenas de miles de NVIDIA H100 y A100 GPU
Cada instancia de hardware dedicado de OCI Compute está conectada mediante la red de clúster de ultrabaja latencia de OCI, que puede escalar hasta decenas de miles de NVIDIA H100 o GPU A100 en un solo cluster. Estas instancias utilizan la arquitectura de red de alto rendimiento única de OCI, que aprovecha RDMA sobre Ethernet Convergente (RoCE) v2 para microsegundos de latencia entre nodos, y ancho de banda cercano a la velocidad de línea.
La implementación de RoCE v2 en OCI proporciona
- 1600 Gb/s de ancho de banda por servidor y 200 Gb/s de ancho de banda por GPU A100
- 3200 Gb/s de ancho de banda por servidor y 400 Gb/s de ancho de banda por GPU H100
Redes de clústeres RDMA de alta velocidad
La informática de alto rendimiento en OCI proporciona capacidades de cálculo potentes y rentables para resolver problemas matemáticos y científicos complejos en diversas industrias.
El gráfico muestra el rendimiento del tejido de redes de clústeres de Oracle. Por debajo de 10 000 celdas de simulación por núcleo, OCI puede escalar por encima del 100 % con códigos CFD populares, el mismo rendimiento que verías localmente. Es importante tener en cuenta que, sin la penalización de la virtualización, las máquinas de computación de alto rendimiento con hardware dedicado pueden utilizar todos los núcleos del nodo sin tener que reservar ningún núcleo, lo que generaría una costosa sobrecarga.
Computación de alto rendimiento en OCI
Los recursos informáticos de alto rendimiento de OCI compiten en rendimiento con las soluciones locales, ofreciendo además la elasticidad y los costos basados en el consumo de la nube, y brindan capacidad on-demand para escalar decenas de miles de núcleos simultáneamente. Los clientes tienen acceso a procesadores de alta frecuencia; almacenamiento local rápido y denso; redes de clúster RDMA de ultrabaja latencia y herramientas para automatizar y ejecutar trabajos con fluidez.
OCI puede proporcionar latencias de hasta 1,7 microsegundos, inferiores a las de cualquier otro proveedor de nube, según un análisis de Exabyte.io. Al habilitar clústeres conectados por RDMA, OCI ha ampliado la red de clústeres para servidores de hardware dedicado equipados con NVIDIA H100 y GPU A100. La innovadora red de respaldo permite a los clientes crear clusters con la misma red de baja latencia y escalabilidad de aplicaciones que se puede lograr on-premises.
Clústeres de GPU con hardware dedicado
Las instancias de GPU de hardware dedicado de NVIDIA que ofrece OCI brindan a las startups una plataforma de informática de alto rendimiento para aplicaciones que dependen del aprendizaje profundo, sistemas de recomendación y trabajos de cómputo de alto rendimiento masivos y paralelos. Las instancias de GPU son ideales para el entrenamiento de modelos, el cálculo de inferencias, la física y la representación de imágenes, así como para las aplicaciones masivas y paralelas.
OCI ofrece instancias con ocho NVIDIA H100 o GPU NVIDIA A100. Mientras que OCI Supercluster proporciona la capacidad de escalar a cientos o miles de GPU por clúster, OCI también ofrece la capacidad de implementar a una escala mucho menor, comenzando con solo una GPU.
OCI en NVIDIA GTC, la conferencia sobre IA y el metaverso
Descubre cómo OCI y NVIDIA potencian los modelos de IA de última generación
Clientes como Adept, un laboratorio de investigación y productos de machine learning que está desarrollando un compañero de IA universal, están aprovechando el poder de las tecnologías de OCI y NVIDIA para crear la próxima generación de modelos de IA. Al ejecutar miles de GPU de NVIDIA en clústeres de instancias informáticas de hardware dedicado de OCI y aprovechar el ancho de banda de red de OCI, Adept puede entrenar modelos de inteligencia artificial y machine learning a gran escala más rápido y por un precio más económico que antes.
Adept crea un potente compañero de IA para todos con Oracle y NVIDIA
"Con la escalabilidad y el poder informático de la tecnología OCI y NVIDIA, estamos entrenando una red neuronal para utilizar todas las aplicaciones de software, sitios web y API existentes, creando las capacidades que los fabricantes de software ya han creado".
David Luan, director general
Adept
SoundHound opta por OCI para respaldar su enorme crecimiento
"Vemos esta colaboración con OCI como una relación a largo plazo. Nos complace aprovechar las GPU y utilizarlas para entrenar nuestra próxima generación de IA de voz. "Creemos que OCI nos aportará mucho en términos de crecimiento futuro".
James Hom, cofundador y vicepresidente de Productos
SoundHound
Emory University utiliza Oracle Cloud para ayudar a combatir la enfermedad de Parkinson
"Con Oracle Cloud, estamos ejecutando entre cuatro y ocho GPU en paralelo para acelerar en gran medida nuestro progreso en la investigación, lo que significa que podemos completar un experimento en solo unas pocas horas".
Hyeokhyen Kwon, profesor asistente de informática biomédica
Emory University
La Universidad de Michigan mejora sus resúmenes de texto de IA
"Al ejecutar experimentos con la misma configuración, A100 tarda aproximadamente un 25 % menos de tiempo en promedio. Lo que lo hace aún mejor es el proceso fluido de configuración de la máquina en Oracle Cloud".
Shuyang Cao, asistente de investigación
Universidad de Michigan
MosaicML escala el entrenamiento de IA/ML en OCI
Descubre por qué MosaicML descubrió que OCI es la mejor base para el entrenamiento de IA.
Softdrive ofrece estaciones de trabajo de última generación con OCI Compute y NVIDIA A10
"Softdrive es el futuro de los ordenadores de empresa. En el mercado de PC en la nube, el rendimiento lo es todo. Las GPU de NVIDIA en servidores con hardware dedicado de OCI han mejorado drásticamente la experiencia de nuestros clientes".
Leonard Ivey, cofundador
Softdrive
¿Qué incluyen las instancias de GPU de OCI?
Soporte de ingeniería dedicado
OCI pone a tu disposición expertos técnicos de primer nivel para ayudarte comenzar a operar cuanto antes. Eliminamos las barreras técnicas de los despliegues complejos, desde la planificación hasta el lanzamiento, para garantizar que alcances el éxito.
- Desarrollo de arquitectura de soluciones
- Redes, seguridad y auditoría
- Incorporación a OCI
- Migración de aplicaciones
- Formación posterior a la migración
Ahorro de costos
OCI se ha diseñado para aquellas empresas que buscan obtener mayor rendimiento, costos siempre menores y una migración a la nube más sencilla para sus actuales aplicaciones en entorno local.
- Conectividad de red privada un 74 % más económica.
- Relación precio-rendimiento de los recursos informáticosmás de 3 veces mejor.
- Infraestructura hasta un 44 % menos costosa con discos de estado sólido locales, el doble de RAM, red RDMA y un acuerdo de nivel de servicio de rendimiento.
- 20 veces más operaciones de entrada/salida por segundo por menos de la mitad del costo.
El rendimiento excepcional de OCI para IA validado en los resultados de MLPerf Inference v3.1
Seshadri Dehalisan, Akshai Parthasarathy y Ruzhu Chen, Oracle
Oracle Cloud Infrastructure (OCI) ha obtenido resultados sólidos en varias pruebas comparativas de lasuite MLCommons Inference Datacenter v3.1, el estándar del sector para medir el rendimiento de la infraestructura de IA. OCI se probó en varias unidades con tecnología de GPU NVIDIA, incluida la GPU NVIDIA H100 Tensor Core, la GPU NVIDIA A100 Tensor Core y la GPU NVIDIA A10 Tensor Core, con los siguientes resultados clave:
- La unidad BM.GPU.H100.8 de OCI con ocho GPU H100 de NVIDIA proporcionó los mejores resultados, superando o igualando a la competencia en RESNET, RetinaNet, BERT, DLRMv2 y referencias GPT-J.
- BM.GPU.A100-v2.8 con ocho GPU NVIDIA A100 también mostró un gran rendimiento global.
Blogs destacados
- 19 de septiembre de 2023 Anunciamos la disponibilidad para instancias con hardware dedicado de OCI Compute con tecnología de GPU NVIDIA H100
- 19 de septiembre de 2023 Presentamos OCI Compute con GPU NVIDIA L40S
- 24 de julio de 2023 OCI acelera los recursos informáticos de alto rendimiento, la IA y la base de datos mediante RoCE y NVIDIA ConnectX
- 16 de mayo de 2023 Entrena e implementa inteligencia artificial generativa más rápido con MosaicML y Oracle
- 28 de marzo de 2023 Sirve modelos de ML a escala con el Servidor de Inferencia NVIDIA Triton en OKE
- 14 de febrero de 2023 First Principles: OCI RDMA Supercluster, rendimiento ultra alto a escala masiva
Recursos de GPU
Blogs
- Servidores de archivos más rápidos en la nube pública (producto destacado)
- Rendimiento de las unidades de hardware dedicado NVIDIA A100 en Oracle Cloud Infrastructure (producto destacado)
- Ejecución de aplicaciones en Oracle Cloud mediante redes de clústeres (solución técnica)