A Oracle e a AMD anunciaram hoje que as GPUs AMD Instinct™ MI355X estarão disponíveis na Oracle Cloud Infrastructure (OCI) para oferecer aos clientes mais opções e custo-benefício até 2 vezes melhor para treinamento de IA em larga escala e cargas de trabalho de inferência em comparação à geração anterior. A Oracle oferecerá clusters de IA em zettascale acelerados pelos mais recentes processadores AMD Instinct com até 131.072 GPUs MI355X para possibilitar que os clientes criem, treinem e infiram IA em escala.

“Para dar suporte aos clientes que executam as cargas de trabalho de IA mais exigentes na nuvem, nos dedicamos a fornecer as mais amplas ofertas de infraestrutura de IA”, disse Mahesh Thiagarajan, vice-presidente executivo da Oracle Cloud Infrastructure. “As GPUs AMD Instinct, combinadas com o desempenho, a rede avançada, a flexibilidade, a segurança e a escala da OCI, ajudarão nossos clientes a atender às suas necessidades de inferência e treinamento para cargas de trabalho de IA e novas aplicações de agente.”

Para dar suporte a novas aplicações de IA que exigem conjuntos de dados maiores e mais complexos, os clientes precisam de soluções de computação projetadas especificamente para treinamento de IA em larga escala. O OCI Supercluster em zettascale com GPUs AMD Instinct MI355X atende a essa necessidade ao fornecer uma arquitetura de rede de cluster RDMA de alto rendimento e latência ultrabaixa para até 131.072 GPUs MI355X. O AMD Instinct MI355X oferece quase o triplo de poder de computação e um aumento de 50% na memória de alta largura de banda do que a geração anterior.

“A AMD e a Oracle compartilham um histórico de fornecer aos clientes soluções abertas para acomodar alto desempenho, eficiência e maior flexibilidade de design de sistema”, disse Forrest Norrod, vice-presidente executivo e gerente geral do Data Center Solutions Business Group da AMD. “A última geração de GPUs AMD Instinct e NICs Pollara na OCI ajudará a dar suporte a novos casos de uso em inferência, ajuste fino e treinamento, oferecendo mais opções aos clientes à medida que a adoção da IA ​​cresce.”

AMD Instinct MI355X está chegando à OCI

As formas com tecnologia AMD Instinct MI355X são projetadas com valor superior, flexibilidade de nuvem e compatibilidade de código aberto — ideal para clientes que executam os maiores modelos de linguagem e cargas de trabalho de IA da atualidade. Com o AMD Instinct MI355X na OCI, os clientes poderão se beneficiar de:

• Aumento significativo no desempenho:Ajuda os clientes a aumentar o desempenho de implementações de IA com uma taxa de transferência até 2,8 vezes maior. Para permitir a inovação de IA em escala, os clientes podem esperar resultados mais rápidos, menor latência e a capacidade de executar cargas de trabalho maiores. >
• >
• Memória maior e mais rápida: Possibilita que os clientes executem modelos grandes inteiramente na memória, melhorando as velocidades de inferência e treinamento para modelos que exigem alta largura de banda de memória. As novas formas oferecem 288 gigabytes de memória de alta largura de banda 3 (HBM3) e até oito terabytes por segundo de largura de banda de memória.
• Novo suporte FP4: Permite que os clientes implementem modelos modernos de linguagem e IA generativa de forma econômica com o suporte do novo padrão de computação de ponto flutuante (FP4) de 4 bits. Isso possibilita inferência ultraeficiente e de alta velocidade. >
• Design denso e refrigerado a líquido:Possibilita que os clientes maximizem a densidade de desempenho a 125 quilowatts por rack para cargas de trabalho de IA exigentes. Com 64 GPUs por rack de 1.400 watts cada, os clientes podem esperar tempos de treinamento mais rápidos com maior rendimento e menor latência. >
• Desenvolvido para treinamento e inferência em escala de produção: Oferece suporte aos clientes na implementação de novas aplicações de agente com um tempo de primeiro token (TTFT) mais rápido e alta taxa de transferência de tokens por segundo. Os clientes podem esperar melhor custo-benefício para cargas de trabalho de treinamento e inferência.
• Nó principal poderoso:Auxilia os clientes a otimizar o desempenho da GPU, permitindo orquestração de tarefas e processamento de dados eficientes com uma CPU AMD Turin de alta frequência com até três terabytes de memória do sistema.>
• Pilha de código aberto:Possibilita que os clientes aproveitem arquiteturas flexíveis e migrem facilmente seu código existente sem dependência de fornecedor por meio do AMD ROCm. AMD ROCm é uma pilha de software que inclui modelos de programação populares, ferramentas, compiladores, bibliotecas e tempos de execução para desenvolvimento de soluções de IA e HPC em GPUs AMD.>
• Inovação de rede com AMD Pollara™: Fornece aos clientes funcionalidade RoCE avançada que possibilita designs de malha de rede inovadores. A Oracle será a primeira a implementar NICs AMD Pollara AI em redes de backend, fornecendo funções RoCE avançadas, como controle de congestionamento programável e suporte para padrões abertos da indústria do Ultra Ethernet Consortium (UEC) para redes de alto desempenho e baixa latência.>

Recursos adicionais

• Saiba mais sobre a OCI AI Infrastructure
• Saiba mais sobre o OCI Compute
• Saiba mais sobre as GPUs ADM