Sistemas de arquivos HPC (HFS) da Oracle Cloud Infrastructure

Os sistemas de arquivos de alto desempenho são compatíveis com cargas de trabalho que exigem a capacidade de ler e gravar dados em taxas de produtividade extremamente altas. Os HFS (HPC File Systems, Sistemas de arquivos de HPC) da OCI estão disponíveis no Oracle Cloud Marketplace e facilitam a implementação de uma variedade de servidores de arquivos de alto desempenho líderes do setor. Com apenas três cliques, os clientes têm um servidor de arquivos instalado e funcionando em escala de petabyte com taxa de transferência de gigabyte de dois dígitos.

Quando você implementa essas soluções HFS

Ao implementar essas soluções HFS, você pode especificar os requisitos para seu sistema de arquivos, incluindo:

  • Tipo (risco ou persistente)
  • Tipo de carga de trabalho (arquivos pequenos, mistos ou grandes)
  • Dimensionamento do sistema de arquivos (número de servidores de arquivos e capacidade de armazenamento)

Conforme você especifica esses parâmetros, a solução HFS Marketplace aplica parâmetros padrão para reduzir a complexidade do cliente e reduzir o tempo de implementação. Por exemplo, ao criar um sistema de arquivos zero, ele selecionará o armazenamento NVMe local. Da mesma forma, para cargas de trabalho de arquivos mistas ou pequenas, eles personalizarão metadados. Os sistemas de arquivos podem estar ativos e em execução em menos de 15 minutos.

Usando a solução HFS Marketplace, com apenas alguns cliques, você pode implementar BeeGFS, Lustre e GlusterFS.

Implemente sistemas de arquivos HPC

Opções personalizáveis de HFS

Para usuários que exigem configuração máxima para implementação complexa, também oferecemos Oracle Cloud Marketplace Stacks (GUI baseada na web) e modelos de implementação de início rápido da Oracle baseados em Terraform no Github. Basta personalizar os modelos de terraform ou as pilhas do Marketplace para atender aos seus requisitos e iniciar por meio do Resource Manager.

Benefícios do HFS na OCI HPC

Desenvolvidas na Oracle Cloud Infrastructure, essas soluções de armazenamento de arquivos compartilhados fornecem alto throughput e consistência, baixa latência, suportando cargas de trabalho de alto desempenho.

Rápido

Obtenha um throughput de até 500 GB/s de agregação com instâncias de computação bare metal HPC anexadas, com NVMe local e rede de clusters de 100 Gbps para baixa latência.

Fácil de usar

Comece a trabalhar de forma rápida e fácil, com apenas alguns cliques para implementar configurações padrão.

Tudo que você precisa

As soluções completas baseadas em scripts do Terraform incluem tudo o que você precisa para ativar e executar o Lustre, GlusterFS ou BeeGFS compatível com POSIX de forma rápida e fácil.

Baixo custo

Os clusters de servidores de arquivos on-premises exigem grandes investimentos de capital, enquanto a Oracle Cloud pode ser dimensionada de forma elástica para atender às necessidades de armazenamento e desempenho de até 500 GB por segundo.

Casos de uso

Os ambientes pré-configurados da Oracle são úteis em muitos setores em uma ampla variedade de aplicações, incluindo:

  • Migração de dados para a nuvem

    O HFS pode ser usado para construir um sistema de arquivos POSIX acessível a partir de nós de computação on-premises usando clientes nativos do sistema de arquivos, NFSv3/NFSv4 ou SMB para migrar dados para a Oracle Cloud.

  • Engenharia e computação científica

    Cargas de trabalho de HPC para simulações de falhas, dinâmica de fluidos computacional (Computational Fluid Dynamics, CFD) e química computacional exigem grandes quantidades de dados de treinamento e geralmente usam armazenamento de arquivos compartilhado para dar suporte ao processamento simultâneo de conjuntos de dados.

  • Inteligência artificial e machine learning (ML)

    Os conjuntos de dados para cargas de trabalho de IA e ML são grandes, e o armazenamento de arquivos deve fornecer grandes quantidades de dados muito rapidamente para treinamento e validação em vários modelos simultaneamente. A OCI dá suporte a WEKA, Lustre, GlusterFS e mais.

  • Processamento e transcodificação de mídia

    Os fluxos de trabalho de processamento de dados de mídia, como renderização de vídeo, efeitos visuais e produção de mídia, precisam dos recursos de computação e armazenamento para lidar com a criação de grandes quantidades de arquivos de vídeo de grandes conjuntos de dados de recursos.

  • Big data e análise financeira

    Os casos de uso de análise de big data, incluindo detecção de fraudes e análise financeira, produzem grandes volumes de dados que precisam de armazenamento de alto desempenho para potencializar aplicações com uso intensivo de dados.

"A Oracle Cloud é o único grande provedor de nuvem que oferece o Spectrum Scale em uma arquitetura de armazenamento compartilhado em hardware bare metal. A oferta da Oracle foi ajustada para as demandas de HPC e análises de big data e oferece vantagem de desempenho sobre ofertas de nuvem virtualizada, além de maior flexibilidade, escalabilidade e capacidade de gerenciamento."

Michael Sedlmayer Presidente, Re-Store

Minha equipe testou o SAS Grid em muitas nuvens públicas. Ficamos felizes em dizer que a infraestrutura da Oracle Cloud foi capaz de fornecer o throughput de E/S ao sistema de arquivos compartilhado do IBM Spectrum Scale que é necessário para o SAS Grid."

Margaret Crevar Gerente Sênior, SAS Performance Lab, SAS

"A interface gráfica do HFS (HPC File System) da OCI e seu fluxo de trabalho de provisionamento do sistema de arquivos, projetados para serem centrados no caso de uso do cliente (espaço em risco ou persistente, cargas de trabalho de arquivos grandes, mistas ou pequenas etc.) versus centrado na tecnologia, reduz barreiras para implementar rapidamente um sistema de arquivos paralelo como BeeGFS na Oracle Cloud. A Oracle Cloud oferece recursos de infraestrutura como rede clusterizada RDMA RoCEv2 de 100 Gbps, serviço de volume de bloco compartilhado multi-attach, SSDs NVMe locais conectados a formas de computação e bare metal para implementar BeeGFS em muitas configurações diferentes e fornecer taxa de transferência de Gigabyte de três dígitos (500 GB/ s) a um preço mais baixo em comparação com outras nuvens públicas.”

Howard Weiss Fundador e Diretor Administrativo, Pacific Teck

"A tecnologia de computação bare metal e rede em cluster da Oracle permitiu que BeeGFS na Oracle Cloud superasse o desempenho do sistema de arquivos HPC on-premises (taxa de latência e E/S) para carga de trabalho MPAS a um preço muito baixo. Usando a rede RDMA da Oracle Cloud Cluster Network, BeeGFS pode ter um desempenho de até 140 GB/s com apenas 14 servidores."

Simon Ponsford CTO, YellowDog

"A solução de sistema de arquivos paralelos da OCI de BeeGFS usando RoCEv2 de 100 Gbps e armazenamento NVMe local alcançou desempenho de throughput de gravação de E/S semelhante ou melhor em comparação com o armazenamento NVMe baseado em Lustre em um sistema HPC DiRAC tradicional para o benchmark de aplicação cosmológico SWIFT, dependendo do tipo de arquivo gravado. Para arquivos de snapshot de 370 GB, a OCI alcançou 6,2 GB/s e o Lustre 7,0 GB/s e para arquivos de reinicialização de 994 GB, a OCI alcançou 70 GB/s e o Lustre 29,2 GB/s."

Andrew Turner Gerente Técnico, DiRAC, EPCC, The University of Edinburgh

Sistema de Arquivos HPC na OCI - Comparação de recursos

Recursos BeeGFS GlusterFS IBM Spectrum Scale Lustre
Tipo de licença Código aberto e licenciado comercialmente para recursos corporativos Código aberto Licenciado comercialmente Código aberto
Escalável - Armazenamento e Desempenho Sim Sim Sim Sim
Replicação Sim* Sim Sim Sim
Alta disponibilidade Sim Sim Sim Sim
Camada de armazenamento Sim* Não, experimental Sim Sim
POSIX Sim Sim Sim Sim
Versão NFS v4 v3, v4 v3, v4 v3, v4
Server Message Block (SMB) Sim Sim Sim Não
Suporte a RDMA Sim Não Sim, edição de exclusão Não
Suporte ao sistema de arquivos SI e Comunidade Comunidade SI SI e Comunidade
Implementação HFS, Oracle Quickstart HFS, Oracle Quickstart Oracle Quickstart HFS, Oracle Quickstart

* - Recurso empresarial, disponível em software licenciado comercialmente. A edição de código aberto inclui todo o recurso empresarial para avaliá-los gratuitamente para uso não relacionado à produção.
SI - significa Integrador de Sistemas

15 de abril de 2022

O WEKA na OCI oferece desempenho de 2 terabytes por segundo

Pinkesh Valdria, Arquiteto de Soluções Principal

Oracle e WEKA têm o orgulho de anunciar a disponibilidade do WEKA na OCI (Oracle Cloud Infrastructure). Ambas as empresas estão trabalhando juntas para validar que o WEKA pode ser executado em instâncias bare metal da OCI para fornecer o mais alto nível de desempenho exigido pelos clientes para suas cargas de trabalho críticas. Junto com o desempenho, também validamos níveis de armazenamento transparentes para WEKA usando o OCI Object Storage compatível com S3 como um nível de baixo custo. Essa opção permite que os clientes executem em escala de petabytes em um sistema de arquivos de alto desempenho usando SSDs NVMe locais para dados quentes e armazenamento de objetos para dados quentes ou frios.

Leia a publicação completa

Blogs em destaque

Recursos

Documentação

Arquiteturas de referência do HFS

Conheça a Oracle Cloud


Modo Gratuito da Oracle Cloud

Crie, teste e implemente aplicações na Oracle Cloud gratuitamente. Inscreva-se uma vez e tenha acesso a duas ofertas gratuitas.

Experimente a Oracle Cloud gratuitamente

Treinamento na nuvem - Oracle Cloud Infrastructure

Explore os recursos de treinamento na nuvem com vídeos explicativos, laboratórios de aprendizagem individualizados e certificações da Oracle Cloud Infrastructure.

Descubra o que você pode aprender

Explore a Oracle Cloud Infrastructure

A Oracle Cloud Infrastructure combina a elasticidade e a utilidade da nuvem pública com controle, segurança, desempenho e previsibilidade de ambientes de computação on-premises.

Leia o guia (PDF)