Sistemas de arquivos HPC (HFS) da Oracle Cloud Infrastructure
Os sistemas de arquivos de alto desempenho são compatíveis com cargas de trabalho que exigem a capacidade de ler e gravar dados em taxas de produtividade extremamente altas. Os HFS (HPC File Systems, Sistemas de arquivos de HPC) da OCI estão disponíveis no Oracle Cloud Marketplace e facilitam a implementação de uma variedade de servidores de arquivos de alto desempenho líderes do setor. Com apenas três cliques, os clientes têm um servidor de arquivos instalado e funcionando em escala de petabyte com taxa de transferência de gigabyte de dois dígitos.
Ao implementar essas soluções HFS, você pode especificar os requisitos para seu sistema de arquivos, incluindo:
- Tipo (risco ou persistente)
- Tipo de carga de trabalho (arquivos pequenos, mistos ou grandes)
- Dimensionamento do sistema de arquivos (número de servidores de arquivos e capacidade de armazenamento)
Conforme você especifica esses parâmetros, a solução HFS Marketplace aplica parâmetros padrão para reduzir a complexidade do cliente e reduzir o tempo de implementação. Por exemplo, ao criar um sistema de arquivos zero, ele selecionará o armazenamento NVMe local. Da mesma forma, para cargas de trabalho de arquivos mistas ou pequenas, eles personalizarão metadados. Os sistemas de arquivos podem estar ativos e em execução em menos de 15 minutos.
Usando a solução HFS Marketplace, com apenas alguns cliques, você pode implementar BeeGFS, Lustre e GlusterFS.
Opções personalizáveis de HFS
Para usuários que exigem configuração máxima para implementação complexa, também oferecemos Oracle Cloud Marketplace Stacks (GUI baseada na web) e modelos de implementação de início rápido da Oracle baseados em Terraform no Github. Basta personalizar os modelos de terraform ou as pilhas do Marketplace para atender aos seus requisitos e iniciar por meio do Resource Manager.
- BeeGFS
- Lustre
- GlusterFS
- BeeOND (BeeGFS sob demanda por RDMA)
- Servidor de arquivos NFS com alta disponibilidade
Pilhas do Oracle Cloud Marketplace (GUI baseada na web)
- IBM Spectrum Scale
- BeeGFS
- Lustre
- BeeOND (BeeGFS sob demanda por RDMA)
- Quobyte
- Servidor de arquivos NFS com alta disponibilidade
Modelos baseados no Terraform
Benefícios do HFS na OCI HPC
Desenvolvidas na Oracle Cloud Infrastructure, essas soluções de armazenamento de arquivos compartilhados fornecem alto throughput e consistência, baixa latência, suportando cargas de trabalho de alto desempenho.
Rápido
Obtenha um throughput de até 500 GB/s de agregação com instâncias de computação bare metal HPC anexadas, com NVMe local e rede de clusters de 100 Gbps para baixa latência.
Fácil de usar
Comece a trabalhar de forma rápida e fácil, com apenas alguns cliques para implementar configurações padrão.
Tudo que você precisa
As soluções completas baseadas em scripts do Terraform incluem tudo o que você precisa para ativar e executar o Lustre, GlusterFS ou BeeGFS compatível com POSIX de forma rápida e fácil.
Baixo custo
Os clusters de servidores de arquivos on-premises exigem grandes investimentos de capital, enquanto a Oracle Cloud pode ser dimensionada de forma elástica para atender às necessidades de armazenamento e desempenho de até 500 GB por segundo.
Casos de uso
Os ambientes pré-configurados da Oracle são úteis em muitos setores em uma ampla variedade de aplicações, incluindo:
-
Migração de dados para a nuvem
O HFS pode ser usado para construir um sistema de arquivos POSIX acessível a partir de nós de computação on-premises usando clientes nativos do sistema de arquivos, NFSv3/NFSv4 ou SMB para migrar dados para a Oracle Cloud.
-
Engenharia e computação científica
Cargas de trabalho de HPC para simulações de falhas, dinâmica de fluidos computacional (Computational Fluid Dynamics, CFD) e química computacional exigem grandes quantidades de dados de treinamento e geralmente usam armazenamento de arquivos compartilhado para dar suporte ao processamento simultâneo de conjuntos de dados.
-
Inteligência artificial e machine learning (ML)
Os conjuntos de dados para cargas de trabalho de IA e ML são grandes, e o armazenamento de arquivos deve fornecer grandes quantidades de dados muito rapidamente para treinamento e validação em vários modelos simultaneamente. A OCI dá suporte a WEKA, Lustre, GlusterFS e mais.
-
Processamento e transcodificação de mídia
Os fluxos de trabalho de processamento de dados de mídia, como renderização de vídeo, efeitos visuais e produção de mídia, precisam dos recursos de computação e armazenamento para lidar com a criação de grandes quantidades de arquivos de vídeo de grandes conjuntos de dados de recursos.
-
Big data e análise financeira
Os casos de uso de análise de big data, incluindo detecção de fraudes e análise financeira, produzem grandes volumes de dados que precisam de armazenamento de alto desempenho para potencializar aplicações com uso intensivo de dados.
"A Oracle Cloud é o único grande provedor de nuvem que oferece o Spectrum Scale em uma arquitetura de armazenamento compartilhado em hardware bare metal. A oferta da Oracle foi ajustada para atender às demandas de HPC e análise de big data e oferece uma vantagem de desempenho 10 vezes maior em relação às ofertas de nuvem virtualizada, flexibilidade, escalabilidade e gerenciabilidade aprimoradas."
Minha equipe testou o SAS Grid em muitas nuvens públicas. Ficamos felizes em dizer que a infraestrutura da Oracle Cloud foi capaz de fornecer o throughput de E/S ao sistema de arquivos compartilhado do IBM Spectrum Scale que é necessário para o SAS Grid."
"A interface gráfica do HFS (HPC File System) da OCI e seu fluxo de trabalho de provisionamento do sistema de arquivos, projetados para serem centrados no caso de uso do cliente (espaço em risco ou persistente, cargas de trabalho de arquivos grandes, mistas ou pequenas etc.) versus centrado na tecnologia, reduz barreiras para implementar rapidamente um sistema de arquivos paralelo como BeeGFS na Oracle Cloud. A Oracle Cloud oferece recursos de infraestrutura como rede clusterizada RDMA RoCEv2 de 100 Gbps, serviço de volume de bloco compartilhado multi-attach, SSDs NVMe locais conectados a formas de computação e bare metal para implementar BeeGFS em muitas configurações diferentes e fornecer taxa de transferência de Gigabyte de três dígitos (500 GB/ s) a um preço mais baixo em comparação com outras nuvens públicas.”
"A tecnologia de computação bare metal e rede em cluster da Oracle permitiu que BeeGFS na Oracle Cloud superasse o desempenho do sistema de arquivos HPC on-premises (taxa de latência e E/S) para carga de trabalho MPAS a um preço muito baixo. Usando a rede RDMA da Oracle Cloud Cluster Network, BeeGFS pode ter um desempenho de até 140 GB/s com apenas 14 servidores."
"A solução de sistema de arquivos paralelos da OCI de BeeGFS usando RoCEv2 de 100 Gbps e armazenamento NVMe local alcançou desempenho de throughput de gravação de E/S semelhante ou melhor em comparação com o armazenamento NVMe baseado em Lustre em um sistema HPC DiRAC tradicional para o benchmark de aplicação cosmológico SWIFT, dependendo do tipo de arquivo gravado. Para arquivos de snapshot de 370 GB, a OCI alcançou 6,2 GB/s e o Lustre 7,0 GB/s e para arquivos de reinicialização de 994 GB, a OCI alcançou 70 GB/s e o Lustre 29,2 GB/s."
Sistema de Arquivos HPC na OCI - Comparação de recursos
| Recursos | BeeGFS | GlusterFS | IBM Spectrum Scale | Lustre |
|---|---|---|---|---|
| Tipo de licença | Código aberto e licenciado comercialmente para recursos corporativos | Código aberto | Licenciado comercialmente | Código aberto |
| Escalável - Armazenamento e Desempenho | Sim | Sim | Sim | Sim |
| Replicação | Sim* | Sim | Sim | Sim |
| Alta disponibilidade | Sim | Sim | Sim | Sim |
| Camada de armazenamento | Sim* | Não, experimental | Sim | Sim |
| POSIX | Sim | Sim | Sim | Sim |
| Versão NFS | v4 | v3, v4 | v3, v4 | v3, v4 |
| Server Message Block (SMB) | Sim | Sim | Sim | Não |
| Suporte a RDMA | Sim | Não | Sim, edição de exclusão | Não |
| Suporte ao sistema de arquivos | SI e Comunidade | Comunidade | SI | SI e Comunidade |
| Implementação | HFS, Oracle Quickstart | HFS, Oracle Quickstart | Oracle Quickstart | HFS, Oracle Quickstart |
* - Recurso empresarial, disponível em software licenciado comercialmente. A edição de código aberto inclui todo o recurso empresarial para avaliá-los gratuitamente para uso não relacionado à produção.
SI - significa Integrador de Sistemas
O WEKA na OCI oferece desempenho de 2 terabytes por segundo
Pinkesh Valdria, Arquiteto de Soluções Principal
Oracle e WEKA têm o orgulho de anunciar a disponibilidade do WEKA na OCI (Oracle Cloud Infrastructure). Ambas as empresas estão trabalhando juntas para validar que o WEKA pode ser executado em instâncias bare metal da OCI para fornecer o mais alto nível de desempenho exigido pelos clientes para suas cargas de trabalho críticas. Junto com o desempenho, também validamos níveis de armazenamento transparentes para WEKA usando o OCI Object Storage compatível com S3 como um nível de baixo custo. Essa opção permite que os clientes executem em escala de petabytes em um sistema de arquivos de alto desempenho usando SSDs NVMe locais para dados quentes e armazenamento de objetos para dados quentes ou frios.
Leia a publicação completaBlogs em destaque
- 23 de fevereiro de 2023 IBM Spectrum Scale Erasure Code Edition validado na OCI
- 3 de agosto de 2022 A OCI é líder absoluta em custo-benefício para sistemas de arquivos de alto desempenho na nuvem pública
- 25 de agosto de 2020 Qual nuvem chegará primeiro a 1 terabyte por segundo?
- 18 de agosto de 2020 Servidor de arquivos NFS altamente disponível na Oracle Cloud com 50% de economia no custo de armazenamento
Recursos
Arquiteturas de referência do HFS
Conheça a Oracle Cloud
Modo Gratuito da Oracle Cloud
Crie, teste e implemente aplicações na Oracle Cloud gratuitamente. Inscreva-se uma vez e tenha acesso a duas ofertas gratuitas.
Treinamento na nuvem - Oracle Cloud Infrastructure
Explore os recursos de treinamento na nuvem com os vídeos da Oracle Cloud Infrastructure, laboratórios de aprendizagem individualizados e certificações.
Explore a Oracle Cloud Infrastructure
A Oracle Cloud Infrastructure combina a elasticidade e a utilidade da nuvem pública com controle, segurança, desempenho e previsibilidade de ambientes de computação on-premises.