Sistemas de archivos HPC (HFS) de Oracle Cloud Infrastructure
Los sistemas de archivos de alto rendimiento admiten cargas de trabajo que requieren la capacidad de leer y escribir datos con tasas de rendimiento extremadamente altas. Los sistemas de archivos HPC (HFS) de OCI están disponibles en Oracle Cloud Marketplace y facilitan el despliegue de diversos servidores de archivos de alto rendimiento líderes del sector. En tan solo tres clics, los clientes tienen un servidor de archivos activo a escala de petabytes con un rendimiento de gigabytes de doble dígito.
Al usar estas soluciones de HFS, puedes especificar los requisitos para tu sistema de archivos, incluidos:
- Tipo (reutilizable o persistente)
- Tipo de carga de trabajo (archivos pequeños, combinados o grandes)
- Tamaño del sistema de archivos (número de servidores de archivos y capacidad de almacenamiento)
A medida que especificas estos parámetros, la solución HFS Marketplace aplica parámetros predeterminados para reducir la complejidad del cliente y acortar el tiempo de despliegue. Por ejemplo, al crear un sistema de archivos reutilizable, seleccionará el almacenamiento NVMe local. Del mismo modo, para cargas de trabajo de archivos mixtas o pequeñas, personalizará los metadatos. Los sistemas de archivos pueden estar funcionando en menos de 15 minutos.
Al utilizar la solución HFS Marketplace, con unos pocos clics puedes desplegar Lustre y GlusterFS.
Opciones personalizables de HFS
Para los usuarios que requieren la máxima capacidad de configuración para un despliegue complejo, también ofrecemos pilas de Oracle Cloud Marketplace (interfaz gráfica de usuario basada en web) y plantillas de despliegue de inicio rápido de Oracle basadas en Terraform en Github. Simplemente, personaliza las plantillas de Terraform o las pilas de Marketplace para satisfacer tus necesidades y realiza el lanzamiento mediante el gestor de recursos.
- Lustre
- GlusterFS
- Servidor de archivos NFS con alta disponibilidad
Pilas de Oracle Cloud Marketplace (interfaz gráfica de usuario basada en web)
- Escala de espectro de IBM
- Lustre
- Quobyte
- Servidor de archivos NFS con alta disponibilidad
Plantillas basadas en Terraform
Beneficios de HFS en HPC de OCI
Estas soluciones de almacenamiento de archivos compartidos, integradas en Oracle Cloud Infrastructure, proporcionan alto rendimiento y una latencia baja y uniforme, lo que soporta cargas de trabajo de alto rendimiento.
Rapidez
Consigue un rendimiento total de archivos de hasta 500 GB/s con instancias informáticas con hardware dedicado de HPC conectadas con redes de clusters locales de NVMe y 100 Gbps para una latencia baja.
Facilidad de uso
Empieza a trabajar de forma rápida y sencilla con unos pocos clics para desplegar configuraciones estándar.
Todas lo que necesitas
Las soluciones integrales basadas en scripts de Terraform incluyen todo lo que necesitas para que Lustre, GlusterFS o BeeGFS compatibles con POSIX estén activos y ejecutándose de forma rápida y sencilla.
Bajo costo
Los clusters de servidores de archivos locales requieren grandes inversiones de capital, mientras que Oracle Cloud se puede ampliar de forma flexible para satisfacer las necesidades de almacenamiento y rendimiento de hasta 500 GB por segundo.
Casos de uso
Los entornos preconfigurados de Oracle son útiles en muchos sectores de una amplia gama de aplicaciones, entre las que se incluyen:
-
Migración de datos a la nube
HFS se puede utilizar para construir un sistema de archivos POSIX al que se puede acceder desde nodos de cómputo on-premises utilizando clientes nativos del sistema de archivos, NFSv3/NFSv4 o SMB para migrar datos a Oracle Cloud.
-
Ingeniería y computación científica
Las cargas de trabajo HPC para simulaciones de choques, dinámica de fluidos computacional (CFD) y química computacional requieren cantidades masivas de datos de entrenamiento y a menudo utilizan almacenamiento de archivos compartidos para admitir el procesamiento de conjuntos de datos de manera simultánea.
-
Inteligencia artificial y machine learning (ML)
Los conjuntos de datos para cargas de trabajo de IA y AA son grandes, y el almacenamiento de archivos debe proporcionar grandes cantidades de datos muy rápidamente para la formación y la validación en varios modelos a la vez. OCI soporta WEKA, Lustre, GlusterFS y mucho más.
-
Procesamiento y transcodificación de medios
Los flujos de trabajo de procesamiento de datos de medios, como la representación de video, los efectos visuales y la producción multimedia, necesitan los recursos informáticos y de almacenamiento para gestionar la creación de grandes cantidades de archivos de video a partir de grandes conjuntos de datos de recursos.
-
Análisis de finanzas y big data
Los casos de uso de análisis de grandes cantidades de datos, incluida la detección de fraudes y el análisis financiero, generan volúmenes enormes de información que necesitan un almacenamiento de alto rendimiento para impulsar aplicaciones intensivas en datos.
"Oracle Cloud es el único proveedor principal de servicios en la nube que ofrece Spectrum Scale en una arquitectura de almacenamiento compartido en hardware dedicado. La oferta de Oracle se ha adaptado a las demandas de HPC y análisis de big data, y ofrece un rendimiento superior al de las ofertas en la nube virtualizadas, y una flexibilidad, escalabilidad y capacidad de gestión mejoradas”.
"Mi equipo ha probado SAS Grid en muchas nubes públicas. Nos complace decir que la infraestructura de Oracle Cloud fue capaz de proporcionar al sistema de archivos compartidos IBM Spectrum Scale el rendimiento de E/S que se necesita para SAS Grid".
"La interfaz gráfica del sistema de archivos HPC (HFS) de OCI y su flujo de trabajo de aprovisionamiento del sistema de archivos, diseñados para estar centrados en el uso del cliente (espacio persistente o reutilizable, cargas de trabajo de archivos grandes, mixtas o pequeñas, etc.) en comparación con aquellos que se centran en la tecnología, reducen las barreras para poder desplegar rápidamente un sistema de archivos paralelo como BeeGFS en Oracle Cloud. Oracle Cloud ofrece recursos de infraestructura, como 100Gbps RDMA RoCEv2 Red en cluster, servicio de volumen en bloque compartido de conexión múltiple, unidades SSD NVMe locales conectadas a unidades de recursos informáticos y recursos informáticos con hardware dedicado para implementar BeeGFS en muchas configuraciones diferentes y proporcionar un rendimiento global de giga-byte de triple dígito (500 GB/s) a un punto de precio más bajo".
“Las tecnologías de redes de cluster y computación con hardware dedicado de Oracle permitieron a BeeGFS en Oracle Cloud superar el rendimiento (latencia y rendimiento ES) del sistema de archivos HPC local para cargas de trabajo MPAS a un precio muy bajo. Al utilizar la red RDMA de cluster de Oracle Cloud, BeeGFS logra un rendimiento de hasta 140 GB/s con solamente 14 servidores".
"La solución del sistema de archivos paralelo OCI de BeeGFS con RoCEv2 de 100 Gbps y almacenamiento NVMe local logró un rendimiento de escritura de E/S similar o mejor para la referencia de la aplicación cosmológica SWIFT según el tipo de archivo escrito. Para los archivos de instantáneas de 370 GB, OCI logró 6,2 GB/s y Lustre 7,0 GB/s y, para los archivos de reinicio de 994 GB, OCI logró 70 GB/s y Lustre, 29,2 GB/s".
Sistema de archivos HPC en OCI: comparación de funciones
| Características | GlusterFS | IBM Spectrum Scale | Lustre |
|---|---|---|---|
| Tipo de licencia | Código abierto | Con licencia comercial | Código abierto |
| Ampliable: almacenamiento y rendimiento | Sí | Sí | Sí |
| Replicación | Sí | Sí | Sí |
| Alta disponibilidad | Sí | Sí | Sí |
| Niveles de almacenamiento | No, experimental | Sí | Sí |
| POSIX | Sí | Sí | Sí |
| Versión de NFS | v3, v4 | v3, v4 | v3, v4 |
| Bloque de mensajes del servidor (SMB) | Sí | Sí | No |
| Compatibilidad con RDMA | No | Sí, edición de borrado | No |
| Soporte del sistema de archivos | Comunidad | IE | Instrucción permanente y comunidad |
| Despliegue | HFS, inicio rápido de Oracle | Inicio rápido de Oracle | HFS, inicio rápido de Oracle |
* Función empresarial, disponible en software con licencia comercial. La edición de código abierto incluye todas las funciones empresariales para evaluarlas de forma gratuita para uso que no sea de producción.
SI: significa integrador de sistemas
WEKA en OCI ofrece un rendimiento de 2 terabytes por segundo
Pinkesh Valdria, arquitecto principal de soluciones
Oracle y WEKA se enorgullecen de anunciar la disponibilidad de WEKA en Oracle Cloud Infrastructure (OCI). Ambas empresas han estado trabajando juntas para validar que WEKA se pueda ejecutar en instancias con hardware dedicado de OCI para ofrecer el máximo nivel de rendimiento que los clientes exigen para sus cargas de trabajo críticas. Junto con el rendimiento, también validamos el nivel de almacenamiento transparente para WEKA mediante OCI Object Storage compatible con S3 como nivel de bajo costo. Esta opción permite a los clientes ejecutar a escala de petabytes en un sistema de archivos de alto rendimiento mediante unidades de estado sólido (SSD) NVMe locales para el almacenamiento de objetos y datos dinámicos para datos medianamente activos e inactivos.
Lee el post completoBlogs destacados
- 23 de febrero de 2023 IBM Spectrum Scale Erasure Code Edition validada en OCI
- 18 de agosto de 2020 Servidor de archivos NFS de alta disponibilidad en Oracle Cloud con un 50 % de ahorro en el costo de almacenamiento
Recursos
Arquitecturas de referencia de HFS
Libros de ejecución de HFS
Empiece ahora
Oracle Cloud - Modo Gratuito
Cree, pruebe e implemente aplicaciones en Oracle Cloud—de manera gratuita. Regístrese una vez y obtenga acceso a dos ofertas gratuitas.
Descripción general de la plataforma de Oracle Cloud Infrastructure
Mejore el rendimiento y la seguridad a la vez que reduce los costos de sus aplicaciones empresariales y de rendimiento intensivo.
Capacitación sobre la nube: Oracle Cloud Infrastructure
Explore los recursos educativos sobre la nube con videos de capacitación, laboratorios de aprendizaje a su propio ritmo y certificaciones de Oracle Cloud Infrastructure.
Explore Oracle Cloud Infrastructure
Oracle Cloud Infrastructure combina la elasticidad y la utilidad de la nube pública con el control, la seguridad, el rendimiento y la previsibilidad de los entornos informáticos locales.