¿Qué es la computación de alto rendimiento (HPC)?

Algunas cargas de trabajo, como la secuenciación de ADN, son demasiado inmensas para procesarlas con una sola computadora. Los entornos de supercomputación o HPC abordan estos grandes y complejos desafíos con nodos individuales (computadoras) que trabajan juntos en un clúster (grupo conectado) y realizan tareas masivas de computación en un poco tiempo. A menudo, la creación y eliminación de estos clústeres se automatiza en la nube para reducir costos.

HPC se puede ejecutar con muchos tipos de cargas de trabajo, pero las dos más habituales son cargas de trabajo intrínsecamente paralelas y cargas de trabajo estrechamente acopladas.

Cargas de trabajo intrínsecamente paralelas

Son problemas de computación divididos en tareas pequeñas, sencillas e independientes que se pueden ejecutar al mismo tiempo, a menudo con poca o ninguna comunicación entre ellos. Por ejemplo, una empresa puede enviar 100 millones de registros de tarjetas de crédito a núcleos de procesadores individual en un clúster de nodos. Procesar un registro de tarjeta de crédito es una tarea pequeña, y cuando se distribuyen 100 millones de registros en el clúster, esas pequeñas tareas se pueden realizar al mismo tiempo (en paralelo) a velocidades asombrosas. Los casos de uso comunes incluyen simulaciones de riesgo, modelado molecular, búsqueda contextual y simulaciones logísticas.

Cargas de trabajo estrechamente acopladas

Por lo general, toman una gran carga de trabajo compartida y la dividen en tareas más pequeñas que se comunican continuamente. En otras palabras, los diferentes nodos del clúster se comunican entre sí a medida que se procesan. Los casos de uso comunes incluyen dinámica de fluidos computacional, modelado de pronóstico del tiempo, simulaciones de materiales, emulaciones de colisiones de automóviles, simulaciones geoespaciales y gestión del tráfico.

¿Por qué es importante la HPC?

Durante décadas, HPC fue una parte fundamental de la investigación académica y la innovación industrial. HPC ayuda a los ingenieros, científicos de datos, diseñadores y otros investigadores a resolver problemas complejos y de gran envergadura en mucho menos tiempo y con un costo inferior que con la informática tradicional.

Las principales ventajas de HPC son:

• Menos pruebas físicas: HPC se puede utilizar para crear simulaciones y eliminar la necesidad de realizar pruebas físicas. Por ejemplo, al realizar pruebas de accidentes automovilísticos, es mucho más fácil y menos costoso generar una simulación que realizar una prueba del choque.
• Velocidad: con las últimas CPU, unidades de procesamiento de gráficos (GPU) y estructuras de red de baja latencia, como el acceso remoto directo a memoria (RDMA), junto con dispositivos de almacenamiento local y en bloque íntegramente flash, HPC puede realizar cálculos masivos en minutos, en lugar de demorar semanas o meses.
• Costo: las respuestas más rápidas evitan desperdiciar tiempo y dinero. Además, con HPC basada en la nube, incluso las empresas pequeñas y los emprendimientos pueden permitirse ejecutar cargas de trabajo de HPC, ya que pagan solo por lo que usan y pueden ampliarlas o reducirlas según sea necesario.
• Innovación: HPC impulsa la innovación en casi todas las industrias: es la fuerza que se esconde detrás de los descubrimientos científicos revolucionarios que mejoran la calidad de vida de las personas en todo el mundo.

Las empresas de Fortune 1000 de casi cualquier industria emplean HPC, y su popularidad está en aumento. Según Hyperion Research, se espera que el mercado mundial de HPC alcance los $44.000 millones en 2022.

A continuación, indicamos algunas industrias que utilizan HPC y los tipos de cargas de trabajo que HPC les ayuda a realizar:

• Aeroespacial: crear simulaciones complejas, como el flujo de aire sobre las alas de los aviones.
• Fabricación: ejecutar simulaciones, como las de conducción autónoma, para respaldar el diseño, la fabricación y la prueba de nuevos productos, de cara a obtener automóviles más seguros, piezas más livianas, procesos más eficientes e innovaciones.
• Tecnología financiera (fintech): realizar análisis de riesgos complejos, comercio de alta frecuencia, modelos financieros y detección de fraudes.
• Genómica: secuenciar ADN, analizar las interacciones de los medicamentos y realizar análisis de proteínas para respaldar los estudios de ascendencia.
• Atención médica: investigar medicamentos, crear vacunas y desarrollar tratamientos innovadores para enfermedades raras y comunes.
• Medios de comunicación y entretenimiento: crear animaciones, renderizar efectos especiales para películas, transcodificar archivos multimedia de gran tamaño y crear entretenimiento inmersivo.
• Petróleo y gas: realizar análisis espaciales y probar modelos de yacimientos para predecir dónde se encuentran los recursos de petróleo y gas, así como realizar simulaciones como el flujo de fluidos y los movimientos sísmicos.
• Sector minorista: analizar cantidades masivas de datos de clientes para proporcionar recomendaciones de productos más específicas y mejor servicio al cliente.

¿Dónde se realiza la HPC?

La HPC se puede realizar a nivel local, en la nube o en un modelo híbrido que involucra a ambos.

En una implementación de HPC a nivel local, una empresa o una institución de investigación crea un clúster de HPC cargado de servidores, soluciones de almacenamiento y otra infraestructura que se puede administrar y actualizar más adelante. En una implementación de HPC en la nube, un proveedor de servicios en la nube administra y gestiona la infraestructura, y las organizaciones la utilizan con un modelo Pay-As-You-Go.

Algunas organizaciones utilizan implementaciones híbridas, especialmente aquellas que ya invirtieron en una infraestructura local, pero que también quieren aprovechar la velocidad, la flexibilidad y el ahorro de costos de la nube. Pueden usar la nube para ejecutar algunas cargas de trabajo de HPC de forma continua y recurrir a los servicios en la nube según sea necesario, cuando el tiempo de espera se convierte en un problema a nivel local.

¿Cuáles son los desafíos de las implementaciones de HPC a nivel local?

Las organizaciones con entornos de HPC a nivel local tienen un gran control sobre sus operaciones, pero deben enfrentarse a varios desafíos, entre ellos:

• Invertir un capital importante en equipos informáticos, que deben actualizarse continuamente.
• Pagar por la administración continua y otros costos operativos.
• Sufrir un retraso (o tiempo de espera) de días a meses hasta que los usuarios puedan ejecutar su carga de trabajo de HPC, especialmente cuando aumenta la demanda.
• Posponer las actualizaciones a equipos informáticos más potentes y eficientes a causa de los largos ciclos de compra, lo que ralentiza el ritmo de la investigación y los negocios.

Las implementaciones de HPC basadas en la nube se están volviendo más populares, en parte debido a los costos y a otros desafíos de los entornos locales, y Market Research Future anticipa un crecimiento del 21 % del mercado mundial entre 2017 y 2023. Cuando las empresas ejecutan sus cargas de trabajo de HPC en la nube, pagan solo por lo que usan y pueden aumentarlas o disminuirlas rápidamente a medida que cambian sus necesidades.

Para ganar y retener clientes, los principales proveedores de la nube utilizan tecnologías de vanguardia, diseñadas específicamente para cargas de trabajo de HPC, por lo que no hay peligro de que se reduzca el rendimiento a medida que los equipos locales se vuelven obsoletos. Los proveedores de la nube ofrecen las CPU y GPU más nuevas y rápidas, así como almacenamiento flash de baja latencia, redes RDMA ultrarrápidas y seguridad de categoría empresarial. Los servicios están disponibles durante todo el día y cada día, con poco o incluso sin tiempo de espera.

HPC en la nube: ¿Qué se debe tener en cuenta al elegir un entorno de nube para HPC?

No todos los proveedores en la nube son iguales. Algunas nubes no están diseñadas para HPC y no pueden proporcionar un rendimiento óptimo durante los picos de las cargas de trabajo exigentes. Los cuatro rasgos que se deben tener en cuenta al seleccionar un proveedor de nube son:

• Rendimiento de vanguardia: el proveedor de nube debe tener y conservar las tecnologías de red, almacenamiento y procesadores más actuales. Se debe garantizar que ofrezcan una amplia capacidad y un rendimiento de gama alta que cumpla o supere el de las implementaciones locales habituales.
• Experiencia con HPC: el proveedor de nube que seleccione debe tener una amplia experiencia en la ejecución de cargas de trabajo de HPC para una variedad de clientes. Además, el servicio en la nube debería diseñarse para ofrecer un rendimiento óptimo incluso durante los períodos pico, como cuando se ejecutan múltiples simulaciones o modelos. En muchos casos, las instancias físicas ofrecen un rendimiento más uniforme y potente que las máquinas virtuales.
• Flexibilidad para el traslado de cargas: las cargas de trabajo de HPC deben ejecutarse de la misma manera en la nube que a nivel local. Tras mover cargas de trabajo a la nube “tal cual” mediante una operación de traslado de cargas, la simulación que ejecute la semana siguiente deberá producir un resultado coherente con la que realizó hace una década. Esto resulta extremadamente importante en industrias en las que se deban hacer comparaciones entre los diferentes años con los mismos datos y cálculos. Por ejemplo, los cálculos de aerodinámica, automóviles y química no han cambiado y los resultados tampoco pueden cambiar.
• Sin costos ocultos: los servicios en la nube generalmente se ofrecen en un modelo Pay-As-You-Go, así que asegúrese de comprender exactamente qué paga cada vez que utiliza el servicio. Muchos usuarios a menudo se sorprenden por el costo del movimiento de datos salientes o de la extracción. Puede que ya sepa que debe pagar por transacción y por las solicitudes de acceso a los datos, pero los costos de extracción se suelen pasar por alto.

¿Cuál es el futuro de la HPC?

Las empresas y las instituciones de varias industrias están recurriendo a HPC y están impulsando un crecimiento que se espera que continúe durante muchos años. Se espera que el mercado mundial de HPC crezca de los $31.000 millones en 2017 a los $50.000 millones en 2023. A medida que el rendimiento de la nube continúa mejorando y se vuelve aún más fiable y potente, se espera que gran parte de ese crecimiento se registre en implementaciones de HPC basadas en la nube, que evitan a las empresas tener que invertir millones en infraestructura de centros de datos, así como los costos relacionados.

En un futuro cercano, esperamos ver la convergencia de big data y HPC, con el mismo gran clúster de computadoras que se utiliza para analizar big data y ejecutar simulaciones y otras cargas de trabajo de HPC. A medida que esas dos tendencias converjan, el resultado será más potencia y capacidad de computación en cada una, lo que permitirá una investigación e innovación aún más revolucionarias.

i Earl Joseph, Steve Conway, Bob Sorensen, Alex Norton. Actualización de Hyperion Research: ISC19. https://hyperionresearch.com/wp-content/uploads/2019/06/Hyperion-Research-ISC19-Breakfast-Briefing-Presentation-June-2019.pdf

ii https://www.abnewswire.com/pressreleases/cloud-hpc-market-growing-swiftly-at-21-cagr-by-2023-cloud-high-performance-computing-market-forecast-by-component-service-deployment-industry-vertical_211149.html

iii https://www.businesswire.com/news/home/20181218005581/en/Global-High-performance-Computing-HPC-Market-2018-2023-Grow