Computación de alto rendimiento (HPC) se refiere a la práctica de agregar potencia de procesamiento de una manera que ofrece una potencia mucho mayor que las computadoras y los servidores tradicionales. HPC, o supercomputación, es similar a la informática habitual, pero más potente. Es una forma de procesar grandes volúmenes de datos a velocidades muy altas utilizando varias computadoras y dispositivos de almacenamiento como un tejido cohesivo. HPC permite explorar y encontrar respuestas a algunos de los mayores problemas del mundo en ciencia, ingeniería y negocios.
Hoy en día, la HPC se utiliza para resolver problemas complejos que requieren un alto rendimiento, y las organizaciones están trasladando cada vez más las cargas de trabajo de HPC a la nube . La HPC en la nube está cambiando la economía del desarrollo y la investigación de productos porque requiere menos prototipos, acelera las pruebas y reduce el tiempo de salida al mercado.
Algunas cargas de trabajo, como la secuenciación de ADN, son demasiado inmensas para procesarlas con una sola computadora. Los entornos de supercomputación o HPC abordan estos grandes y complejos desafíos con nodos individuales (computadoras) que trabajan juntos en un clúster (grupo conectado) y realizan tareas masivas de computación en un poco tiempo. A menudo, la creación y eliminación de estos clústeres se automatiza en la nube para reducir costos.
HPC se puede ejecutar con muchos tipos de cargas de trabajo, pero las dos más habituales son cargas de trabajo intrínsecamente paralelas y cargas de trabajo estrechamente acopladas.
Son problemas de computación divididos en tareas pequeñas, sencillas e independientes que se pueden ejecutar al mismo tiempo, a menudo con poca o ninguna comunicación entre ellos. Por ejemplo, una empresa puede enviar 100 millones de registros de tarjetas de crédito a núcleos de procesadores individual en un clúster de nodos. Procesar un registro de tarjeta de crédito es una tarea pequeña, y cuando se distribuyen 100 millones de registros en el clúster, esas pequeñas tareas se pueden realizar al mismo tiempo (en paralelo) a velocidades asombrosas. Los casos de uso comunes incluyen simulaciones de riesgo, modelado molecular, búsqueda contextual y simulaciones logísticas.
Por lo general, toman una gran carga de trabajo compartida y la dividen en tareas más pequeñas que se comunican continuamente. En otras palabras, los diferentes nodos del clúster se comunican entre sí a medida que se procesan. Los casos de uso comunes incluyen dinámica de fluidos computacional, modelado de pronóstico del tiempo, simulaciones de materiales, emulaciones de colisiones de automóviles, simulaciones geoespaciales y gestión del tráfico.
Durante décadas, HPC fue una parte fundamental de la investigación académica y la innovación industrial. HPC ayuda a los ingenieros, científicos de datos, diseñadores y otros investigadores a resolver problemas complejos y de gran envergadura en mucho menos tiempo y con un costo inferior que con la informática tradicional.
Las principales ventajas de HPC son:
Las empresas de Fortune 1000 de casi cualquier industria emplean HPC, y su popularidad está en aumento. Según Hyperion Research, se espera que el mercado mundial de HPC alcance los $44.000 millones en 2022.
A continuación, indicamos algunas industrias que utilizan HPC y los tipos de cargas de trabajo que HPC les ayuda a realizar:
La HPC se puede realizar a nivel local, en la nube o en un modelo híbrido que involucra a ambos.
En una implementación de HPC a nivel local, una empresa o una institución de investigación crea un clúster de HPC cargado de servidores, soluciones de almacenamiento y otra infraestructura que se puede administrar y actualizar más adelante. En una implementación de HPC en la nube, un proveedor de servicios en la nube administra y gestiona la infraestructura, y las organizaciones la utilizan con un modelo Pay-As-You-Go.
Algunas organizaciones utilizan implementaciones híbridas, especialmente aquellas que ya invirtieron en una infraestructura local, pero que también quieren aprovechar la velocidad, la flexibilidad y el ahorro de costos de la nube. Pueden usar la nube para ejecutar algunas cargas de trabajo de HPC de forma continua y recurrir a los servicios en la nube según sea necesario, cuando el tiempo de espera se convierte en un problema a nivel local.
Las organizaciones con entornos de HPC a nivel local tienen un gran control sobre sus operaciones, pero deben enfrentarse a varios desafíos, entre ellos:
Las implementaciones de HPC basadas en la nube se están volviendo más populares, en parte debido a los costos y a otros desafíos de los entornos locales, y Market Research Future anticipa un crecimiento del 21 % del mercado mundial entre 2017 y 2023. Cuando las empresas ejecutan sus cargas de trabajo de HPC en la nube, pagan solo por lo que usan y pueden aumentarlas o disminuirlas rápidamente a medida que cambian sus necesidades.
Para ganar y retener clientes, los principales proveedores de la nube utilizan tecnologías de vanguardia, diseñadas específicamente para cargas de trabajo de HPC, por lo que no hay peligro de que se reduzca el rendimiento a medida que los equipos locales se vuelven obsoletos. Los proveedores de la nube ofrecen las CPU y GPU más nuevas y rápidas, así como almacenamiento flash de baja latencia, redes RDMA ultrarrápidas y seguridad de categoría empresarial. Los servicios están disponibles durante todo el día y cada día, con poco o incluso sin tiempo de espera.
No todos los proveedores en la nube son iguales. Algunas nubes no están diseñadas para HPC y no pueden proporcionar un rendimiento óptimo durante los picos de las cargas de trabajo exigentes. Los cuatro rasgos que se deben tener en cuenta al seleccionar un proveedor de nube son:
Generalmente, es mejor buscar servicios en la nube físicos que ofrezcan más control y rendimiento. Combinado con redes de clústeres RDMA, la HPC física proporciona resultados idénticos a los que se obtienen con un hardware similar local.
Las empresas y las instituciones de varias industrias están recurriendo a HPC y están impulsando un crecimiento que se espera que continúe durante muchos años. Se espera que el mercado mundial de HPC crezca de los $31.000 millones en 2017 a los $50.000 millones en 2023. A medida que el rendimiento de la nube continúa mejorando y se vuelve aún más fiable y potente, se espera que gran parte de ese crecimiento se registre en implementaciones de HPC basadas en la nube, que evitan a las empresas tener que invertir millones en infraestructura de centros de datos, así como los costos relacionados.
En un futuro cercano, esperamos ver la convergencia de big data y HPC, con el mismo gran clúster de computadoras que se utiliza para analizar big data y ejecutar simulaciones y otras cargas de trabajo de HPC. A medida que esas dos tendencias converjan, el resultado será más potencia y capacidad de computación en cada una, lo que permitirá una investigación e innovación aún más revolucionarias.
i Earl Joseph, Steve Conway, Bob Sorensen, Alex Norton. Actualización de Hyperion Research: ISC19. https://hyperionresearch.com/wp-content/uploads/2019/06/Hyperion-Research-ISC19-Breakfast-Briefing-Presentation-June-2019.pdf