高性能计算 (HPC) 是指通过聚合计算能力来提供比传统计算机和服务器更强大的计算性能。高性能计算 (HPC) 或超级计算和日常计算一样,区别只在于它的计算能力更强大。它能够通过聚合结构,使用多台计算机和存储设备,以极高速度处理大量数据,帮助人们探索科学、工程及商业领域中的一些世界级的重大难题。
如今,HPC 用于解决复杂的性能密集型问题,而且越来越多的企业开始将 HPC 负载迁移至云端。云端 HPC 正在改变产品开发和研究的经济性,因为它需要更少的原型,有助于加速测试,缩短上市时间。
在实际应用中,有一些负载(例如 DNA 测序)对于任何一台计算机来说都过于庞大。对此,HPC 或超级计算环境可以使多个节点(计算机)以集群(互联组)的形式协同作业,在短时间内执行海量计算,从容应对这些规模庞大而又极其复杂的负载挑战。此外,由于支持在云端自动创建和删除集群,HPC 还能有效降低负载成本。
HPC 支持多种类型的负载,其中最常见的两种负载是并行负载和紧密耦合负载。
并行负载指被细分为多个小型、简单、独立任务的计算问题,这些任务可以同时运行,通常相互之间几乎没有通信。例如,一家企业可能向某节点集群中的各个处理器核心提交了 1 亿条信用卡记录。其中,处理一条信用卡记录即是一项小任务,当 1 亿条记录分布在整个集群上时,1 亿个小任务就能以惊人的速度同时(并行)执行。并行负载的常见使用场景包括风险模拟、分子建模、上下文搜索和物流模拟。
紧密耦合负载通常占用较多的共享资源,并分解为相互之间持续通信的小任务。换言之,集群中的各个节点在执行处理时会相互通信。紧密耦合负载的常见使用场景包括计算流体动力学、天气预报建模、材料模拟、汽车碰撞仿真、地理空间模拟和交通管理。
数十年来,HPC 一直在学术研究和行业创新中扮演着重要角色。它帮助工程师、数据科学家、设计师和其他研究人员更经济、更高效地解决了许多大型复杂问题。
HPC 的主要优势包括
如今 HPC 越来越流行,几乎每一个行业的财富 1000 强企业都在使用 HPC。据 Hyperion Research 数据显示,2022 年全球 HPC 市场规模预计将达到 440 亿美元。
以下是 HPC 在一些行业中的应用以及相应的 HPC 负载类型:
HPC 可以在本地、云端或混合模式下运行。
在本地 HPC 部署下,企业和研究机构可构建一个由服务器、存储解决方案和其他基础设施构成的 HPC 集群,并自行管理和升级。在云端 HPC 部署下,云服务提供商负责管理基础设施,企业和研究机构可以直接使用并按用量付费。
另外,一些企业会选择混合部署模式,尤其是已经投资购置了本地基础设施,但又希望获得云部署的速度、灵活性和成本节省优势的企业。当本地部署中的排队时间过长时,它们就会使用云来运行 HPC 负载,按需使用云服务。
本地部署模式下,企业可以全面掌控 HPC 运行,但同时也面临一些挑战,包括:
由于本地部署的高昂成本和许多其他挑战,云端 HPC 部署正日益普及。Market Research Future 预计,全球云服务市场在 2017 年到 2023 年间将以 21% 的速度增长。在云端运行 HPC 负载时,企业不仅只需为实际使用的资源付费,而且还可以按需扩展或收缩。
很多云提供商专门为 HPC 负载构建技术解决方案,以避免本地 HPC 设备老化带来的性能下降。它们提供最新、最快的 CPU 和 GPU、低延迟闪存存储、高速 RDMA 网络、企业级安全性以及全天候服务可用性,确保最大限度降低甚至消除排队时间。
目前市场上各个云提供商的实力不尽相同,某些云并非专为 HPC 而设计,无法在负载高峰期提供最佳性能。因此,在选择云提供商时,请重点考察以下 4 点:
要想实现最佳 HPC 结果,请选择能够提供更高控制力和性能的裸金属云服务。与 RDMA 集群网络相结合,裸金属 HPC 可实现与本地硬件不相上下的卓越效果。
如今很多行业的企业和机构纷纷开始采用 HPC 来推动业务增长,这一趋势预计将持续多年。到 2023 年,全球 HPC 市场预计将从 2017 年的 310 亿美元增长至 500 亿美元。其中,大部分增长将来自云端 HPC 部署。得益于云性能的持续发展,云将变得更可靠、更强大,云端 HPC 部署将让企业无需投入数百万美元的数据中心基础设施和相关成本。
此外,在不久的将来,HPC 有望与大数据融合,即通过同一大规模计算机集群来分析大数据,运行模拟和其他 HPC 负载。而随着这两种趋势的融合,HPC 的计算能力和容量将变得更加强大,将更有力地推进更具突破性的研究和创新。
i Earl Joseph, Steve Conway, Bob Sorensen, Alex Norton.Hyperion 研究更新:ISC19. https://hyperionresearch.com/wp-content/uploads/2019/06/Hyperion-Research-ISC19-Breakfast-Briefing-Presentation-June-2019.pdf