高效能運算 (HPC) 是指以比傳統計算機和伺服器提供更強大方式彙整運算能力的做法。HPC 或超級運算就像日常運算一樣,只會變得更強大。它是一種使用多台電腦和儲存裝置當做有凝聚力的結構,以極高的速度處理大量資料的方法。HPC 讓您能夠探索和尋找全世界的科學、工程和商業領域中的一些最重要問題的解答。
今天,HPC 能用來解決複雜且效能密集類的問題——並且組織越來越多都將HPC 工作負載移轉到雲端。雲端中的 HPC 正在改變產品開發和研究的經濟效益,因為它需要更少原型、加速測試的需求並縮短上市時間。
某些工作負載 (例如 DNA 定序) 太龐大了,任何一台電腦都無法處理。HPC 或超級運算環境包含一起在叢集 (連線群組) 內運作的個別節點 (電腦),可在短時間內執行極大量的運算,所以可以對付這些巨大且複雜的挑戰。建立及移除這些叢集的工作通常會在雲端自動執行,以降低成本。
HPC 可以在多種工作負載上執行,但最常見的兩種為窘迫的並行工作負載和緊密耦合的工作負載。
指的是分為多個小型、簡單且獨立任務的運算問題,這些任務可以同時執行,且彼此之間通常很少溝通或沒有任何溝通。例如,一家公司可能會提交 1 億筆信用卡記錄給節點叢集內的個別處理器核心。處理一筆信用卡記錄是一件小任務,但是當 1 億筆記錄分佈在整個叢集中時,這些小任務會以驚人的速度同時 (並行) 執行。常見的使用案例包括風險模擬、分子建模、內容相關式搜尋和物流模擬。
通常會接下大量的共用工作負載,並將其分成可持續溝通的多個較小任務。換句話說,叢集中的不同節點在執行各自的處理工作時會互相溝通。常見的使用案例包括計算流體力學、天氣預報建模、材料模擬、汽車碰撞模擬、地理空間模擬和交通管理。
在過去幾十年來,HPC 一直是學術研究和產業創新的關鍵部分。HPC 幫助工程師、資料科學家、設計師和其他研究人員解決龐大又複雜的問題,而且所花的時間和成本遠低於傳統運算。
HPC 的主要優點如下:
幾乎每個產業的《財富》雜誌前 1000 大公司都在運用 HPC,而且它越來越受歡迎。根據 Hyperion Research 的預測,到了 2022 年,全球 HPC 市場商機預計將達到 440 億美元。
以下列出一些使用 HPC 的產業以及 HPC 正在協助這些產業執行的工作負載類型:
HPC 可以在內部部署、雲端或是涉及這兩者的混合式環境中執行。
在內部 HPC 部署中,企業或研究機構會建置 HPC 叢集,其中包括他們在一段時間內負責管理和升級的伺服器、儲存解決方案及其他基礎架構。在雲端 HPC 部署中,雲端服務供應商負責管理此基礎架構,組織則依照隨用隨付模式來使用它。
某些組織使用混合式部署,尤其是那些已投資於內部部署基礎架構,但又想要利用雲端的速度、靈活性和成本節省效益的組織。他們可以持續使用雲端來執行某些 HPC 工作負載,每當排隊時間成為內部部署的問題時,就可以臨時轉向雲端服務。
擁有內部部署 HPC 環境的組織對其營運擁有很大的控制權,但他們必須面對幾個挑戰,其中包括
部分原因是因為內部部署環境面臨成本和其他挑戰,所以雲端式 HPC 部署變得越來越受歡迎,根據 Market Research Future 的預測,這個全球市場從 2017 年到 2023 年將會成長 21%。當企業在雲端執行其 HPC 工作負載時,他們只需針對自己使用的部分付費,而且可以隨著需求的改變來快速增加或減少。
為了贏得並留住客戶,頂級雲端供應商會維護專門針對 HPC 工作負載所建構的尖端技術,所以不會面臨隨著內部部署設備的老化而降低效能的風險。雲端供應商會提供最新且最快的 CPU 和 GPU,以及低延遲的快閃儲存裝置、快如閃電的 RDMA 網路和企業級安全。這些服務全天候都可使用,且幾乎不太需要排隊。
不是所有的雲端供應商都一樣。某些雲端並不是專為 HPC 所設計,所以在要求高的工作負載的高峰期間無法提供最佳效能。在選取雲端供應商時,應該考量的四個特性如下
一般而言,最好尋找可提供更高控制能力和效能的裸機雲端服務。當裸機 HPC 結合 RDMA 叢集網路時,提供的結果與您在內部部署使用類似硬體的結果相同。
跨多個產業的企業和機構正在轉向 HPC,進而推動成長,這樣的成長趨勢預計將持續多年。全球 HPC 市值預計將從 2017 年的 310 億美元成長到 2023 年的 500 億美元。隨著雲端效能持續提高並且變得越來越可靠和強大,預計大部分的成長會來自於雲端式 HPC 部署,這種部署讓企業不需要投資數百萬美元的資料中心基礎架構和相關的成本。
在不久的將來,我們預期會看到大數據與 HPC 融合在一起,並使用相同的大型電腦叢集來分析大數據以及執行模擬和其他 HPC 工作負載。隨著這兩種趨勢的融合,結果將會是每種趨勢都帶來更高的運算能力和容量,進而產生更多具有開創性的研究和創新。
i Earl Joseph、Steve Conway、Bob Sorensen、Alex Norton。Hyperion Research 更新:ISC19. https://hyperionresearch.com/wp-content/uploads/2019/06/Hyperion-Research-ISC19-Breakfast-Briefing-Presentation-June-2019.pdf