Was ist High Performance Computing (HPC)?
High Performance Computing (HPC) bezieht sich auf die Praxis, Rechenleistung auf eine Weise zu aggregieren, die eine viel höhere Leistungsfähigkeit als herkömmliche Computer und Server liefert. HPC oder Supercomputing ist wie alltägliches Computing – nur leistungsfähiger. Es handelt sich dabei um eine Methode, große Datenmengen mit sehr hoher Geschwindigkeit zu verarbeiten, indem man mehrere Computer und Storage-Geräte als zusammenhängende Struktur verwendet. HPC ermöglicht es, einige der weltweit größten Probleme in Wissenschaft, Technik und Wirtschaft zu untersuchen und Antworten darauf zu finden.
Heutzutage wird HPC verwendet, um komplexe, leistungsintensive Probleme zu lösen – und Unternehmen verlagern zunehmend HPC-Workloads in die Cloud. HPC in der Cloud verändert die Wirtschaftlichkeit von Produktentwicklung und -forschung, da es weniger Prototypen erfordert, Tests beschleunigt und die Markteinführungszeit verkürzt.
Wie funktioniert HPC?
Einige Workloads, wie z. B. die DNA-Sequenzierung, sind einfach zu groß, als dass ein einzelner Computer sie verarbeiten könnte. HPC- oder Supercomputing-Umgebungen bewältigen diese großen und komplexen Herausforderungen, durch die Zusammenarbeit einzelner Knoten (Computer) in einem Cluster (verbundene Gruppe), sodass in kurzer Zeit große Rechenmengen ausgeführt werden können. Das Erstellen und Entfernen dieser Cluster wird häufig in der Cloud automatisiert, um die Kosten zu senken.
HPC kann bei vielen Arten von Workloads ausgeführt werden. Die beiden häufigsten sind jedoch „Embarrassingly Parallel“ und eng gekoppelte Workloads.
Unvorteilhaft parallele Workloads
Hier sprechen wir von Rechenproblemen, die in kleine, einfache und unabhängige Aufgaben unterteilt sind und die gleichzeitig ausgeführt werden können, wobei häufig nur wenig oder gar keine Kommunikation zwischen ihnen besteht. Beispielsweise kann ein Unternehmen 100 Millionen Kreditkartendatensätze an einzelne Prozessorkerne in einem Cluster von Knoten senden. Die Verarbeitung eines einzelnen Kreditkartendatensatzes ist eine kleine Aufgabe. Wenn 100 Millionen Datensätze über das Cluster verteilt sind, können diese kleinen Aufgaben gleichzeitig (parallel) mit erstaunlicher Geschwindigkeit ausgeführt werden. Häufige Anwendungsfälle beinhalten Risikosimulationen, molekulare Modellierungen, kontextbezogene Suchen und Logistiksimulationen.
Eng gekoppelte Workloads
Hier handelt es sich normalerweise um einen großen gemeinsamen Workload, der in kleinere Aufgaben aufgeteilt wird, welche kontinuierlich miteinander kommunizieren. Anders ausgedrückt: die verschiedenen Knoten im Cluster kommunizieren miteinander, während sie ihre Verarbeitung ausführen. Häufige Anwendungsfälle sind rechnergestützte Fluiddynamik, Modellierungen zur Wettervorhersage, Materialsimulationen, Emulationen von Automobilkollisionen, räumliche Simulationen und das Verkehrsmanagement.
Warum ist HPC so wichtig?
HPC ist seit Jahrzehnten ein wichtiger Bestandteil der akademischen Forschung und von Innovationen in der Industrie. HPC unterstützt Ingenieure, Datenwissenschaftler, Designer und andere Forscher bei der Lösung großer, komplexer Probleme. Und das in viel kürzerer Zeit und zu geringeren Kosten als dies mit herkömmlichen Computern möglich wäre.
Die Hauptvorteile von HPC sind:
- Weniger physische Tests: Mit HPC können Simulationen erstellt werden, sodass keine physischen Tests mehr erforderlich sind. Bei Tests in Bezug auf Autounfälle ist es beispielsweise wesentlich einfacher und kostengünstiger, eine Simulation zu erstellen, als einen Crashtest durchzuführen.
- Geschwindigkeit: Mit den neuesten CPUs, Grafikprozessoren (GPUs) und Netzwerkstrukturen mit geringer Latenz wie Remote Direct Memory Access (RDMA) in Verbindung mit All-Flash-Lokal- und Block-Storage-Geräten kann das HPC umfangreiche Berechnungen innerhalb von Minuten statt Wochen oder Monaten durchführen.
- Kosten: Schnellere Antworten bedeuten weniger Zeit- und Geldverschwendung. Auch kleine Unternehmen und Startups können es sich über cloudbasiertes HPC leisten, HPC-Workloads auszuführen. Dabei zahlen sie nur für das, was sie verwenden, und können bei Bedarf nach oben oder unten skalieren.
- Innovation: HPC ermöglicht Innovationen in nahezu allen Branchen – es ist die Kraft hinter bahnbrechenden wissenschaftlichen Entdeckungen, die die Lebensqualität von Menschen auf der ganzen Welt verbessern.
HPC-Anwendungsfall – In welchen Branchen wird High Performance Computing eingesetzt?
HPC wird von Fortune 1000-Unternehmen in nahezu allen Branchen verwendet. Und seine Beliebtheit nimmt stetig zu. Laut einer Hyperion-Studie wird der weltweite HPC-Markt bis 2022 voraussichtlich ein Volumen von 44 Milliarden US-Dollar erreichen.
Im Folgenden sind einige Branchen aufgeführt, in denen HPC verwendet wird sowie die Arten von Workloads für deren Ausführung sie HPC einsetzen:
- Luft- und Raumfahrt: Erstellen komplexer Simulationen, z. B. dem Luftstrom über den Flügeln von Flugzeugen.
- Fertigung: Durchführung von Simulationen wie z. B. für autonomes Fahren, um das Design, die Herstellung und das Testen neuer Produkte zu unterstützen – das Ziel dabei sind sicherere Autos, leichtere Werkstücke, effizientere Prozesse und Innovationen.
- Finanztechnologie (Fintech): Ausführung komplexer Risikoanalysen, Hochfrequenzhandel, Finanzmodellierung und Betrugserkennung.
- Genomforschung: Sequenzierung von DNA, Analyse von Arzneimittelwechselwirkungen und Durchführung von Proteinanalysen im Rahmen von Abstammungsstudien.
- Gesundheitswesen: Erforschung von Medikamenten, Herstellung von Impfstoffen und Entwicklung innovativer Therapien für seltene und häufige Krankheiten.
- Medien und Unterhaltung: Erstellen von Animationen, Rendern von Spezialeffekten für Filme, Transkodierung großer Mediendateien und die Produktion mitreißender Unterhaltung.
- Öl und Gas: Durchführen räumlicher Analysen und Testen von Reservoirmodellen, um vorherzusagen, wo sich Öl- und Gasressourcen befinden, sowie das Ausführen von Simulationen wie Flüssigkeitsströme und seismischer Analysen.
- Einzelhandel: Analyse großer Mengen von Kundendaten, um gezieltere Produktempfehlungen und einen besseren Kundenservice bereitzustellen.
Wo wird HPC durchgeführt?
HPC kann On-Premises, in der Cloud oder in einem Hybridmodell durchgeführt werden, das Komponenten von beidem beinhaltet.
In einer On-Premise-HPC-Bereitstellung erstellt ein Unternehmen oder eine Forschungseinrichtung ein HPC-Cluster voller Server, Storage-Lösungen und anderer Infrastruktur, das im Laufe der Zeit verwaltet und aufgerüstet wird. In einer Cloud-HPC-Bereitstellung stellt ein Cloud Service Provider die Infrastruktur bereit und verwaltet sie. Unternehmen verwenden sie dann im Rahmen eines Pay-as-you-Go-Modells.
Einige Unternehmen nutzen Hybridbereitstellungen, insbesondere solche, die in eine On-Premise-Infrastruktur investiert haben, aber auch von der Geschwindigkeit, Flexibilität und den Kosteneinsparungen der Cloud profitieren möchten. Sie können in der Cloud einige HPC-Workloads fortlaufend ausführen und spontan Cloud-Services nutzen, wenn die Wartezeiten On-Premise zu einem Problem werden.
Was sind die Herausforderungen bei On-Premise-HPC-Bereitstellungen?
Unternehmen mit On-Premise-HPC-Umgebungen sichern sich ein großes Ausmaß an Kontrolle über ihre Abläufe. Aber sie müssen sich auch mit mehreren Problemen abfinden, wie etwa:
- Die Investition von erheblichem Kapital für Computer-Equipment, das kontinuierlich aktualisiert werden muss
- Der Bezahlung der laufenden Verwaltungs- und sonstigen Betriebskosten
- Verzögerungen oder Wartezeiten von Tagen bis Monaten, bevor Nutzer ihre HPC-Workload ausführen können, insbesondere wenn der Bedarf steigt
- Verschieben von Aufrüstungen auf leistungsfähigeres und effizienteres Computer-Equipment aufgrund langer Kaufzyklen, was den Fortschritt bei Forschung und Geschäftsentwicklung bremst
Teilweise aufgrund der Kosten und anderer Herausforderungen von On-Premise-Umgebungen werden cloudbasierte HPC-Bereitstellungen immer beliebter, wobei Market Research Future von 2017 bis 2023 ein weltweites Marktwachstum von 21 % erwartet. Wenn Unternehmen ihre HPC-Workloads in der Cloud ausführen, zahlen sie nur für das, was sie nutzen, und können schnell aufstocken bzw. reduzieren, wenn sich ihre Anforderungen ändern.
Um Kunden zu gewinnen und zu binden, bieten führende Cloud-Provider Spitzentechnologien an, die speziell auf HPC-Workloads ausgelegt wurden. Daher besteht keine Gefahr einer Leistungsminderung wie beim Veralten von On-Premise-Equipment. Cloud-Anbieter stellen die neuesten und schnellsten CPUs und GPUs sowie Flash-Storage mit geringer Latenz, blitzschnelle RDMA-Netzwerke und Sicherheit der Enterprise-Klasse zur Verfügung. Die Dienste sind täglich rund um die Uhr mit geringer oder gar keiner Wartezeit verfügbar.
HPC Cloud – Was sind die wichtigsten Überlegungen bei der Auswahl einer Cloud-Umgebung?
Nicht alle Cloud-Anbieter sind gleich. Einige Clouds sind nicht für das HPC ausgelegt und können während der Spitzenzeiten mit hohen Arbeitslasten keine optimale Leistung gewährleisten. Die vier Merkmale, die bei der Auswahl eines Cloud-Providers berücksichtigt werden sollten, sind:
- Spitzenleistung: Ihr Cloud-Provider sollte stets die neueste Generation von Prozessoren, Storage und Netzwerktechnologien bereitstellen können. Stellen Sie sicher, dass er eine umfassende Kapazität und höchstmögliche Leistung bietet, die der einer typischen On-Premise-Bereitstellung entspricht oder diese übertrifft.
- Erfahrung mit HPC: Der von Ihnen ausgewählte Cloud-Provider sollte über fundierte Erfahrung beim Ausführen von HPC-Workloads für eine Vielzahl von Kunden verfügen. Darüber hinaus sollte sein Cloud-Service darauf ausgelegt sein, auch in Spitzenzeiten, z. B. wenn mehrere Simulationen oder Modelle ausgeführt werden, eine optimale Leistung zu liefern. In vielen Fällen bieten Bare Metal-Computerinstanzen im Vergleich zu virtuellen Maschinen eine konsistentere und höhere Leistung.
- Flexibilität zum Verschieben: Ihre HPC-Workloads müssen in der Cloud genauso ausführbar sein wie On-Premise. Nachdem Sie Workloads in ihrem Ist-Zustand in die Cloud verschoben haben, muss die Simulation, die Sie nächste Woche ausführen, ein Ergebnis liefern, das konsistent mit der Simulation ist, die Sie vor einem Jahrzehnt durchgeführt haben. Dies ist äußerst wichtig in Branchen, in denen jährliche Vergleiche mit denselben Daten und Berechnungen durchgeführt werden müssen. Beispielsweise haben sich die Berechnungen für die Aerodynamik, bei Automobilen und in der chemischen Industrie nicht geändert. Deshalb dürfen sich auch die Ergebnisse nicht ändern.
- Keine versteckten Kosten: Cloud-Services werden üblicherweise im Rahmen eines Pay-as-you-Go-Modells angeboten. Stellen Sie also sicher, dass Sie genau verstehen, was Sie bei jeder Nutzung des Services bezahlen müssen. Viele Benutzer sind häufig von den Kosten für die Verschiebung ausgehender Daten überrascht. Sie wissen vielleicht, dass Sie pro Transaktion und für Datenzugriffsanforderungen zahlen müssen. Aber die Kosten für den Datenausgang werden oft übersehen.
Die Ergebnisse, die Sie erwarten
Im Allgemeinen ist es am besten, sich für Bare Metal-Cloud-Services zu entscheiden, die mehr Kontrolle und Leistung bieten. In Kombination mit RDMA-Cluster-Netzwerken bietet Bare Metal-HPC identische Ergebnisse zu denen vergleichbarer On-Premise-Hardware.
Wie sieht die Zukunft von HPC aus?
Unternehmen und Institutionen verschiedenster Branchen vertrauen auf HPC, um das Wachstum voranzutreiben, von dem erwartet wird, dass es voraussichtlich noch viele Jahre andauern wird. Der globale HPC-Markt wird voraussichtlich von 31 Milliarden US-Dollar im Jahr 2017 auf 50 Milliarden US-Dollar im Jahr 2023 anwachsen. Da sich die Cloud-Leistung weiter verbessert und noch zuverlässiger und leistungsfähiger wird, wird erwartet, dass ein Großteil dieses Wachstums bei cloudbasierten HPC-Bereitstellungen erfolgt, die Unternehmen von der Notwendigkeit entlasten, Millionen in eine Rechenzentrumsinfrastruktur und die damit verbundenen Aufwendungen zu investieren.
Für die nahe Zukunft wird eine Konvergenz von Big Data und HPC erwartet, bei der dasselbe große Computer-Cluster verwendet wird, um Big Data-Analysen durchzuführen und Simulationen oder andere HPC-Workloads auszuführen. Wenn diese beiden Trends konvergieren, wird sich daraus für jede der beiden Anwendungen noch mehr Rechenleistung und Kapazität ergeben. Dadurch werden künftig noch bahnbrechendere Forschungen und Innovationen möglich.
i Earl Joseph, Steve Conway, Bob Sorensen, Alex Norton. Aktualisierung zur Hyperion-Studie: ISC19. https://hyperionresearch.com/wp-content/uploads/2019/06/Hyperion-Research-ISC19-Breakfast-Briefing-Presentation-June-2019.pdf