Oracle Cloud Infrastructure HPC File Systems (HFS)

Hochleistungsdateisysteme unterstützen Workloads, bei denen Daten mit besonders hohen Durchsatzraten gelesen und geschrieben werden müssen. OCI HPC File Systems (HFS) sind auf Oracle Cloud Marketplace verfügbar und ermöglichen die einfache Bereitstellung zahlreicher branchenführender, leistungsstarker Dateiserver. Mit nur drei Klicks verfügen Kunden dabei über einen betriebsbereiten Dateiserver im Petabereich mit einem zweistelligen Gigabyte-Durchsatz.

Bereitstellung dieser HFS-Lösungen

Wen Sie diese HFS-Lösungen bereitstellen, können Sie die Anforderungen für Ihr Dateisystem festlegen, einschließlich:

  • Typ (ganz neu oder persistent)
  • Workload-Typ (kleine, gemischte oder große Dateien)
  • Dateisystemgröße (Anzahl der Dateiserver und Speicherkapazität)

Wenn Sie diese Parameter festlegen, wendet die HFS Marketplace-Lösung Standardparameter an, um die Komplexität für die Kunden sowie die Bereitstellungszeit zu reduzieren. Wenn Sie zum Beispiel ein ganz neues Dateisystem erstellen, wird der lokale NVMe-Speicher ausgewählt. In ähnlicher Weise werden bei gemischten oder kleinen Datei-Workloads die Metadaten angepasst. Dateisysteme können in weniger als 15 Minuten einsatzbereit sein.

Mithilfe der HFS Marketplace-Lösung können mit nur wenigen Klicks BeeGFS, Lustre und GlusterFS bereitgestellt werden.

Bereitstellung von HPC-Dateisystemen

Anpassbare HFS-Optionen

Für Benutzer, die für eine komplexe Bereitstellung eine maximale Konfigurierbarkeit benötigen, bieten wir auch Oracle Cloud Marketplace Stacks (Webbasierte GUI) und Terraform-basierte Oracle Vorlagen für die schnelle Bereitstellung auf Github an. Passen Sie einfach die Terraform-Vorlagen oder Marketplace Stacks so an, dass sie Ihren Anforderungen entsprechen und starten Sie sie über Resource Manager.

Vorteile von HFS auf OCI HPC

Diese Shared File Storage-Lösungen wurden auf Oracle Cloud Infrastructure erstellt und bieten einen hohen Durchsatz sowie eine konsistente, geringe Latenz zur Unterstützung leistungsstarker Workloads.

Schnell

Erreichen Sie einen Dateidurchsatz von bis zu 500 GB/s Aggregatdurchsatz mithilfe angehängter HPC-Bare Metal-Compute-Instanzen mit lokalem NVMe und einem 100-Gbit/s-Clusternetzwerk, das eine geringe Latenz gewährleistet.

Benutzerfreundlich

Mit nur wenigen Mausklicks können Sie schnell und einfach Standardkonfigurationen bereitstellen.

Alles, was Sie brauchen

Die Komplettlösungen auf der Basis von Terraform-Skripten beinhalten alles, um POSIX-konformes Lustre, GlusterFS oder BeeGFS schnell und einfach bereitzustellen.

Kostengünstig

On-Premise-Dateiservercluster erfordern hohe Kapitalinvestitionen. Oracle Cloud hingegen kann elastisch skalieren, um Speicher- und Performanceanforderungen von bis zu 500 GB pro Sekunde zu erfüllen.

Anwendungsfälle

Die vorkonfigurierten Umgebungen von Oracle haben ihre Nützlichkeit schon in vielen Branchen bei zahlreichen Anwendungen unter Beweis gestellt. Dazu gehören:

  • Die Datenmigration in die Cloud

    HFS kann dazu verwendet werden, ein POSIX-Dateisystem zu erstellen, auf das von On-Premises-Compute-Knoten zugegriffen werden kann. Dabei werden native Dateisystem-Clients, NFSv3/NFSv4 oder SMB verwendet, um Daten in Oracle Cloud zu migrieren.

  • Maschinenbau und wissenschaftliches Computing

    HPC-Workloads für Crash-Simulationen, Computational Fluid Dynamics (CFD) und die computerbasierte Chemie erfordern immense Mengen an Trainingsdaten und verwenden oft Shared File Storage, um die gleichzeitige Verarbeitung von Datasets zu unterstützen.

  • Künstliche Intelligenz und maschinelles Lernen (ML)

    Datasets für KI- und ML-Workloads sind groß. Deshalb muss der Dateispeicher für das Training und die Validierung sehr schnell enorme Datenmengen über verschiedene Modelle gleichzeitig bereitstellen. OCI unterstützt WEKA, Lustre, GlusterFS und mehr.

  • Medienverarbeitung und -transcodierung

    Workflows für die Verarbeitung von Mediendaten wie das Video-Rendering, visuelle Effekte und die Medienproduktion benötigen die Compute- und Speicherressourcen, um die Erstellung enormer Mengen an Videodateien aus großen Ressourcen-Datasets zu bewältigen.

  • Big Data und Finanzanalysen

    Anwendungsfälle von Big Data-Analysen, einschließlich Betrugserkennung und Finanzanalysen, erzeugen enorme Datenmengen, die einen leistungsstarken Speicher benötigen, um datenintensive Anwendungen zu unterstützen.

„Oracle Cloud ist der einzige führende Cloud-Anbieter, der Spectrum Scale in einer Shared Storage-Architektur auf einer Bare Metal-Hardware anbietet. Das Oracle Angebot wurde auf die Anforderungen von HPC und Big-Data-Analysen abgestimmt und bietet Leistungsvorteile gegenüber virtualisierten Cloud-Angeboten sowie eine bessere Flexibilität, Skalierbarkeit und Verwaltbarkeit.“

Michael Sedlmayer Präsident, Re-Store

„Mein Team hat SAS Grid auf vielen Public Clouds getestet. Wir freuen uns, sagen zu können, dass die Infrastruktur der Oracle Cloud den E/A-Durchsatz für das gemeinsam genutzte IBM Spectrum Scale-Dateisystem bietet, der für SAS Grid benötigt wird.“

Margaret Crevar leitende Managerin, SAS Performance Lab, SAS

„Die grafische Benutzeroberfläche des OCI HPC File Systems (HFS) sowie dessen Workflow für die Dateisystembereitstellung sind auf Kundenanwendungsfälle (ganz neuer oder persistenter Speicherplatz, große, gemischte oder kleine Datei-Workloads usw.) ausgelegt und nicht so technologiezentriert. Dadurch werden die Hindernisse zur schnellen Bereitstellung eines parallelen Dateisystems wie BeeGFS auf Oracle Cloud reduziert. Oracle Cloud bietet Infrastrukturressourcen wie ein 100-Gbit/s-RDMA RoCEv2 Cluster-Netzwerk, Multi-Attach Shared Block Volume Service, lokale an Compute- und Bare-Metal-Compute-Ausprägungen angeschlossene NVMe SSDs, um BeeGFS in vielen verschiedenen Konfigurationen und einen dreistelligen Giga-Byte-Durchsatz (500 GB/s) bereitzustellen – und das alles zu einem geringeren Preis als andere Public Clouds.“

Howard Weiss Gründer und Geschäftsführer, Pacific Teck

„Dank der Bare Metal-Computing- und Cluster-Netzwerktechnik von Oracle konnte BeeGFS in Oracle Cloud die Leistung (Latenz und E/A-Durchsatz) unseres On-Premise-HPC-Dateisystems für MPAS-Workloads übertreffen – und das zu einem sehr niedrigen Preis. Durch Verwendung des RDMA-Cluster-Netzwerks von Oracle Cloud erzielt BeeGFS mit nur 14 Servern eine Performance von bis zu 140 GB/s.“

Simon Ponsford CTO, YellowDog

„Die OCI-Lösung für ein paralleles Dateisystem, bei der BeeGFS 100-Gbit/s-RoCEv2 und lokalen NVMe-Speicher verwendet, erzielte, je nach geschriebenem Dateityp, einen ähnlichen oder gar besseren E/A-Schreibdurchsatz als ein NVMe-Speicher auf Lustre-Basis auf einem herkömmlichen DiRAC HPC-System für die SWIFT-Benchmark für kosmologische Anwendungen. Bei Snapshot-Dateien von 370 GB erzielte OCI 6,2 GB/s und Lustre 7,0 GB/s. Bei Neustart-Dateien mit 994 GB erzielte OCI 70 GB/s und Lustre 29,2 GB/s.“

Andrew Turner Technischer Manager DiRAC, EPCC, University of Edinburgh

HPC-Dateisystem auf OCI – Funktionsvergleich

Funktionen BeeGFS GlusterFS IBM Spectrum Scale Lustre
Lizenztyp Open Source und kommerziell lizenziert für Unternehmensfunktionen Open Source Kommerziell lizenziert Open Source
Skalierbar – Leistung und Performance Ja Ja Ja Ja
Replikation Ja* Ja Ja Ja
High Availability Ja Ja Ja Ja
Speicherungs-Tiering Ja* Nein, experimentell Ja Ja
POSIX Ja Ja Ja Ja
NFS-Version v4 v3, v4 v3, v4 v3, v4
Server Message Block (SMB) Ja Ja Ja Nein
RDMA-Unterstützung Ja Nein Ja, Erasure Edition Nein
Dateisystemunterstützung SI und Community Community SI SI und Community
Bereitstellung HFS, Oracle Quickstart HFS, Oracle Quickstart Oracle Quickstart HFS, Oracle Quickstart

* – Unternehmensfunktion, verfügbar bei kommerziell lizenzierter Software. Die Open-Source-Edition umfasst alle Unternehmensfunktionen, um sie kostenlos und für andere Zwecke als die Produktion evaluieren zu können.
SI – steht für Systemintegrator

15. April 2022

WEKA auf OCI liefert eine Leistung von 2 Terabyte pro Sekunde

Pinkesh Valdria, Leitender Lösungsarchitekt

Oracle und WEKA sind stolz darauf, die Verfügbarkeit von WEKA auf Oracle Cloud Infrastructure (OCI) bekannt zu geben. Beide Unternehmen haben zusammengearbeitet, um zu bestätigen, dass WEKA auf OCI-Bare-Metal-Instanzen ausgeführt werden kann, um das höchste Leistungsniveau zu bieten, das Kunden für ihre kritischen Workloads fordern. Neben der Performance haben wir auch transparentes Speicher-Tiering für WEKA validiert, indem wir S3-kompatiblen OCI Object Storage als kostengünstige Ebene verwendet haben. Mit dieser Option können Kunden ein leistungsstarkes Dateisystem im Petabyte-Maßstab ausführen, indem lokale NVMe-SSDs für heiße Daten und der Objektspeicher für warme oder kalte Daten verwendet werden.

Vollständigen Beitrag lesen

Ausgewählte Blogs

Ressourcen

Erste Schritte mit Oracle Cloud


Oracle Cloud Free Tier

Erstellen, testen und implementieren Sie Anwendungen in Oracle Cloud – und das kostenlos. Melden Sie sich einmal an und erhalten Sie Zugang zu zwei kostenlosen Angeboten.

Oracle Cloud kostenlos testen

Cloud-Schulung – Oracle Cloud Infrastructure

Erkunden Sie Cloud-Schulungs-Ressourcen mit Oracle Cloud Infrastructure-Trainingsvideos, Lernlabors zum Selbststudium und Zertifizierungen.

Entdecken Sie, was Sie alles lernen können

Oracle Cloud Infrastructure entdecken

Oracle Cloud Infrastructure kombiniert die Elastizität und Nützlichkeit von Public Cloud mit der Kontrolle, Sicherheit, Performance und Vorhersagbarkeit von On-Premises-Rechenumgebungen.

Anleitung lesen (PDF)