Oracle Cloud Infrastructure HPC File Systems (HFS)
Hochleistungsdateisysteme unterstützen Workloads, bei denen Daten mit besonders hohen Durchsatzraten gelesen und geschrieben werden müssen. OCI HPC File Systems (HFS) sind auf Oracle Cloud Marketplace verfügbar und ermöglichen die einfache Bereitstellung zahlreicher branchenführender, leistungsstarker Dateiserver. Mit nur drei Klicks verfügen Kunden dabei über einen betriebsbereiten Dateiserver im Petabereich mit einem zweistelligen Gigabyte-Durchsatz.
Wen Sie diese HFS-Lösungen bereitstellen, können Sie die Anforderungen für Ihr Dateisystem festlegen, einschließlich:
- Typ (ganz neu oder persistent)
- Workload-Typ (kleine, gemischte oder große Dateien)
- Dateisystemgröße (Anzahl der Dateiserver und Speicherkapazität)
Wenn Sie diese Parameter festlegen, wendet die HFS Marketplace-Lösung Standardparameter an, um die Komplexität für die Kunden sowie die Bereitstellungszeit zu reduzieren. Wenn Sie zum Beispiel ein ganz neues Dateisystem erstellen, wird der lokale NVMe-Speicher ausgewählt. In ähnlicher Weise werden bei gemischten oder kleinen Datei-Workloads die Metadaten angepasst. Dateisysteme können in weniger als 15 Minuten einsatzbereit sein.
Mithilfe der HFS Marketplace-Lösung können mit nur wenigen Klicks Lustre und GlusterFS bereitgestellt werden.
Anpassbare HFS-Optionen
Für Benutzer, die für eine komplexe Bereitstellung eine maximale Konfigurierbarkeit benötigen, bieten wir auch Oracle Cloud Marketplace Stacks (Webbasierte GUI) und Terraform-basierte Oracle Vorlagen für die schnelle Bereitstellung auf Github an. Passen Sie einfach die Terraform-Vorlagen oder Marketplace Stacks so an, dass sie Ihren Anforderungen entsprechen und starten Sie sie über Resource Manager.
- Lustre
- GlusterFS
- NFS-Dateiserver mit High Availability
Oracle Cloud Marketplace Stacks (Webbasierte GUI)
- IBM Spectrum Scale
- Lustre
- Quobyte
- NFS-Dateiserver mit High Availability
Terraform-basierte Vorlagen
Vorteile von HFS auf OCI HPC
Diese Shared File Storage-Lösungen wurden auf Oracle Cloud Infrastructure erstellt und bieten einen hohen Durchsatz sowie eine konsistente, geringe Latenz zur Unterstützung leistungsstarker Workloads.
Schnell
Erreichen Sie einen Dateidurchsatz von bis zu 500 GB/s Aggregatdurchsatz mithilfe angehängter HPC-Bare Metal-Compute-Instanzen mit lokalem NVMe und einem 100-Gbit/s-Clusternetzwerk, das eine geringe Latenz gewährleistet.
Benutzerfreundlich
Mit nur wenigen Mausklicks können Sie schnell und einfach Standardkonfigurationen bereitstellen.
Alles, was Sie brauchen
Die Komplettlösungen auf der Basis von Terraform-Skripten beinhalten alles, um POSIX-konformes Lustre und GlusterFS schnell und einfach bereitzustellen.
Kostengünstig
On Premise-Dateiservercluster erfordern hohe Kapitalinvestitionen. Oracle Cloud hingegen kann elastisch skalieren, um Speicher- und Performanceanforderungen von bis zu 500 GB pro Sekunde zu erfüllen.
Anwendungsfälle
Die vorkonfigurierten Umgebungen von Oracle haben ihre Nützlichkeit schon in vielen Branchen bei zahlreichen Anwendungen unter Beweis gestellt. Dazu gehören:
-
Die Datenmigration in die Cloud
HFS kann dazu verwendet werden, ein POSIX-Dateisystem zu erstellen, auf das von On Premise-Compute-Knoten zugegriffen werden kann. Dabei werden native Dateisystem-Clients, NFSv3/NFSv4 oder SMB verwendet, um Daten in Oracle Cloud zu migrieren.
-
Engineering und wissenschaftliches Computing
HPC-Workloads für Crash-Simulationen, Computational Fluid Dynamics (CFD) und die computerbasierte Chemie erfordern immense Mengen an Trainingsdaten und verwenden oft Shared File Storage, um die gleichzeitige Verarbeitung von Datasets zu unterstützen.
-
Künstliche Intelligenz und maschinelles Lernen (ML)
Datasets für KI- und ML-Workloads sind groß. Deshalb muss der Dateispeicher für das Training und die Validierung sehr schnell enorme Datenmengen über verschiedene Modelle gleichzeitig bereitstellen. OCI unterstützt WEKA, Lustre, GlusterFS und mehr.
-
Medienverarbeitung und -transcodierung
Workflows für die Verarbeitung von Mediendaten wie das Video-Rendering, visuelle Effekte und die Medienproduktion benötigen die Compute- und Speicherressourcen, um die Erstellung enormer Mengen an Videodateien aus großen Ressourcen-Datasets zu bewältigen.
-
Big Data und Finanzanalysen
Anwendungsfälle von Big Data-Analysen, einschließlich Betrugserkennung und Finanzanalysen, erzeugen enorme Datenmengen, die einen leistungsstarken Speicher benötigen, um datenintensive Anwendungen zu unterstützen.
„Oracle Cloud ist der einzige führende Cloud-Anbieter, der Spectrum Scale in einer Shared Storage-Architektur auf einer Bare Metal-Hardware anbietet. Das Oracle Angebot wurde auf die Anforderungen von HPC und Big Data-Analysen abgestimmt und bietet Leistungsvorteile gegenüber virtualisierten Cloud-Angeboten sowie eine bessere Flexibilität, Skalierbarkeit und Verwaltbarkeit.“
„Mein Team hat SAS Grid auf vielen Public Clouds getestet. Wir freuen uns, sagen zu können, dass die Infrastruktur der Oracle Cloud den E/A-Durchsatz für das gemeinsam genutzte IBM Spectrum Scale-Dateisystem bietet, der für SAS Grid benötigt wird.“
„Die grafische Benutzeroberfläche des OCI HPC File Systems (HFS) sowie sein Workflow für die Dateisystembereitstellung sind auf Kundenanwendungsfälle (ganz neuer oder persistenter Speicherplatz, große, gemischte oder kleine Datei-Workloads usw.) ausgelegt und nicht so technologiezentriert. Dadurch werden die Hindernisse zur schnellen Bereitstellung eines parallelen Dateisystems wie BeeGFS auf Oracle Cloud reduziert. Oracle Cloud bietet Infrastrukturressourcen wie ein 100-Gbit/s-RDMA RoCEv2 Cluster-Netzwerk, Multi-Attach Shared Block Volume Service, lokale an Compute- und Bare-Metal-Compute-Ausprägungen angeschlossene NVMe SSDs, um BeeGFS in vielen verschiedenen Konfigurationen und einen dreistelligen Giga-Byte-Durchsatz (500 GB/s) bereitzustellen – und das alles zu einem geringeren Preis.“
„Dank der Bare Metal-Computing- und Cluster-Netzwerktechnik von Oracle konnte BeeGFS in Oracle Cloud die Leistung (Latenz und E/A-Durchsatz) unseres On Premise-HPC-Dateisystems für MPAS-Workloads übertreffen – und das zu einem sehr niedrigen Preis. Durch Verwendung des RDMA-Cluster-Netzwerks von Oracle Cloud erzielt BeeGFS mit nur 14 Servern eine Performance von bis zu 140 GB/s.“
„Die OCI-Lösung des parallelen Dateisystems BeeGFS mit 100 Gbit/s RoCEv2 und lokalem NVMe-Speicher erzielte je nach Dateityp eine vergleichbare oder höhere IO-Schreibdurchsatzleistung für die kosmologische SWIFT-Anwendungsbenchmark. Bei Snapshot-Dateien von 370 GB erzielte OCI 6,2 GB/s und Lustre 7,0 GB/s. Bei Neustart-Dateien mit 994 GB erzielte OCI 70 GB/s und Lustre 29,2 GB/s.“
WEKA auf OCI liefert eine Leistung von 2 Terabyte pro Sekunde
Pinkesh Valdria, Leitender Lösungsarchitekt
Oracle und WEKA sind stolz darauf, die Verfügbarkeit von WEKA auf Oracle Cloud Infrastructure (OCI) bekannt zu geben. Beide Unternehmen haben zusammengearbeitet, um zu bestätigen, dass WEKA auf OCI-Bare Metal-Instanzen ausgeführt werden kann, um das höchste Leistungsniveau zu bieten, das Kunden für ihre kritischen Workloads fordern. Neben der Performance haben wir auch transparentes Speicher-Tiering für WEKA validiert, indem wir S3-kompatiblen OCI Object Storage als kostengünstige Ebene verwendet haben. Mit dieser Option können Kunden ein leistungsstarkes Dateisystem im Petabyte-Maßstab ausführen, indem lokale NVMe-SSDs für heiße Daten und der Objektspeicher für warme oder kalte Daten verwendet werden.
Vollständigen Beitrag lesenAusgewählte Blogs
Ressourcen
HFS-Referenzarchitekturen
HFS-Runbooks
Erste Schritte mit Oracle Cloud
Oracle Cloud Free Tier
Erstellen, testen und implementieren Sie Anwendungen in Oracle Cloud – und das kostenlos. Melden Sie sich einmal an und erhalten Sie Zugang zu zwei kostenlosen Angeboten.
Oracle Cloud Infrastructure Platform – Übersicht
Verbessern Sie Performance sowie Sicherheit und senken Sie gleichzeitig die Kosten für Ihre leistungsintensiven Unternehmensanwendungen.
Cloud-Schulung – Oracle Cloud Infrastructure
Erkunden Sie Cloud-Schulungs-Ressourcen mit Oracle Cloud Infrastructure-Trainingsvideos, Lernlabors zum Selbststudium und Zertifizierungen.
Oracle Cloud Infrastructure entdecken
Oracle Cloud Infrastructure kombiniert die Elastizität und Nützlichkeit der Public Cloud mit der Kontrolle, Sicherheit, Performance und Vorhersagbarkeit von On Premise-Rechenumgebungen.