Kubernetes Engine (OKE)

KI-Modellentwicklung beschleunigen

Der Prozess zur Erstellung von KI-Modellen beginnt mit der Datenaufbereitung und dem Experimentieren – profitiert von einem sicheren, gemeinsamen Zugriff auf GPUs und einer zentralen Verwaltung. Mit OKE können Teams Folgendes erreichen:

– Maximale GPU-Auslastung durch sichere, mehrmandantenfähige Cluster

– Effiziente Zusammenarbeit in zentral verwalteten Umgebungen

– Integration mit Kubeflow für eine moderne Modellentwicklung und -bereitstellung

Erfahren Sie mehr über das Ausführen von Anwendungen auf GPU-basierten Nodes mit OKE.

OKE: Speziell für KI und ML entwickelt

OKE basiert auf der leistungsstarken OCI-Infrastruktur und bietet Ihnen:

– Zugriff auf die neuesten NVIDIA GPUs (H100, A100, A10 und mehr)

– Rasend schnelles RDMA-Netzwerk für maximale Bandbreite und niedrige Latenz

– Volle Kontrolle über verwaltete oder selbstverwaltete Kubernetes-Worker-Knoten

Erfahren Sie, wie Sie ein Kubernetes-Cluster erstellen und Kubeflow darin installieren.

Trainings-Workloads effizient orchestrieren

Data Scientists vertrauen auf optimiertes Scheduling, um Ressourcen für Trainingsaufgaben optimal zu nutzen. OKE unterstützt moderne Scheduler wie Volcano und Kueue, um parallele und verteilte Workloads effizient zu verarbeiten.

Groß angelegtes KI-Training benötigt schnelle, latenzarme Clusternetzwerke. Die RDMA-fähige Infrastruktur von OCI ermöglicht es OKE, Daten direkt zum und vom GPU-Speicher zu übertragen, wodurch die Latenz minimiert und die Bandbreite maximiert wird.

OKE: Bereit für leistungsstarkes KI-Training

OKE, das auf einer zuverlässigen OCI-Infrastruktur basiert, bietet Ihnen:

– Zugang zu NVIDIA GPUs (H100, A100, A10 und mehr)

– Ultraschnelle, RDMA-gestützte Netzwerkverbindungen

– Die Flexibilität, Jobs auf selbstverwalteten Kubernetes-Knoten auszuführen

Weitere Informationen zum Ausführen von Anwendungen auf GPU-basierten Knoten mit OKE.

Sind Sie bereit, GPU-Workloads auf OKE mit NVIDIA A100-Bare-Metal-Knoten auszuführen? In diesem Tutorial erfahren Sie, wie es geht.

Effiziente und skalierbare KI-Inferenz

OKE nutzt Kubernetes optimal, um Inferenz-Pods effizient zu verwalten und Ressourcen automatisch an den Bedarf anzupassen. Mit dem Kubernetes Cluster Autoscaler kann OKE verwaltete Knotenpools automatisch an den aktuellen Workload anpassen und so beim Skalieren von Inferenzservices High Availability und eine optimale Kosteneffizienz erzielen.

Dank fortschrittlichem Scheduling und Ressourcenmanagement von OKE können Sie für Inferenz-Pods präzise CPU- und Arbeitsspeicherzuteilungen festlegen und so auch bei schwankender Auslastung stets eine gleichbleibende, zuverlässige Leistung gewährleisten. Weitere Informationen zum Deployment und Verwalten von Anwendungen auf OKE.

OKE bietet robuste Optionen für skalierbare, kosteneffiziente KI-Inferenz – einschließlich virtueller Knoten für rasches Pod-Level-Scaling und die Flexibilität, auf GPU- oder ARM-Prozessoren zu laufen.

Entdecken Sie, wie Sie NVIDIA NIM Inferenz-Microservices mit OCI Kubernetes Engine im großen Umfang bereitstellen.

Weitere Informationen zum Betrieb von KI-Inferenz auf GPU-Knoten finden Sie in der Dokumentation zu GPU-basierten Knoten.

Einfache Anwendungsmigration mit OKE

Wenn Sie Anwendungen auf OKE migrieren, können Sie:

• Bestehende Anwendungen ohne Neuentwicklung einfach übernehmen – ganz unkompliziert.
• Den Alltag durch integrierte Automatisierung für Skalierung, Patches und Upgrades vereinfachen.
• Das Infrastrukturmanagement optimieren, damit Ihr Team weniger Zeit für Wartung und mehr für Innovation aufwendet.
• Die Ressourceneffizienz steigern und Kosten mit fortschrittlichen Orchestrierungstools reduzieren.
• Agilität, Verfügbarkeit und Ausfallsicherheit dank der hochverfügbaren Oracle Cloud Regionen weltweit erhöhen.
• Die Sicherheit stärken und Compliance-Anforderungen mit den unternehmensgerechten Kontrollen und Zertifizierungen von Oracle erfüllen.

Mit OKE modernisieren Sie schneller und sicherer – während Oracle die komplexen Prozesse im Hintergrund übernimmt. Migration leicht gemacht – damit Sie sich auf das Wesentliche konzentrieren können: Ihr Geschäft.

Folgen Sie der Schritt-für-Schritt-Bereitstellungsanleitung für OKE, OCI Bastion und GitHub Actions für eine sichere, automatisierte Migration.

Weitere Informationen zu OKE-Funktionen und -Verwaltung finden Sie in der offiziellen OKE-Dokumentation.

Bessere Entwicklung von Microservices mit OKE

Durch das Erstellen von Microservices mit OKE können Ihre Teams:

• Services unabhängig entwickeln und bereitstellen, damit Innovationen schneller den Markt erreichen.
• Build- und Rollout-Prozesse durch OCI-Integrationen für CI/CD automatisieren, damit Updates reibungsloser ablaufen (und Ihre Wochenenden entspannter werden).
• Jeden Microservice bei Bedarf, passgenau zu Ihren Unternehmenszielen skalieren – keine Alles-oder-Nichts-Ressourcenzuweisung mehr.
• Ihre Architektur für Agilität und Resilienz modernisieren, um Ihr Unternehmen optimal für die Zukunft aufzustellen.

Mit OKE erhalten Sie die bekannten stabilen Tools und die Unternehmenssicherheit von Oracle – sowie die Flexibilität, die Microservices benötigen. Verändern Sie Ihre Art, Anwendungen zu entwickeln, zu aktualisieren und zu skalieren: mit weniger Aufwand und mehr Kontrolle.

Weitere Informationen zur Entwicklung und Verwaltung von Microservices:

• Entdecken Sie Referenzarchitekturen und Best Practices für Microservices auf OCI
• Überwachen und optimieren Sie Ihre Anwendungen mit dem Oracle Application Performance Monitoring Cloud Service für Microservices
• Trainieren Sie Deployment, Management und Skalierung von Microservices auf OKE im praktischen LiveLab-Workshop
• Sehen Sie sich eine Spring Boot Microservices-Referenzimplementierung auf Oracle Cloud an