Kubernetes Engine (OKE)

OKE unterstützt OCI-KI-Services

Kubernetes ist die Plattform der Wahl für die Bereitstellung von KI-Workloads. OKE unterstützt die KI-Services von Oracle Cloud Infrastructure (OCI).

KI-Modellerstellung

– In der ersten Phase eines KI-Projekts werden das Problem definiert und Daten für die Erstellung von Modellen vorbereitet.

– Kubernetes-Cluster können die Effizienz erheblich steigern, indem sie den gemeinsamen Zugriff auf teure und oft begrenzte GPU-Ressourcen ermöglichen und gleichzeitig sichere und zentral verwaltete Umgebungen bereitstellen.

– Kubeflow, ein Kubernetes-bezogenes Open-Source-Projekt, bietet ein umfassendes Framework, das die Erstellung, Schulung und Bereitstellung von Modellen optimieren soll.

OKE für die KI-Modellerstellung

OKE baut auf OCI auf und bietet einen vollständigen Stack einer Hochleistungsinfrastruktur, die für KI/ML-Workloads ausgelegt ist, wie z. B.:

– Die gesamte Palette der NVIDIA-GPUs, einschließlich H100, A100, A10 usw.

– Ultraschnelle RDMA-Netzwerke

Mit OKE-Selbstverwaltungsknoten können Sie KI/ML-Workloads auf Ihren Kubernetes-Clustern ausführen.

OKE unterstützt OCI-KI-Services

Kubernetes ist die Plattform der Wahl für die Bereitstellung von KI-Workloads. OKE unterstützt OCI-KI-Services.

KI-Modelltraining

– Im Modell-Training wählen Data Scientists einen Algorithmus aus und starten Trainingsjobs mit vorbereiteten Daten. Diese Phase erfordert ausgeklügelte Planungssysteme, um die Aufträge effizient zu bearbeiten.

Kubernetes-Projekte wie Volcano und Kueue helfen bei der Bewältigung solcher Anforderungen und sorgen für eine effiziente Nutzung der Rechenressourcen.

– Ein groß angelegtes verteiltes Training erfordert eine Kommunikation zwischen den Knotenpunkten im Cluster mit geringer Latenz. Hier ist ein spezialisiertes ultraschnelles Netzwerk mit Remote Direct Memory Access (RDMA) erforderlich. Es ermöglicht die direkte Übertragung von Daten in den oder aus dem Speicher einer Anwendung unter Umgehung der CPU, um die Latenz zu reduzieren.

OKE für das Training von KI-Modellen

OKE baut auf OCI auf und bietet einen vollständigen Stack einer Hochleistungsinfrastruktur, die für KI/ML-Workloads ausgelegt ist, wie z. B.:

– Die gesamte Palette der NVIDIA-GPUs, einschließlich H100, A100, A10 usw.

– RDMA-Netzwerke mit geringer Latenz und extrem hoher Leistung

Mit OKE-Knoten, die Sie selbst verwalten, können Sie KI/ML-Training auf Ihren Kubernetes-Clustern durchführen.

OKE unterstützt OCI-KI-Services

Kubernetes ist die Plattform der Wahl für die Bereitstellung von KI-Workloads. OKE unterstützt OCI-KI-Services.

KI-Modellinferenzierung (Serving)

– Bei der Inferenzierung von KI-Modellen kann Kubernetes seine Stärken voll ausspielen. Kubernetes kann die Anzahl der Inferenz-Pods je nach Bedarf automatisch erhöhen oder verringern und so eine effiziente Nutzung der Ressourcen gewährleisten.

– Kubernetes bietet ein ausgeklügeltes Ressourcenmanagement, einschließlich der Möglichkeit, CPU- und Speichergrenzen für Container festzulegen.

OKE für die KI-Modellinferenz

OKE ist auf Ausfallsicherheit ausgelegt und nutzt die integrierte Pod-Autoscaling-Funktion von Kubernetes, um Worker-Knoten je nach Nutzung zu skalieren. Worker-Knoten können für eine hohe Verfügbarkeit über mehrere Fehler- und/oder Verfügbarkeitsbereiche verteilt werden.

Virtuelle OKE-Knoten bieten eine serverlose Kubernetes-Erfahrung. Sie müssen lediglich auf Pod-Ebene skaliert werden, ohne jemals Worker-Knoten zu skalieren. So ist eine schnellere Skalierung und eine kostengünstigere Verwaltung möglich, da die Servicegebühren ausschließlich auf den verwendeten Pods basieren.

Virtuelle Knoten eignen sich gut für Inferenz-Workloads und können Arm-Prozessoren verwenden, die für die KI-Inferenz immer attraktiver werden – insbesondere, wenn GPUs knapp sind.

Bestehende Anwendungen können von einer Migration zu OCI und OKE profitieren.

OKE bietet niedrigere Gesamtbetriebskosten und eine kürzere Markteinführungszeit.

OKE vereinfacht Abläufe in großem Maßstab auf folgende Weise:

• Lift-and-Shift; es besteht keine Notwendigkeit für eine Umstrukturierung
• Reduzierung des Betriebsaufwands durch Automatisierung
• Zeitersparnis beim Infrastrukturmanagement
• Erhöhen von Ressourcenauslastung und Effizienz
• Verbesserung von Agilität, Flexibilität, Betriebszeit und Widerstandsfähigkeit
• Senkung des Compliance-Risikos und Verbesserung der Sicherheit

Microservices bieten viele Vorteile gegenüber monolithischen Anwendungen

Machen Sie Ihre Anwendungen mit einer OKE-zentrierten Microservices-Architektur zukunftssicher.

• Modernisierung der Architektur
• Schnellere Innovationen
• Automatisierung bereitstellen
• Parallele Entwicklung
• Einfachere Skalierbarkeit
• Höhere Zuverlässigkeit
• Mehr Flexibilität
• Mehr Flexibilität