Benutzerdefinierte KI-Modelle schneller mit Datenparallelität trainieren

Einführung

Mit leistungsstarken NVIDIA-GPUs und -Techniken wie Datenparallelität können Sie Ihre benutzerdefinierten KI-Modelle schneller trainieren.

Die Verwendung mehrerer GPUs auf einem einzelnen Knoten bietet eine Leistungssteigerung, aber Hardwarebeschränkungen können die Anzahl der verfügbaren GPUs einschränken. Um dies zu überwinden, können wir verteilte Schulungen für mehrere Oracle Cloud Infrastructure-(OCI-)Instanzen nutzen, bei denen zwei oder mehr Knoten über ein Netzwerk verbunden sind.

Hier kommt Parallelität ins Spiel. Parallelität beinhaltet die Aufschlüsselung der Berechnung in kleinere Teile, die gleichzeitig auf verschiedenen Rechenressourcen ausgeführt werden können.

Demo

Voraussetzungen und Setup

1. Oracle Cloud-Account – Anmeldeseite
2. Oracle Cloud Infrastructure – Dokumentation
3. Oracle Cloud Marketplace NVIDIA GPU-optimierte VMI – Dokumentation
4. Oracle Cloud GPU-Instanzen – Dokumentation

Erste Schritte

• Detaillierte Schritte und Beispielcode auf GitHub