KI-Chatbot mit Minikube auf einer Flex-Compute-Instanz von Ampere A1 bereitstellen

Einführung

In diesem Workshop können Benutzer einen Open-Source-KI-Chatbot auf einer flexiblen Compute-Instanz von Ampere A1 einfach bereitstellen und verwenden. Dabei werden Minikube und Kubernetes für eine nahtlose Bereitstellung genutzt. Die Teilnehmer, die in Ubuntu arbeiten, sammeln praktische Erfahrungen beim Deployment auf Compute-Ausprägungen, ohne sich auf Oracle Cloud Infrastructure (OCI) Container Engine for Kubernetes zu verlassen, um ihre Kenntnisse in Deployment-Techniken zu verbessern.

Demo

Voraussetzungen und Einrichtung

1. Oracle Cloud-Account – Anmeldeseite
2. OCI Networking – Dokumentation
3. minikube – Dokumentation
4. Kubernetes – Dokumentation
5. OCI Compute – Dokumentation

Erste Schritte

• Praktischer Workshop mit schrittweiser Anleitung

Weitere Ressourcen

• OCI Marketplace-Image
• Blog: Einführung von Meta Llama 3 auf OCI Ampere A1: Ein Beweis für die CPU-basierte Modellinferenz
• Blog: Demokratisierung generativer KI mit CPU-basierter Inferenz