Minikube를 사용하여 Ampere A1 가변 컴퓨트 인스턴스에 AI 챗봇 배포

개요

이 워크숍을 통해 사용자는 원활한 배포를 위해 미니큐브 및 Kubernetes를 활용하여 Ampere A1의 유연한 컴퓨트 인스턴스에서 오픈 소스 AI 챗봇을 쉽게 배포하고 사용할 수 있습니다. 참가자들은 Oracle Linux 내에서 운영하면서 Oracle Cloud Infrastructure(OCI) Kubernetes Engine에 의존하지 않고도 컴퓨트 구성에 배포하는 실습 경험을 통해 배포 기술 역량을 강화할 수 있습니다.

데모

선행 조건 및 설정

1. Oracle Cloud 계정—등록 페이지
2. OCI 네트워킹—설명서
3. minikube—설명서
4. Kubernetes—설명서
5. OCI 컴퓨팅—설명서

시작하기

• 단계별 지침을 제공하는 실습 워크샵

추가 리소스

• OCI Marketplace 이미지
• 블로그: OCI Ampere의 Meta Llama 3 소개 A1: CPU 기반 모델 추론에 대한 증거
• 블로그: CPU 기반 추론으로 생성형 AI 민주화