AI Blueprint FAQ

OCI AI Blueprints란 무엇인가요?

Oracle Cloud Infrastructure AI Blueprints는 OCI용으로 사전 패키징 및 검증된 블루플린트 제품군으로서, 내장된 관측 가능성 기능을 통해 생성형 AI 워크로드를 단 몇 분 만에 일관적이고 반복적으로 배포할 수 있도록 지원합니다.

OCI AI Blueprints의 주요 기능은 무엇인가요?

Oracle Cloud Infrastructure AI Blueprints는 AI 워크로드를 운영 환경에서 단 몇 분 만에 배포, 확장, 모니터링할 수 있도록 지원합니다. AI Blueprints는 널리 사용되는 생성형 AI 워크로드들의 No-Code 배포를 지원하는, OCI 관련 검증이 완료된 블루프린트 서비스입니다. 블루프린트에는 NVIDIA GPU 관련 명확한 하드웨어 권장 사항, NVIDIA NIM 등의 옵션 소프트웨어 스택 구성 요소, 사전 패키지화된 관측 가능성 도구 등이 포함되어 있습니다. 따라서 소프트웨어 스택 관련 결정을 직접 내리거나 인프라를 수동으로 프로비저닝할 필요 없이 AI 워크로드를 간단하게 배포할 수 있습니다. 또한 몇 가지 간단한 구성 변경을 통해 다중 인스턴스 GPU, 추론 지연 시간 기반 자동 확장과 같은 AI Blueprints의 고급 인프라 기능을 활용할 수 있습니다. 결과적으로 고객은 AI Blueprints를 활용해 통해 확장된 미션 크리티컬 배포를 위한 GPU 온보딩에 걸리는 시간을 몇 주에서 단 몇 분으로 줄일 수 있습니다.

OCI AI Blueprints의 사용료는 얼마인가요?

OCI AI Blueprints는 모든 OCI 사용자가 무료로 사용할 수 있습니다.

OCI AI Blueprints는 어디에서 찾을 수 있나요?

OCI AI Blueprints는 GitHub에서 찾을 수 있습니다. GitHub 페이지의 지침에 따라 다음과 같은 작업을 수행할 수 있습니다.

1. 테넌시에 OCI AI Blueprints 플랫폼을 설치하고 OCI AI Blueprints의 UI/API에 액세스
2. AI 블루프린트 배포 및 모니터링
3. 작업 완료 후 블루프린트 배포 해제

내 테넌시에서 OCI AI Blueprints를 테스트하는 가장 안전한 방법은 무엇인가요?

특정 OCI AI Blueprint를 테스트하기 위한 별도의 컴파트먼트 및 OCI Kubernetes Engine 클러스터를 생성합니다. 신규 컴파트먼트에 OCI AI Blueprint를 배포함으로써 기존 테넌시에 대한 잠재적 영향을 차단할 수 있습니다.

내 테넌시에는 어떤 컨테이너와 리소스가 배포되나요?

테넌시에 배포되는 컨테이너 및 리소스는 다음과 같습니다.

1. OCI AI Blueprints 프론트엔드 및 백엔드 컨테이너
2. Grafana 및 Prometheus(모니터링)
3. MLflow(실험 결과 추적)
4. KEDA(애플리케이션 기반 자동 확장)
5. Kueue
6. KubeRay

전체 블루프린트 목록은 어디서 볼 수 있나요?

사용 가능한 모든 블루프린트 목록은 여기에서 확인 가능합니다.

LLM 추론 벤치마킹을 실행하려면 어떻게 해야 하나요?

추론 벤치마킹 블루프린트를 실행하려면 vLLM 블루프린트를 배포한 뒤 LLMPerf 등의 도구를 사용해 추론 끝점에 대한 벤치마킹을 실행하면 됩니다.

문제 해결 로그는 어떻게 확인하나요?

kubectl을 사용해 Oracle Kubernetes Engine 클러스터의 pod 로그를 검사할 수 있습니다. AI Blueprints 포털에서 로그를 검사할 수도 있습니다.

OCI AI Blueprints는 자동 확장을 지원하나요?

예. OCI AI Blueprints는 애플리케이션 기반 자동 확장을 위해 KEDA를 활용합니다. 자세한 내용은 설명서를 참고하세요.

호환되는 GPU는 무엇인가요?

선택한 OCI 리전이 지원하는 모든 NVIDIA GPU(예: A10, A100, H100)를 사용할 수 있습니다.

기존 Oracle Kubernetes Engine 클러스터에 배포할 수 있나요?

예. 여기의 지침에 따라 기존 클러스터에 OCI AI Blueprints를 배포할 수 있습니다.

동일한 노드에서 여러 블루프린트를 실행하려면 어떻게 해야 하나요?

동일한 노드에서 여러 블루프린트를 실행하는 경우 공유 노드 풀을 사용으로 설정하기를 권장합니다. 여기에서 더 자세한 내용을 확인하세요.

OCI Data Science/Quick Actions과 AI Blueprints의 차이점은 무엇인가요?

Oracle Cloud Infrastructure Data Science 및 Oracle Cloud Infrastructure Data Science Quick Actions은 관리형 컴퓨트 인스턴스에서의 AI 애플리케이션 구축 및 배포를 지원하는 PaaS 오퍼링입니다. AI Blueprints는 IaaS 부스터입니다. OCI AI Blueprints는 생성형 AI 워크로드를 자사 테넌시의 예약된 인스턴스에 배포하고자 하는 고객사에게 적합한 선택입니다. 고객 여정의 초기 단계에서 AI Blueprints는 프리 세일즈 POC, LLM 벤치마킹, 그리고 검색 증강 생성(RAG)을 비롯한 엔드투엔드 AI 애플리케이션의 빠른 프로토타이핑을 지원합니다. 이후 단계에서 고객은 자동 스케일링 및 분산 추론 등의 고급 구성을 갖춘 Kubernetes 클러스터 상의 운영 워크로드에 AI Blueprints를 사용할 수 있습니다.

OCI Generative AI 서비스와 AI Blueprints의 차이점은 무엇인가요?

OCI Generative AI 서비스는 PaaS 오퍼링입니다. AI Blueprints는 IaaS 부스터입니다. OCI AI Blueprints는 생성형 AI 워크로드를 자사 테넌시의 예약된 인스턴스에 배포하고자 하는 고객사에게 적합한 선택입니다. 고객 여정의 초기 단계에서 AI Blueprints는 프리 세일즈 POC, LLM 벤치마킹, 그리고 RAG를 비롯한 엔드투엔드 AI 애플리케이션의 빠른 프로토타이핑을 지원합니다. 이후 단계에서 고객은 자동 스케일링 및 분산 추론 등의 고급 구성을 갖춘 Kubernetes 클러스터 상의 운영 워크로드에 AI Blueprints를 사용할 수 있습니다.

OCI AI Blueprint를 사용해 어떤 모델을 배포할 수 있나요?

vLLM과 호환되는 모델이기만 하다면, 모든 커스텀 LLM 또는 Hugging Face에서 사용 가능한 대부분의 모델을 Oracle의 vLLM 블루프린트를 통해 배포할 수 있습니다.

멀티모달 모델을 배포할 수 있나요?

네.

vLLM 이외의 추론 엔진을 사용해 LLM을 배포할 수 있나요?

네. Ollama, TensorRT, NIM 등의 다른 솔루션을 사용할 수도 있습니다.

아직 GPU를 확보하지 못한 경우에는 AI Blueprints를 사용해 CPU에 LLM을 배포할 수도 있나요?

네. Oracle은 CPU 상에서 Ollama를 실행하는 CPU 추론 전용 블루프린트를 제공합니다.

NIM 및 NeMo에서 AI Blueprints를 사용할 수 있나요?

네.

AI Blueprints는 명령줄 인터페이스(CLI) 및 API를 제공하나요?

AI Blueprints는 현재 API를 제공합니다(CLI는 개발 중입니다). 또한 AI Blueprints 기반 작업 오케스트레이션 및 스케줄링에 Kueue CLI를 활용할 수 있습니다.

AI Blueprint는 어떤 가치를 제공하나요?

OCI AI Blueprints 사용자는 다음과 같은 이점을 누릴 수 있습니다.

• 블루프린트 및 명확한 지침을 제공하는 간소화된 설정 흐름을 활용해 생성형 AI 워크로드를 단 몇 분 만에 배포할 수 있습니다.
• 초기 설정 및 지속적인 유지보수에 소요되는 시간을 최소화함으로써 운영 시간을 단축하고 생성형 AI용 OCI 컴퓨팅의 가치를 더 빠르게 실현할 수 있습니다.
• 광범위한 설명서와 최선의 최종 사용자 경험을 지원하는 간단한 포털 및 API를 통해 생성형 AI용 GPU의 셀프 서비스 온보딩을 수행할 수 있습니다.