데이터 준비
유연한 데이터 액세스
데이터 과학자들은 모든 클라우드 또는 온프레미스 데이터 소스에 액세스할 수 있습니다. 이를 통해 보다 나은 모델을 구축할 수 있는 다양한 데이터 기능들을 개발할 수 있습니다.
데이터 레이블 지정
Oracle Cloud Infrastructure(OCI) Data Labeling은 보다 정확도 높은 AI 및 머신러닝 모델 훈련을 위한 레이블 지정된 데이터세트 구축 서비스입니다. OCI Data Labeling를 사용하면 개발자와 데이터 과학자가 데이터를 수집하고, 데이터 세트를 생성 및 탐색하고, 데이터 레코드에 레이블을 적용할 수 있습니다.
Spark를 이용한 대규모 데이터 준비
대화식 Spark 쿼리를 OCI Data Flow Spark 클러스터에 제출해보세요. 또는 Oracle Accelerated Data Science SDK를 사용하여 손쉽게 Spark 애플리케이션을 개발한 다음 OCI Data Flow에서 규모에 따라 실행해보세요. 이 모든 것이 Data Science 환경에서 가능합니다.
특징 저장소(미리보기)
기능 엔지니어링 파이프라인을 정의하고 완전 관리형 실행을 통해 기능을 구축할 수 있습니다. 기능과 기능 파이프라인의 버전을 지정하고 문서화합니다. 기능에 대한 액세스를 공유하고 관리하고 제어해보세요. 배치와 실시간 추론 시나리오의 특징을 모두 사용해보세요.
모델 구축
JupyterLab 인터페이스
데이터 과학 팀은 클라우드 호스팅되는 기본 제공 JupyterLab 노트북 환경에서 친숙한 사용자 인터페이스를 활용하여 모델을 구축하고 훈련시킬 수 있습니다.
오픈 소스 머신러닝 프레임워크
OCI Data Science는 TensorFlow와 PyTorch를 비롯한 수백 개의 인기 오픈 소스 도구와 프레임워크를 제공하면서 원하는 프레임워크를 추가할 수도 있어 데이터 과학자에게 친숙하고 활용성 높은 환경을 제공합니다. OCI와 Anaconda의 전략적 파트너십을 통해 OCI 사용자는 Anaconda 저장소에서 무료로 패키지를 직접 다운로드하고 설치할 수 있게 되어 보안 오픈 소스에 액세스하기가 훨씬 수월해졌습니다.
Oracle Accelerated Data Science(ADS) 라이브러리
Oracle Accelerated Data Science SDK는 사용자 친화적인 Python 툴킷으로, 엔드투엔드 데이터 과학 워크플로를 통해 데이터 과학자를 지원합니다.
모델 교육
그래픽 처리 장치(GPU)를 포함한 강력한 하드웨어
데이터 과학자들은 NVIDIA GPU를 통해 보다 빠르게 딥 러닝 모델을 구축 및 교육할 수 있습니다. CPU 대비 5~10배 빠른 성능을 지원합니다.
작업
Jobs를 사용하여 반복 가능한 데이터 과학 작업을 배치 모드에서 실행해보세요. 베어메탈 NVIDIA GPU와 분산 학습을 지원하여 모델 훈련을 확장할 수 있습니다.
콘솔 내 작업 아티팩트 편집
Code Editor를 사용하여 OCI Console에서 Data Science 작업 아티팩트를 간단히 생성, 편집, 실행할 수 있습니다. Git 통합, 자동 버전 지정, 개인화 등의 기능이 함께 제공됩니다.
거버넌스 및 모델 관리
모델 카탈로그
데이터 과학자는 모델 카탈로그를 사용하여 완성된 머신러닝 모델을 관리 및 공유할 수 있습니다. 카탈로그는 아티팩트를 저장하고, 모델의 분류 및 컨텍스트, 초매개변수, 모델 입출력 데이터 스키마 정의, 훈련 환경 및 소스 코드 등이 포함된 상세 모델 출처 정보 등의 메타데이터를 수집합니다.
모델 평가 및 비교
새로운 데이터에 대한 모델 성능 측정 및 모델 후보간 상호 비교를 위한 포괄적 메트릭 및 시각화 모음을 자동으로 생성합니다.
재현 가능한 환경
사전 구축되고 선별된 Conda 환경을 활용하여 NLP, 컴퓨터 비전, 예측, 그래프 분석, Spark를 비롯한 다양한 사용 사례에 대응할 수 있습니다. 커스텀 환경을 게시하고 동료들과 공유함으로써 재현 가능한 교육 및 추론 환경을 확보합니다.
버전 관리
데이터 과학자는 소속 조직의 Git 저장소에 접속하여 머신러닝 작업물을 관리 및 검색할 수 있습니다.
자동화와 MLOps
관리형 모델 배포
머신러닝 모델을 HTTP 엔드포인트로 배포하여 신규 데이터에 대한 모델 예측을 실시간으로 제공할 수 있습니다. 모델 카탈로그에서 배포하기 버튼을 클릭하기만 하면 OCI Data Science가 컴퓨트 프로비저닝 및 로드 밸런싱을 포함한 모든 인프라 작업을 자동으로 처리합니다.
ML 파이프라인
완전 관리형 서비스를 통해 모델 개발, 훈련, 배포 워크플로를 운용 및 자동화하여 ML 파이프라인을 작성, 디버깅, 추적, 관리 및 실행할 수 있습니다.
ML 모니터링
운영 환경에서 모델의 데이터와 개념에 편차가 있는지 지속적으로 모니터링합니다. 데이터 과학자, 사이트 안정성 엔지니어, DevOps 엔지니어가 경보를 수신하고 모델 재교육 필요 여부를 신속하게 평가할 수 있도록 지원합니다.
ML 애플리케이션
원래 Oracle의 자체 SaaS 애플리케이션에 AI 기능을 내장하기 위해 설계된 ML 애플리케이션은, 이제 수천 명의 고객을 위한 수백 개의 모델을 보유한 ISV를 위해 MLOps 수명 주기 전반을 자동화하는 데도 사용됩니다(개발, 프로비저닝, 지속적인 유지 보수 및 플리트 관리 등).
AI Quick Actions
노 코드 액세스
OCI Data Science 노트북의 끊김없는 사용자 인터페이스를 활용하면 추가 코딩 없이도 Mistral, Meta 등의 LLM을 자유롭게 사용할 수 있습니다.
OCI Object Storage에서 원하는 LLM을 가져온 뒤, 간단한 사용자 인터페이스를 활용하여 세부 조정 및 배포할 수 있습니다.
배포
몇 번의 클릭만으로 vLLM(UC 버클리), Text Generation Inference(Hugging Face), TensorRT-LLM(NVIDIA) 등의 유명한 추론 서버에 기반한 LLM을 배포하여 최적의 성능을 얻을 수 있습니다.
미세 조정
PyTorch, Hugging Face Accelerate, DeepSpeed 등을 활용한 분산 훈련으로 LLM을 미세 조정하여 최적의 성능을 얻을 수 있습니다. 객체 스토리지에 미세 조정된 가중치를 저장할 수 있습니다. 또한 서비스에서 제공하는 Condas가 맞춤형 Docker 환경에 대한 요구 사항을 없애고 속도 저하 없이 공유할 수 있게 합니다.
평가
BERTScore 또는 Recall-Oriented Understudy for Gisting Evaluation(ROUGE)를 기반으로 LLM에 대한 자세한 평가 보고서를 작성함으로써 훈련시킨 모델의 성능을 다른 모델과 비교하여 평가할 수 있습니다.