업스테이지, OCI를 사용하여 AI 모델을 더 안정적이고 빠르게 훈련

업스테이지(Upstage)는 AI 기반의 문서 처리 및 한국어나 일본어 등의 아시아 언어와 영어에 특화된 대규모 언어 모델을 제공하는 한국계 AI 스타트업입니다. 다른 AI 모델들도 해당 언어로 문서를 번역할 수는 있지만, 업스테이지의 모델은 언어적, 문화적 뉘앙스를 파악할 수 있도록 설계 및 훈련되었습니다.

업스테이지 CEO 겸 공동 설립자인 김성훈 대표는 말합니다. "다른 모델들도 문법적으로는 의미 전달에 있어 괜찮지만, 말투나 문체가 번역톤으로 다소 어색한 경우가 많습니다." Upstage는 AI 모델을 지속적으로 교육하고 태국어, 베트남어를 포함한 언어로 새로운 AI 서비스를 개발하기 위해 컴퓨팅 파워를 위한 Oracle Cloud Infrastructure(OCI)를 선택했습니다. 업스테이지는 OCI를 사용하여 GPU 클러스터에서 데이터 전송 속도를 약 30% 가속했습니다. 또한 OCI의 경제적인 가격과 더욱 안정적인 성능 덕분에 AI 모델을 더 빠르게 출시할 수 있었습니다.

업스테이지, OCI로 속도 향상 및 비용 절감

이 회사의 사명은 특정 언어에 특화된 우수한 AI 모델을 개발하여 '미래의 업무를 위한 인텔리전스를 구축'하는 것입니다. 업스테이지가 해당 AI 모델을 훈련하기 위해 OCI를 선택한 이유는 OCI가 속도, 가격, 신뢰성이라는 세 가지 주요 속성에서 우수한 성능을 보였기 때문입니다. 업스테이지는 대량의 GPU를 한 번에 실행하여 모델을 교육하고, 새로운 언어 및 비즈니스 사용 사례에 맞게 모델을 지속적으로 훈련하고 조정합니다. 따라서 모델을 경제적인 방식으로 훈련하고 시장에 신속하게 출시하는 데 도움이 되는 인프라가 필요했습니다.

업스테이지는 Oracle의 강력한 기술 지원과 연구 협업 기회도 높이 평가했습니다. 업스테이지 팀은 Oracle AI 및 인프라 전문가와 협력하여, OCI를 가장 효과적으로 사용하고 모델을 더욱 효율적으로 훈련하는 방법을 탐색할 수 있습니다.

업스테이지의 성장은 시장 출시 속도가 관건

업스테이지는 OCI로 훈련한 AI 모델을 제공하여, 금융 서비스, 의료, 제조, 법률 기업 등 50개 이상의 기업 고객에게 Solar라는 대규모 언어 모델을 공급했습니다. 또한 복잡한 문서를 LLM이 쉽게 처리할 수 있는 형식으로 전환(예: 차트, 스캔된 이미지에서 데이터 추출)하는 Document Parse 서비스를 통해 성공을 거두었습니다. 업스테이지의 AI 기반 서비스는 다양한 공급업체의 송장들처럼 형식이 일정하지 않은 문서에서도 데이터를 가져올 수 있습니다. 이러한 모든 사용 사례에서 업스테이지는 OCI GPU를 사용하여 교육에 필요한 데이터를 활용 및 정리하고, 핵심 AI 모델 훈련을 수행한 다음 모델을 미세 조정했습니다.

업스테이지는 스타트업 기업으로서 자사 AI 모델을 활용해 시장에 신속하게 진출할 필요가 있었고, OCI를 활용해 모델을 빠르게 훈련할 수 있었습니다. 예를 들어, 업스테이지 엔지니어들은 자사 AI 모델 개발의 첫 단계인 OCI의 데이터 전송 속도가 그간 사용했던 다른 클라우드 제공업체의 데이터 전송 속도보다 최소 30% 빠르다고 추정합니다. 김 대표는 모델 훈련에서 신뢰성 역시 과소평가된 특성이라고 말합니다. 훈련 도중 모델이 실패하는 경우 훈련 주기의 마지막 체크포인트에서 프로세스를 시작해야 하므로, 2~3일간 진행했던 훈련 작업을 잃게 될 수 있습니다. 김 대표는 다른 제공업체의 GPU는 한 달에 2~3번 정도 실패하는 일이 예사였는데, Oracle의 OCI는 한 달에 최대 1번이거나 전혀 실패하지 않는 경우도 많았다고 말합니다. 업스테이지가 초기 AI 모델을 완전히 훈련하는 데에는 2~3개월이 소요된 바 있으므로, 훈련 중 며칠을 날린 일이 여러 번이었다면 개발이 상당히 지체되었을 것입니다. OCI는 특유의 저렴한 훈련 비용만큼이나 중요한 특성인 신뢰성을 입증했습니다. "시스템이 안정적이지 못하면 가격이 저렴하더라도 의미가 없습니다"라고 김 대표는 말합니다.

Oracle Connect 기사 더 읽어보기