OCI AI Infrastructure로 혁신적인 게임플레이와 메커니즘을 구현하는 Inworld

Inworld는 개발자가 인터랙티브한 경험을 위해 게이머의 행동에 따라 진화하는 LLM, 내러티브, AI 에이전트를 게임에 내장할 수 있는 선도적인 AI 게임 플랫폼입니다. Inworld는 다양한 AI 모델과 탄탄한 비즈니스 전략을 갖추고 업계의 관심을 모으고 있었습니다. 그러나 Inworld에게는 다양한 모델을 백본에 연결해 향후 성장을 지원하기 위한 파이프라인을 훈련하고 제공할 필요가 있었습니다. 신생 기업이었던 Inworld는 아직 컴퓨팅 GPU 클러스터를 보유하고 있지 않았습니다. 대신 필요한 대로 확장할 수 없는 공급업체의 GPU를 시간 단위로 사용했습니다. 그러나 Inworld가 성장함에 따라 수요를 충족하기 위한 확장이 갈수록 필요해졌습니다.

또한 엔지니어링 팀은 개발, 테스트, 교육을 위한 데이터를 공급업체 간에 지속적으로 이동해야 했습니다. 이는 Inworld 모델에 대한 API 호출의 기능적 안정성에 영향을 미쳐 리소스 낭비를 야기했습니다. 이러한 장애물은 Inworld에서 사용하는 머신러닝 모델의 고유한 특성으로 인해 더욱 복잡해졌습니다. 높은 부하가 걸리는 다양한 게임 사용 사례별로 실시간으로 성능을 발휘하도록 설계된 음성 인식, 문맥 인식, 음성 합성 모델 등이 그것이었습니다.

2023년 트래픽 폭증 사고로 인해 Inworld의 경영진은 보다 안정적인 인프라가 필요하다는 사실을 깨달았습니다 한 유명 YouTube 스트리머로 인해 Inworld의 수요가 100배나 증가했기 때문입니다. 따라서 Inworld는 안정성과 지연 시간을 유지하며 트래픽을 처리하는 것을 목표로 모든 모델과 데이터를 단일 클러스터로 통합할 수 있는 클라우드 인프라를 물색했습니다.

Inworld는 다양한 클라우드 제공업체를 비교 분석한 결과 Oracle Cloud Infrastructure(OCI)를 선택했습니다. OCI AI Infrastructure는 초저지연 RDMA 클러스터 네트워크로 연결된 고성능 컴퓨팅 베어메탈 GPU로 Inworld에 필요한 기술적 요소를 충족했습니다. 또한 Inworld는 OCI Kubernetes Engine(OKE)을 사용하면 개발 작업을 간소화할 수 있다는 사실을 깨달았습니다. 또 다른 핵심 요소는 배포를 최적화하는 데 도움을 준 Oracle의 지원 팀이었습니다. "계약 체결 전부터 Oracle과 함께 일하는 동안 정말 훌륭한 지원을 받았습니다." AI 담당 부사장인 Igor Poletaev는 말합니다.

ML 개발과 프로덕션을 OCI 상의 단일 지점으로 마이그레이션한 후 Inworld 팀은 개발 주기를 크게 단축하고 유지보수 비용을 절감했으며 보다 창의적인 R&D 작업에 리소스를 할당할 수 있게 되었습니다. Inworld는 자체 모델과 오픈 소스 모델을 함께 훈련하고 제공하기 위한 256개의 GPU 클러스터부터 사용을 시작했습니다. OCI는 Inworld가 생성형 AI NPC 캐릭터를 사용해 게이머들에게 진정한 몰입형 경험을 제공할 수 있도록 지원했습니다.