기업이 AI를 확장하는 방법

인공지능은 곧 귀사의 비즈니스에도 영향을 미칠 것입니다. 인공지능이 귀사를 위협하는 기술이 아닌 귀사를 위하는 기술이 되도록 만들기 위해서는 파일럿 단계를 넘어 일상적인 운영 단계로 AI 이니셔티브를 발전시켜야 합니다.

먼저 AI를 활용하기 시작한 기업들은 AI를 통해 미수금 및 미지급금 관련 프로세스의 속도 및 정확성을 향상시키고, 법적 보고서 및 기타 조사 보고서를 요약하고, 엑스레이 판독과 같은 중요한 작업을 보강하고 있습니다. AI를 활용해 수백만 건의 금융 거래 데이터로부터 사기를 탐지하고, 분주한 물류창고와 까다로운 제조 현장에서 신속한 의사결정을 수행하는 기업도 있습니다. AI 챗봇으로 갈수록 복잡해지는 고객 지원 요청을 처리하고, 영업 담당자에게는 고객별 거래 성사에 가장 적합한 방안을 제시합니다.

그리고 이상의 모든 사용 사례는 그저 시작에 불과합니다.

그러나 현재 AI를 성공적으로 활용 중인 기업들은 기존의 도구 및 인력을 통합하고, AI가 실제 업무 환경에서 작동하기 위해 필요한 기술적, 문화적 조정을 수행하는 확장 과정을 거쳐야 했습니다.

하단의 본문을 통해 비즈니스용 AI를 확장하는 과정에서 수반되는 다양한 도전 과제를 살펴보세요.

확장 가능한 AI란 무엇인가요?

확장 가능한 AI란 머신러닝(ML) 알고리즘 또는 생성형 AI 서비스를 사용해 기업의 수요에 부합하는 속도로 일상 업무를 수행할 수 있는 AI의 능력을 의미하는 표현입니다. 확장 가능한 AI를 사용하기 위해서는 적합한 속도 및 규모의 알고리즘 및 생성형 AI 모델을 구동하기 위한 인프라와 데이터 볼륨을 갖춰야 합니다. 또한 원하는 결과를 도출하는 데 필요한 정보를 확보하기 위해 비즈니스의 다양한 부문별 데이터를 충분히 통합되고 완전한 형태로 알고리즘에 입력해야 합니다.

AI가 작성한 결과물을 업무에 활용할 수 있는 직원들을 확보하는 것 또한 중요한 요소입니다. 이상의 모든 요건을 갖춘 확장 가능한 AI는 비즈니스 운영에 필요한 속도, 보안성, 정확성, 개인화, 나아가 창의성 향상에도 기여할 수 있습니다.

핵심 요점

• AI를 확장함으로써 다양한 비즈니스 운영을 크게 개선할 수 있습니다.
• AI를 성공적으로 확장하기 위해서는 데이터 관리, 데이터 과학, 비즈니스 프로세스 관리 영역에서 다양한 작업을 수행해야 합니다. 해당하는 작업들은 머신러닝 작업(MLOps)으로 분류되는 경우가 많습니다.
• MLOps의 예시로는 비즈니스 목표 달성을 위해 ML 모델을 새로 구축 및 훈련하는 작업, 또는 목표에 맞춰 기존의 알고리즘이나 대규모 언어 모델(LLM)을 추가적으로 훈련하는 작업 등이 있습니다.
• AI를 일상 업무에 도입하는 기업은 데이터 보안, 데이터 프라이버시, 규제 보고 등의 요소를 고려해야 합니다.

AI 확장이 어려운 이유는 무엇인가요?

AI를 확장하기 위해서는 투자와 노력이 필요합니다. 새로운 역량과 기술, 강력한 컴퓨팅 성능, 기업 운영 방식의 변화도 필요합니다. AI를 확장하기 위해서는 단순히 모델을 구축하고 훈련하는 것에 그쳐서는 안 됩니다. AI를 대규모로 실행되고, 비즈니스 사용자를 위한 모니터링 및 보고 기능을 제공하는 프로덕션급 애플리케이션으로 전환하는 작업이 함께 이뤄져야 합니다.

AI를 확장하는 과정에서 해결해야 하는 주요 도전 과제 6가지는 다음과 같습니다.

1. 데이터: 데이터는 AI의 생명줄입니다. 데이터는 곧 ML 알고리즘을 학습시키는 데 사용되는 정보이자 해당 알고리즘이 결과를 제공하기 위해 스캔하는 정보입니다. ML 모델이 사용하는 데이터는 다양한 형태로 제공됩니다. 관계형 데이터베이스의 행과 열은 물론 텍스트 문서, 이미지, 동영상, 나아가 소셜 미디어에 업로드된 데이터도 사용 가능합니다.
   
   방대한 데이터 세트를 수집, 정리, 분석하기 위해서는 데이터 관리에 대한 전문 지식, 확장 가능한 클라우드 기반 데이터 레이크하우스와 같은 도구 및 클라우드 서비스에 대한 투자가 필요합니다. 데이터 보안 및 프라이버시는 모든 AI 확장 과정에서 중시해야 하는 요소입니다. 확장에 사용하는 데이터는 기업이 보관 중인 중요한 데이터를 보호하는 것과 같은 방식으로 외부 및 내부 위협으로부터 반드시 보호해야 합니다. 또한 AI 운영팀에는 훈련용 데이터에 포함된 민감한 정보가 AI의 결과물에 나타나지 않도록 방지해야 한다는 추가적인 의무가 부과됩니다.


2. 프로세스: AI 확장은 최소 3개 집단이 관여하는 반복적인 프로세스입니다.
   
   
   1. 전문가: 고객 서비스, 배송 물류, 제품 디자인, 방사선학, 회계 등 AI 확장과 관련된 비즈니스 운영의 분야별 전문가들이 필요합니다.
   2. IT 팀: 운영 데이터를 통합, 보호, 표준화하고 필요한 컴퓨팅 성능과 네트워크를 구축합니다.
   3. 데이터 과학 팀: ML 기능을 개발하고, 모델을 선택하고, AI의 배포 및 확장 준비가 완료될 때까지 매개변수를 조정합니다. 비즈니스 운영 전문가는 데이터 과학자와 협력해 AI의 출력물이 가이드라인을 준수하는지 여부를 확인합니다. 기본 모델 자체를 수정할 필요 없이 기업이 보유한 데이터에 기반해 LLM의 출력물을 최적화하는 기술인 검색 증강 생성(RAG)을 사용한 출력물을 조사해 보아야 합니다.


3. 도구: AI 확장에 사용되는 도구 모음은 총 3가지 종류로 구분됩니다. 데이터 과학자가 ML 모델을 구축하는 데 사용하는 도구, IT 팀이 데이터를 관리하고 컴퓨팅 자원을 많이 사용하는 알고리즘을 지원하는 데 사용하는 도구, 비즈니스 담당자가 일상 업무에서 AI 결과물을 사용하는 데 도움이 되는 도구입니다. 데이터 과학 실무자는 다양한 오픈 소스 및 독자적 도구를 사용하는 수십 개의 전문 시스템을 하나로 조립해 새로운 ML 모델을 구축하는 경우가 많습니다.
   
   최근 들어서는 기술 기업들이 데이터 과학, 데이터 관리, AI 운영 도구를 하나의 통합 플랫폼으로 구성해 AI 확장에 사용하고 있습니다. 이러한 방식은 머신러닝 운영(MLOps)으로 지칭되며 AI를 구축, 유지, 모니터링하고 내부 이해관계자 및 규제 기관에 AI 확장의 결과물을 보고하기 위한 도구들이 사용됩니다.


4. 인재: ML 모델을 설계, 학습, 배포하는 데 필요한 전문 지식을 습득하는 데는 많은 시간이 필요하므로 AI에 대한 심층적 도메인 지식을 갖춘 인재는 찾기 어렵고 높은 임금을 요구합니다. 따라서 지금까지 AI 플랫폼을 구축하는 거대 기술 기업 및 기술에 정통한 대기업은 AI 전문 지식을 갖춘 인재들에게 많은 비용을 지불해 왔습니다.
   
   그러나 이제는 MLOps 플랫폼을 클라우드 서비스로 사용할 수 있고, API 호출을 통해 LLM을 사용할 수 있습니다. 이를 통해 더 많은 기업이 AI를 활용할 수 있게 되었습니다. 데이터 관리 및 데이터 과학 전문 지식을 갖춘 인재들은 여전히 필요하겠지만, 클라우드 제공업체의 AI 서비스를 사용하면 AI 모델 구축과 관련된 심층적 전문 지식을 갖춘 인력을 직접 고용함으로써 발생하는 비용적 부담을 줄일 수 있습니다.


5. 범위: 비즈니스 중 일부 분야에 시범적으로 AI를 도입하는 시기가 지나면 AI의 규모를 어느 정도까지 확장해야 할까요? 배송 시간, 고객 경험 또는 기타 측정 가능한 결과 등 운영에서 눈에 띄는 변화를 가져올 수 있을 만큼 충분히 큰 규모의 AI 이니셔티브를 진행하는 것이 이상적인 방향일 것입니다. 그러나 AI 확장의 초기 단계가 너무 복잡하거나 너무 수익 창출에 치중하는 것은 좋지 못합니다. 확장으로 인한 문제가 발생하면 그를 감수하며 진행하기보다 포기해 버릴 확률이 높아지기 때문입니다. 문제가 발생해도 큰 피해가 발생하지 않을 영역에서 작게 시작하는 것이 좋습니다. 기업 내에 그와 관련된 전문성과 자신감이 축적될수록 AI 이니셔티브의 범위는 더욱 크게 확장될 것입니다.


6. 시간: CompTIA에 따르면, AI 프로젝트 중 약 80%가 개념 증명 단계를 넘어서지 못하고, 성공적인 프로젝트도 범위 및 복잡성에 따라 3개월~36개월이 소요된다고 합니다. 이는 모델을 선택 및 배포하고, 통제된 환경에서 AI의 출력물을 모니터링하는 데 소요되는 기간입니다.
   
   기업의 의사 결정권자는 대규모 AI 시스템에 필요한 데이터를 공급하는 과정에서 소요되는 시간 및 노력도 고려해야 합니다. 데이터 과학자 및 IT 팀은 머신러닝 알고리즘을 통해 데이터를 수집, 통합, 저장, 준비, 스트리밍하고 그 결과를 모니터링해야 합니다. 계속해서 새롭게 탄생하고 있는 오픈 소스 도구 및 라이브러리, 자동화 소프트웨어 및 클라우드 서비스 등은 AI 프로젝트의 진행을 가속화하는 데 기여할 수 있습니다. 현장 인력의 역량이 발전함과 더불어 관련 도구도 계속해서 발전해 나갈 것입니다.

확장 가능한 AI가 중요한 이유는 무엇인가요?

AI 확장은 어려운 작업이지만, 비즈니스 리더들은 어려움과 초기 비용은 비즈니스 이익 상승을 통해 상쇄될 수 있다고 생각합니다. McKinsey는 AI는 2030년까지 세계 경제에 약 13조 달러의 가치를 더할 것으로 예상했습니다. 그 이유는 다양합니다. 첫째, 갈수록 많은 기업이 AI를 통해 보유 중인 데이터를 활용함으로써 디지털 경제 하에서의 혁신성과 경쟁력을 강화하기 위한 '디지털 전환' 프로젝트에 착수할 것입니다. AI를 활용해 경쟁 우위를 확보한 기업은 더 큰 혁신을 추구할 수 있습니다. 앞서 AI를 도입한 기업들은 이미 고객 만족도 및 직원 생산성 향상, 선박, 트럭, 제조 장비, 창고 등의 자산의 효율적 사용과 같은 이점을 누리고 있습니다.

기업이 AI를 확장하는 방법

거칠고 험난한 비즈니스 운영 환경에 AI를 도입하는 것은 어려운 작업이 될 수도 있지만, 뛰어난 AI 프로젝트는 그만한 어려움을 감수할 가치가 있습니다. 기업의 비즈니스 목표에 부합하도록 머신러닝 알고리즘 라이브러리를 조정할 수 있는 데이터 과학부터 시작해 보는 것이 좋습니다. 이는 OpenAI, Cohere 등이 제공하는 API를 사용해 대규모 언어 모델에 액세스하고 훈련하는 경우에도 유효한 방식입니다.

다음 단계는 AI를 훈련할 데이터 세트를 찾고 수집하는 것입니다. 데이터 세트는 내부 또는 외부 데이터, 또는 두 가지가 혼합된 데이터로 구성될 수 있습니다. 비즈니스 환경에서 AI를 활용하기 위해서는 고객 서비스, 재무, 법무 등의 부서마다 이해관계자 및 협력자를 확보해야 합니다. 협력자들은 데이터 과학 팀에게 각 비즈니스 분야에 종사하는 직원들의 '하루 일과'에 대한 정보를 제공합니다. 이후 협력자들은 동료 또는 파트너와 함께 AI 기반 프로세스의 개발 및 완성된 프로세스의 광범위한 채택을 지원합니다. ML 모델, 데이터 흐름, 비즈니스 프로세스를 완비한 기업은 AI를 확장할 모든 준비를 갖춘 것입니다.

AI 확장을 위한 7가지 모범 사례

비즈니스 프로세스 내에서 AI 사용을 확장하는 과정에는 많은 어려움이 따릅니다. 다음은 성공적인 확장에 도움을 줄 수 있는 검증된 모범 사례 7가지입니다.

1. 데이터 수명 주기에 집중

데이터 과학자가 ML 모델을 구축하고 기업이 해당 모델을 확장하기 위해서는, 데이터 소스를 통합 및 업데이트하고 안전하고 표준화된 형식을 제공하기 위한 데이터 구조가 반드시 필요합니다.

2. MLOps 표준화 및 간소화

데이터 과학팀 및 ML 운영팀의 직무능력에 부합하고, 귀사가 보유한 IT 인프라 또는 주요 클라우드 제공업체의 인프라에 적합한 MLOps 플랫폼을 선택해야 합니다.

3. 다양한 분야별 관계자들이 협업하는 AI팀

AI 이니셔티브는 여러 분야 및 부서와 관련되어 있습니다. 기업 전반의 이해관계자들에게 도움을 요청해야 합니다.

4. 성공 가능성이 높은 초기 프로젝트 선택

어떤 비즈니스 프로세스든 AI를 도입하는 과정은 복잡합니다. 빠르게 성과를 도출하고, 더 큰 프로젝트를 진행하기 위한 선례를 제시할 수 있는 작은 프로젝트부터 시작하는 것이 좋습니다. 성공적인 프로젝트 수행에 기여할 수 있는 AI 전문가 집단(AI center of excellence)을 구성하는 것도 고려해 볼 수 있습니다.

5. 거버넌스 및 보고 계획

거버넌스가 내장된 데이터 관리, 데이터 과학, 비즈니스 운영 도구를 선택합니다. 관련 보안 및 개인정보 보호 규정을 이해하고, 규제 준수 및 보고 기능을 프로세스 내에 구축합니다.

6. 종단간 모델 추적

AI를 활용한 결과 도출 속도 및 비용, 그 이면의 추론 과정, AI의 결과물이 최종 사용자에게 제공하는 가치 등을 추적하는 데 사용할 수 있는 기능을 찾아보아야 합니다.

7. 올바른 도구 사용

기업 내에서 AI를 확장하기 위해서는 데이터 과학자와 IT 엔지니어가 간단히 협력하고, 두 집단과 비즈니스 담당자들이 AI 거버넌스 및 규제 준수 문제에 대해 함께 협력할 수 있도록 지원하는 일련의 도구를 갖춰야 합니다. 클라우드 기반 데이터 과학 플랫폼은 데이터 과학자 팀이 머신러닝 모델과 노트북(코드 실행, 데이터 시각화, 텍스트 해설이 결합된 대화형 컴퓨팅 환경)을 구축, 교육, 배포, 관리하기 위한 장소를 제공할 수 있습니다. 중요한 것은 트레이너가 모델을 실험하고, 개발하고, 사용 범위를 확장할 수 있는 공간을 제공하는 것입니다.

Oracle 솔루션으로 AI 확장하기

Oracle Cloud Infrastructure(OCI)는 AI를 확장하고자 하는 기업을 위한 스마트한 선택지입니다. OCI 고객은 자사에 가장 적합하고, 필요한 경우 확장 가능한 방식을 통해 AI의 이점을 누릴 수 있습니다. OCI는 ML 모델이 내장된 다양한 SaaS 애플리케이션 및 AI 서비스 뿐만 아니라, ML 모델을 대규모로 구축, 학습, 배포할 수 있는 동급 최강의 인프라를 제공합니다. 또한 Oracle은 Cohere의 최첨단 LLM 기반 생성형 AI 모델에 대한 간단한 액세스를 지원합니다.

데이터 과학자는 완전 관리형 데이터 과학 플랫폼에서 Python 및 기타 오픈 소스 도구를 사용해 머신러닝 모델을 구축, 학습, 배포, 관리할 수 있습니다. Oracle은 모델을 실험하고, 개발하고, NVIDIA GPU 및 분산 훈련 방식을 통해 모델 훈련을 확장할 수 있는 JupyterLab 기반 인프라를 제공합니다. OCI는 대화형 애플리케이션 및 디퓨전 모델을 비롯한 생성형 AI 훈련을 위한 이상적인 클라우드입니다.

OCI는 모델을 운영 환경에 배포하고 관리하는 과정을 지원하는 자동화된 파이프라인, 모델 배포, 모델 모니터링 등의 MLOps 기능을 제공합니다. 지금 바로 Oracle에 문의하거나, 해당하는 서비스들을 무료로 체험해 보세요.

현 시점에서 소비자용 AI가 가장 큰 주목을 받고 있지만, 기업에서도 AI와 ML을 적극적으로 구현하고 있습니다. 엔터프라이즈 AI 확장을 지원하는 새로운 기술 플랫폼과 비즈니스 프로세스가 빠르게 등장하고 있으며, 이는 앞으로 더 많은 프로젝트가 개념 증명 단계로부터 본격적인 운영 단계까지 도달할 수 있도록 만들어 줄 것입니다. 여러 도전 과제들이 아직 남아 있지만, 그를 극복하는 기업은 효율성, 정확성, 데이터 보안, 개인화, 혁신성을 크게 향상시킬 수 있을 것입니다.

AI 확장 방법 FAQ

AI 제품을 확장하는 방법은 무엇인가요?

AI 제품의 확장은 기업 전반으로부터 다양한 이해관계자들이 참여하는 팀 단위의 작업입니다. 이해관계자로는 데이터 과학 전문가, 데이터 관리 및 IT 전문가, AI 제품이 사용될 비즈니스 프로세스에 대해 잘 알고 있는 임직원 등이 있습니다. MLOps 플랫폼은 이렇게 다양한 집단을 한데 모아 ML 알고리즘을 설계, 학습, 배포, 미세 조정하는 과정에 많은 도움을 줍니다.

AI 스타트업을 확장하는 방법은 무엇인가요?

성공적인 AI 스타트업 확장을 위해서는 데이터 수집, ML 모델 또는 LLM, 온프레미스 또는 클라우드 기반 컴퓨팅 인프라에 대한 올바른 결정을 조기에 수행해야 합니다. AI 스타트업은 대규모 데이터 세트를 학습하고 적시에 결과를 제공할 수 있는 성능 및 안정성을 갖춘 복잡한 AI 인프라에 필요한 GPU를 다수 확보해야 합니다.

AI 시스템의 확장성이란 무엇인가요?

확장 가능한 AI 시스템은 변화무쌍한 비즈니스 운영 환경에 적합한 속도와 정확성을 갖추고 있습니다. 이러한 시스템은 확장을 통해 실험 또는 개념 증명 단계를 넘어 여러 사용자 집단에 실제로 서비스를 제공할 수 있습니다.

AI 확장이란 무엇인가요?

확장이란 기업의 요구사항에 따라 확장할 수 있는 모든 컴퓨팅 집약적 서비스를 지칭하는 용어입니다. 애플리케이션에 더 많은 컴퓨팅 리소스가 필요해지면, 해당 애플리케이션을 지원하는 IT 인프라는 그에 맞춰 확장되어야 합니다. 경우에 따라서는 더 이상 필요하지 않은 인프라를 축소하는 것도 확장에 포함됩니다. 예를 들어, 계절적 또는 분기별로 사용량이 급증하는 애플리케이션들이 있습니다. 확장 가능한 클라우드 인프라는 급증하는 급증하는 요구 사항을 충족하기 위해 확장하거나 더 이상 사용하지 않는 인프라에 대한 비용 지불을 방지하기 위해 축소할 수 있습니다.