Art Wittmann | Oracle Technology Content Director | 2025년 9월 8일
기업은 이상 감지, 벡터 검색 등의 다양한 AI 기술을 이미 오랫동안 사용해 왔습니다. 그러나 대부분의 기업에게 있어 자연어로 컴퓨터와 대화하는 것, 예를 들어 컴퓨터에 비즈니스 성과에 대한 질문을 입력하고 성과의 근본 원인을 논의하는 것과 같은 작업이 가능해진 것은 불과 몇 년 전의 이야기입니다. 눈 깜짝할 사이에 데이터를 분석할 수 있는 컴퓨터가 귀사의 비즈니스에 어떤 도움을 줄 수 있을지 상상하는 것은 어렵지 않습니다. 그러나 AI를 활용해 실질적인 비즈니스 가치를 도출하기 위해서는 상당한 투자가 필요하고, 그만한 비용을 정당화할 수 있을지 여부도 늘 확실한 것은 아닙니다.
요컨대, AI가 비즈니스적으로 중요한 역할을 수행할 것이라는 점에는 광범위한 합의가 이루어졌지만, 확실한 ROI 계산에 기반한 강력한 비즈니스 사례를 구축하는 것은 여전히 도전 과제로 남아 있습니다. 본문을 통해 AI에 대한 투자를 정당화하는 방법을 더 자세히 살펴보겠습니다.
인공지능이란 일반적으로 사람의 지능이 필요한 작업을 수행하도록 설계된 컴퓨터 시스템을 말합니다. AI의 가장 진보된 형태인 대규모 언어 모델(LLM)은 인터넷 및 기타 소스로부터 수집한 대규모 데이터 세트를 학습합니다. 학습을 완료한 LLM은 언어 이해, 다양한 분야별 지원 제공, 광범위한 작업 완료를 위한 계획 수립 등에 탁월한 성능을 발휘합니다. 기업의 자체 데이터를 학습한 모델은 이같은 사용 사례에 특히 유용합니다.
핵심 요점
2022년 출시된 ChatGPT는 학생들의, 또한 기업의 리더들의 큰 관심을 끌었습니다. ChatGPT는 출시 이래로 많은 학생들의 작문 과제를 도와 주었지만 광범위한 비즈니스적 활용을 위해서는 더 많은 기술적 발전이 필요했습니다.
현재 기업들은 개중에서도 특히 2가지 개선점을 통한 혜택을 얻고 있습니다. 첫 번째는 일반적으로 검색 증강 생성(RAG) 또는 모델 컨텍스트 프로토콜(MCP)로 불리는 기술을 통해 비즈니스 데이터에 접근할 수 있게 된 점입니다. RAG, MCP 및 그와 유사한 기술들이 관련 데이터를 제공하면 대규모 언어 모델(LLM)은 해당 맥락을 활용해 고객의 제품 상세 정보 요청이나 경영진의 매출 예측에 관한 'what if' 시나리오와 같은 비즈니스 관련 질문에 답변할 수 있습니다.
두 번째는 AI가 과거의 작업 수행 방식을 이해하고, 더 복잡한 작업을 완수하기 위한 도구 세트를 활용해 새로운 계획을 수립할 수 있는 능력을 갖추게 되었다는 점입니다. 이는 에이전틱 AI로 불리는 기술로서 MCP 활용이 확산됨에 따라 AI를 활용해 실질적인 비즈니스 가치를 창출하기 위한 핵심 요소로 자리잡고 있습니다. AI가 비즈니스에 활용될 것인지 여부를 논하는 것은 더 이상 의미가 없습니다. 언제, 어떻게 활용될지를 논하는 데 초점을 맞춰야 합니다.
다음은 현재 기업들이 AI를 성공적으로 활용하고 있는 9개 분야입니다.
대부분의 고객 서비스 상호 작용은 반복적입니다. 즉, 질문 이력, 해결 사례, 제품 문서에 접근할 수 있는 AI는 유능한 1차 고객 서비스 담당자 역할을 수행할 수 있으며, 새로운 도구를 활용해 1차 담당자 이상의 업무를 수행할 수도 있습니다. 예를 들어, 에이전틱 AI는 과거 상호 작용 데이터를 학습하고 고객과 대화를 주고받으며 통해 문제를 해결할 수 있습니다. 고객 서비스 비즈니스 사례는 완전하고 방대한 고객 서비스 데이터가 뒷받침될 때 가장 강해집니다. 다음은 5가지 핵심 활용법입니다.
데이터를 신속하게 분석하고 고객별로 맞춤형 마케팅 및 영업 전략을 수립할 수 있는 AI의 능력은 아주 매력적입니다. 현재 CRM 및 마케팅 자동화 시스템의 기능을 최대한 활용하는 기업일수록 AI 관련 투자 회수 기간이 단축됩니다. 데이터 품질이 우수할수록 AI를 도입했을 때 더 나은 결과를 얻을 수 있습니다. 귀사의 영업사원들은 고객과의 접촉 내용을 꼼꼼히 기록하고 있나요? 그럴 수도, 그렇지 않을 수도 있을 것입니다. 어느 쪽이든 AI가 도움을 줄 수 있지만, AI는 가용 데이터가 많을수록 더 우수한 결과물을 제공합니다.
인공지능(AI)은 예외 상황이 발생할 수 있는 반복적 프로세스를 자동화하는 데 특히 적합합니다. 특히 ERP를 핵심으로 한 호환 제품군을 활용해 운영을 관리하는 기업에서 그 효과가 두드러집니다. AI를 최대한 활용하려면 운영 및 재무 데이터에 적용할 수 있어야 합니다. 이는 ERP 중심 시스템 내에서, 또는 기업이 사용하는 운영 시스템에서 데이터를 추출하도록 연결된 데이터 웨어하우스를 활용해 구현할 수 있습니다.
공급망 관리 같은 포인트 제품에 내장된 AI의 가치가 떨어진다는 뜻은 아닙니다. 그러나 AI가 일상 업무를 포괄적으로 파악할수록 운영 효율성과 조직적 인사이트는 더욱 향상됩니다.
재무팀에는 종종 인력이 부족해 보입니다. AI는 많은 리소스를 소모하는 수많은 일상적인 업무를 대신 처리함으로써 재무팀을 도울 수 있습니다. 문서 캡처, 이해, 분류용 AI는 재무 분야에서 수동 데이터 입력을 크게 줄이는 데 기여할 수 있습니다. 미수금과 관련해서는 AI가 지급 내역을 장부에 정확히 입력하고 필요한 총계정원장 기록을 생성할 수 있습니다. 또한 AI는 구매 주문서와 입고 내역 및 청구서를 매칭하여 주문한 물품을 제대로 수령했는지, 적절한 금액이 청구되었는지 확인할 수 있습니다.
AI는 직원이나 신입 사원이 기록 시스템, 정책, 복리후생 정책 등을 파악하고 직무 기술서 및 채용 공고를 작성하는 데 도움을 줄 수 있습니다.
제품 개발을 위한 AI 기반 도구는 실제 프로토타입 제작 전 설계, 코딩, 테스트, 시뮬레이션을 지원하는 에이전트 형태로 제공되는 경우가 많습니다. 개중 몇 가지 예시는 다음과 같습니다.
역사적으로 데이터 분석은 전문 기술과 고가의 도구를 갖춘 전담 팀이 필요한 작업이었습니다. 의사 결정자들은 분석 팀이 어떤 사실을 도출해내길 원하는지 전략적으로 접근해야 했습니다. 그러나 이제 AI가 분석을 변화시키고 있습니다. 이제 분석은 자연어 프롬프트와 보고 기능을 통해 비즈니스 사용자가 직접 질문을 구성할 수 있는 셀프 서비스 활동으로 진화 중입니다. 핵심 요소는 광범위한 비즈니스 데이터에 대한 접근성입니다. 이를 통해 AI는 판매 파이프라인을 기반으로 수요를 평가하거나 재고 데이터를 바탕으로 배송 일정 관리를 예측하는 등의 작업을 수행할 수 있습니다. AI와 데이터 분석이 클라우드에서 만나는 사례가 갈수록 증가하고 있습니다.
AI는 데이터 보안 및 IT 운영을 향상시킬 수 있는 중요한 기회를 제공합니다. 이상 감지 기술은 활동을 실시간으로 모니터링하여 기업이 위협을 식별하고 완화할 수 있도록 지원합니다. 그러나 공격자들 역시 AI를 사용하므로 기업은 지속적으로 앞서 나가야 한다는 도전 과제에 직면하게 됩니다. 긍정적인 측면은 AI가 복잡한 기업 애플리케이션의 관리 시스템에 통합되고 있다는 점입니다. Oracle은 2018년부터 일부 데이터 관리 제품에 자율 관리 기능을 도입하기 시작했으며 2023년에는 Autonomous Database를 발표했습니다. 해당 시스템에 내장된 AI는 자체 구성, 자체 패치, 자체 튜닝 작업을 수행함으로써 DBA의 업무 부담을 줄여주고 데이터로부터 가치를 창출하는 작업에 집중할 수 있도록 만들어 줍니다.
변호사 및 법률 보조원이 수행하는 많은 반복적인 업무들을 AI 어시스턴트가 더 빠르고 정확하게 처리할 수 있게 됨에 따라 다른 분야들과 마찬가지로 법률 분야도 5년도 채 되지 않아 완전히 달라질 것으로 예상됩니다. AI가 도움이 될 수 있는 몇 가지 분야는 다음과 같습니다.
AI 관련 비즈니스 사례를 개발하는 것은 요구 사항을 파악하고 관련 솔루션에 대한 비용을 지불하는 것으로 끝나는 간단한 일이 아닙니다. AI는 기업의 대부분의 조직에 영향을 미칠 잠재력을 지니고 있기 때문입니다. 1970년대부터 1980년대까지 기업들은 막대한 비용을 초래하는 포인트 솔루션 방식에 의존했습니다. 필요할 때마다 고성능 포인트 솔루션을 구매했고 서로 다른 제품을 통합하여 종합적인 비즈니스 관리 시스템을 구축하는 데 어려움을 겪었습니다.
고성능 솔루션들은 그만큼 비용도 비쌌고, 다양한 솔루션을 연결하기 위한 여러 미들웨어들을 사용해야 했으며 수많은 시스템 통합 업체들이 난립했습니다. 그러나 더 큰 문제는 수십 개의 서로 다른 제품들로부터 데이터를 수집하고, 이를 분석 가능한 형태로 변환하여 비즈니스 전체의 성과를 더 잘 이해하고 미래 성과를 예측하는 과정이 매우 어려웠다는 점입니다.
뚜렷한 전략 없이 AI를 도입하면 비슷한 고통을 반복하고 경쟁 우위를 잃게 될 가능성이 높습니다. AI 비즈니스 사례 수립에 도움이 될 만한 단계는 다음과 같습니다.
1. AI 전문가 조직(CoE) 위원회 만들기
AI에 관심을 보이는 각 부서 및 IT 부서별 리더들을 모아 각자의 AI 관련 목표와 관심사를 파악합니다. 이 그룹은 AI 도입 시작점, 실행 계획 수립, 성과 추적 등을 담당합니다.
효과적인 AI CoE 구축을 지원하는 14단계 체크리스트를 작성했습니다. 3가지 범용 모범 사례도 포함되어 있습니다. 지금 바로 무료로 확인해 보세요.
2. 공급업체들의 AI 로드맵 파악하기
귀사의 현 공급업체들은 이미 AI 서비스를 제공하고 있으며 더 많은 기능을 추가할 계획일 것입니다. 귀사에서 보다 포괄적인 전략을 수립하는 동안 기존 애플리케이션에 추가된 AI 기능들을 테스트해 보는 것은 효율성 향상을 위한 좋은 출발점이 됩니다.
직원들이 AI를 받아들이도록 만드는 최선의 방법은 워크플로에 직접 통합하는 것입니다. 접근하기 어려운 AI는 활용도가 낮습니다. 주요 공급업체의 AI 로드맵이 부족하거나, 공급업체가 너무 많고 시스템 간 연동이 간단히 이루어지지 않는다면 다른 업체로의 변경을 고려해 보아야 합니다. 특히 레거시 온프레미스 애플리케이션의 경우 더욱 그렇습니다. 경쟁사들은 이미 AI를 활용하고 있으며, AI를 도입하는 방법을 모색하지 않을 경우 뒤처지게 될 것이라고 생각하고 움직여야 합니다. 일반적으로 클라우드 기반 애플리케이션은 AI 기능을 더 빠르게 제공합니다.
3. 데이터 전략 개발하
'좋은 AI는 좋은 데이터로부터 만들어진다'는 표현은 진부하지만 사실입니다. AI 에이전트가 미수금 및 미지급금을 자동화하기를 원한다면 최소한 재무, 영업, 재고 관리 시스템과 연결되어야 합니다. 시나리오 계획 수립에 AI를 활용하고 싶으신가요? AI가 데이터를 추출하기 위한 데이터 웨어하우스나 데이터 레이크가 필요할 수 있습니다. 적절한 데이터 연결을 용이하게 구축할 수 있을수록 AI의 효과는 더 뛰어나고 더 빠르게 나타납니다.
4. AI 도입 로드맵 수립하기
AI는 비즈니스 전반에 도움을 줄 수 있으므로 그 영향력과 장기적 ROI가 가장 큰 프로젝트를 우선시하며 바로 시작하고자 하는 유혹을 받을 수도 있습니다. 대규모 프로젝트를 염두에 두고 소규모 프로젝트들로 그 기반을 마련하는 것은 좋은 생각이지만, ROI가 명백하고 즉시 측정 가능하며 빠른 성과를 내는 작업부터 시작해야 합니다. 작업 자동화는 많은 경우 좋은 시작점입니다.
5. 부서별 도입 속도를 존중하되 필요 시 촉진하기
개발팀은 이미 코딩을 지원하는 AI를 활용 중일 수 있습니다. 반면 영업팀의 도입 속도는 더 느릴 수 있습니다. 인사팀은 직원들이 복리후생 및 정책을 이해하도록 돕는 챗봇을 활용해 명확한 성과를 얻을 수 있습니다. 재무팀은 AI를 활용해 AR/AP 업무 부담을 줄이고 월말 결산 속도를 높일 수도 있습니다. 빠른 성과를 도출한 팀의 소문이 퍼질수록 더 많은 직원들이 AI 도입에 동참할 것입니다. 특정 팀이 여전히 AI 도입을 주저하는 경우 경영진의 독려가 필요할 수도 있습니다.
6. 성과 공유하기
기업의 모든 구성원이 AI로 업무를 자동화하고 데이터를 분석한다는 아이디어를 환영하지는 않을 것입니다. 소규모 프로젝트의 성과는 AI 도입을 주저하는 직원들에게 위협적이지 않은 방식으로 그 가치를 입증할 수 있습니다. 또한 소규모 프로젝트를 통해 IT 부서가 데이터를 안전하게 보호할 계획을 가지고 있으며 자동화된 작업이 일관적이고 정확하게 수행됨을 보여줄 수도 있습니다.
Oracle은 귀사가 어디에, 어떤 방식으로 AI를 배포하든 가장 잘 활용할 수 있도록 지원합니다. Oracle Applications에는 추가 비용 없이 사용 가능한 수백 가지 AI 기능이 포함되어 있으며, 유용한 AI 에이전트도 지속적으로 추가되고 있습니다. Oracle Cloud Infrastructure(OCI)는 AI 모델 사용자 및 개발자 모두를 위한 탁월한 가성비를 제공합니다. 또한 다양한 AI 서비스와 파운데이션 모델을 인기 있는 오픈소스 도구 및 프레임워크와 결합해 사용할 수 있는 플랫폼입니다. 물론 Oracle 데이터베이스를 AI와 연결하여 데이터 분석 및 기타 다양한 용도로 사용할 수 있는 최고의 플랫폼이기도 합니다.
비즈니스에 AI를 통합하는 것은 계획과 데이터 준비가 필요한 다단계 프로세스입니다. 그러나 직원들에게는 흥미로운 경험이 될 수도 있습니다. 연구에 따르면 AI 도입을 주도하는 것은 주로 IT, 마케팅, 영업, 고객 서비스 부서지만 인사, 재무, 운영, 현장 관리 및 다른 팀들도 AI의 혜택을 누릴 수 있습니다. 또한 대기업이 중소기업보다 AI를 더 빠르게 도입했지만, 중소기업도 빠르게 따라잡고 있다는 연구 결과도 있습니다.
AI를 활용해 확보한 시간으로 직원들이 얼마나 더 창의적이고 고객들에게 도움이 될 만한 업무를 수행할 수 있을지 기대되지 않으시나요?
데이터는 실제 생산성 향상으로 이어지는 AI 프로젝트와 그렇지 못한 프로젝트를 가르는 요소입니다. Oracle의 ebook을 통해 성공적인 AI 활용을 뒷받침하는 견고한 데이터 기반을 구축하는 과정에서 고려해야 할 7가지 핵심 질문을 확인해 보세요.
AI를 비즈니스에 통합하는 방법은 무엇인가요?
기업의 AI 통합은 4가지 핵심 단계로 이루어진 전략적 프로세스입니다. 먼저 재무팀의 효율성 향상, 1차 고객 지원 역할 수행 등 AI가 명확한 투자 효용을 제공할 수 있는 도전 과제나 기회를 파악합니다. 다음으로 AI 모델에게 고품질의 접근이 용이한 데이터를 제공하기 위한 데이터 인프라를 준비합니다.
사용 사례 및 데이터 소스를 확보한 뒤 사용할 도구를 선택합니다. 대부분의 기업은 AI 기능이 내장된 기존 소프트웨어를 사용하거나 클라우드 공급업체 파트너를 찾습니다. 특수한 요구 사항을 충족하기 위한 커스텀 솔루션 개발도 가능하지만 비용이 많이 듭니다. 마지막으로 AI 솔루션을 워크플로에 통합하고, 직원들에게 사용법을 교육하고, 성과와 ROI를 추적해 다음 프로젝트에 활용합니다.
기업의 AI 사용 사례로는 어떤 것들이 있나요?
리테일 업체는 AI 기반 추천 엔진을 활용해 고객의 탐색 및 구매 이력, 선호도, 유사 구매자 행동 등을 분석합니다. AI는 실시간으로 관련 제품을 제안함으로써 매출 증대와 쇼핑 경험 개인화를 지원합니다.
생성형 AI의 유효한 비즈니스 사용 사례로는 어떤 것들이 있나요?
많은 기업들이 창의적 업무 및 생산적 업무에 AI를 활용하고 있습니다. 마케팅팀이 AI를 활용하는 대표적인 방법으로는 보도 자료, 블로그 게시물, 제품 설명, 소셜 미디어 업데이트 작성 등이 있습니다. 개발자들은 코드 작성, 문서화, 디버깅 작업에 LLM을 활용하고 있으며, 많은 기업들이 복잡한 고객 및 직원 문의를 직접 처리하고 과거 지원 사례를 요약해 담당자들을 지원할 수 있는 고급 챗봇을 배포하고 있습니다.