생성형 AI를 우리 회사에 꼭 맞게 도입하는 방법 8가지

새로운 길을 선두로 달리는 방법 1편

최근 생성형 AI가 화두로 떠오르면서, 생성형 AI 도입 전략 개발이 포춘지 선정 500개 기업의 리더들의 주요 핵심 과제로 부상하고 있습니다. 그 중에서도 가장 중요한 부분은 바로 고객 교육 부문일 것입니다.

이 연재물은 생성형 AI의 잠재력을 효과적으로 활용하기 위한 총 6부작의 지침서로 연재될 예정입니다.

본 게시물에서는 사용 사례, 데이터 준비, 레거시 시스템 통합, 문화적 변화 식별, 데이터와 관련된 위험 평가, 바람직하지 않은 결과, 원활하고 가치 중심적인 도입에 대한 비현실적인 기대 등 생성형 AI 도입을 위한 기업의 주요 고려 필수 사항을 살펴보겠습니다. 주요 사용 사례를 소개하고, 리스크를 최소화할 수 있는 인사이트를 제공해드릴 수 있도록 노력하겠습니다.

끊임없이 진화하는 엔터프라이즈 기술 환경에서 생성형 AI의 잠재력을 활용하기 위한 경쟁이 계속되고 있습니다. 특히 기업의 경우 생성형 AI를 운영에 통합하는 것이 전략적 필수 요소입니다. 이를 위하여 비즈니스 리더가 기업에 맞는 생성형 AI 도입 방향성을 계획하기 전에 반드시 고려해야 할 몇 가지 핵심 사항이 있습니다.

1. 생성형 AI가 적용 가능한지 또는 필요한지 평가해보기

다양한 산업에서 생성형 AI와 대규모 언어 모델(LLM)이 널리 도입됨에 따라 이러한 기술을 구현하는 것이 비즈니스에 이점을 가져다 줄 수 있는지에 대한 자연스러운 의문이 생겼습니다. 생성형 AI의 활용 잠재력은 상당하지만, 그 효과는 어떻게 그리고 왜 사용하느냐에 따라 결과가 달라진다는 점을 명확하게 인지하는 것이 중요합니다. 생성형 AI의 잠재력을 최대한 실현하기 위해서는 적절한 사용 사례와 적용 목표를 구분하는 데 있습니다. 이 점을 더 자세히 설명하기 위해 몇 가지 실제 예를 살펴보겠습니다.

예제 1

A회사는 데이터베이스에 광범위한 제품 리뷰들을 보관하고 있습니다. 그들의 목표는 이 리뷰를 통하여 고객 반응을 더 잘 이해함으로써 보다 경쟁력있는 제품 개발 전략을 세우는 것입니다. 그들은 고객이 남긴 리뷰들의 감정을 분석하여 제품에 대한 의미있는 통찰력을 얻기를 원합니다.

단순히 이 작업을 위해 맞춤형 생성형 AI 솔루션을 개발하는 것 보다는, 이 문제에 최적화되어 이미 개발된다른 기계 학습(ML) 모델 도입을 고려하는 것이 도움이 될 수 있습니다. 통상적이고 일반적인 문제 해결을 위해서는 다양한 오픈 소스이나 OCI(Oracle Cloud Infrastructure) 언어와 같은 클라우드 기반 서비스를 사용하여 텍스트에서 감정을 분석하는 프로세스를 자동화할 수 있습니다.

예제 2

회사 B는 고객에게 채팅을 통한 응대서비스를 제공합니다. 문의의 성격을 구분하고, 해결 방법을 제공하기 위해서 각 채팅으로 접수된 내용의 개요는 사람이 직접 작성하고 있습니다.

이 예시는 AI 모델을 사용하여 프로세스를 자동화할 수 있는 훌륭한 케이스입니다. 이러한 대화에는 질문, 답변 및 정기적인 토론과 같은 다양한 구성 요소가 있습니다. 이러한 채팅 대화의 복잡성을 감안하면, 간단한 방법을 활용하는 모델은 이 작업에 적합하지 않습니다. 하지만, LLM이 자유 형식 Q&A, 정보 추출 및 요약과 같은 사용 사례와 잘 작동한다는 점을 떠올려 보면, 이를 통해 프로세스 자동화를 할 수 있다는 것을 알게 됩니다. 덕분에 시간과 리소스를 모두 절약할 수 있을 것입니다.

2. 사용 사례 파악 및 명확한 비즈니스 목표 정의

생성형 AI를 통해 제대로된 비즈니스 기회를 발굴하고 싶다면, 무엇보다 충족해야 하는 비즈니스 요구 사항과 사용 가능한 데이터를 제대로 이해하는 것이 선행되어야 합니다. 비즈니스 목표를 명확하게 정의하고, 생성형 AI로 해결하려는 특정 과제를 선별해보세요. 그리고 나서 생성형 AI 전략이 비즈니스 목표 달성을 위한 적합한 수단이 될지 다시 한 번 생각해봐야 합니다.

가장 좋은 시발점은 다음 예와 같이 생성형 AI가 무엇을 돕고, 어떤 아이디어를 낼 수 있는지에 대한 몇 가지 예를 아는 것입니다.

• 기존 프로세스 간소화 :생성형 AI가 현재 수동으로 수행되고 있거나 시간이 많이 소요되는 작업을 위한 솔루션이 될 수 있는지 살펴보세요.
• 현재 운영 확대 :생성형 AI는 기존 데이터에서 귀중한 인사이트를 추출하고 이를 외부 데이터 소스와 병합하여 분석 시스템을 강화하는 데 도움이 될 수 있습니다.
• 새로운 제품 개발 :생성형 AI가 새로운 비즈니스 아이디어에 적합한지 판단하려면, 비즈니스 목표와 사용 가능한 데이터 자산을 고려하여 실제로 사용 가능한지 파악하는 것이 무엇보다 중요합니다.

아래 예시는 실용 가능 여부를 판단하는 데에 도움이 될 수 있습니다. 선정한 애플리케이션이 제공된 사용 사례와 일치하거나 이러한 사용 사례와 유사한 비즈니스를 위한 새 애플리케이션을 만들 수 있다면 생성형 AI는 그 무엇보다 가치 있는 선택이 될 것입니다

3. 위험성 및 이점 평가

생성형 AI를 도입하면 프로세스 자동화, 수익 창출, 비용 절감, 효율성 향상, 고객 경험 개선 등 많은 이점을 얻을 수 있습니다. 하지만 동시에, 위험을 인식하고 올바른 기대치를 설정하는 것 또한 놓치지 말아야 할 부분이죠. 이와 같은 맥락에서, 우리는 기업이 데이터 및 보안 현황에 항상 의문을 가지며 점검할 뿐 아니라, 모델 추론 중에 발생하는 문제들 또한 식별 및 해결하는 것을 권고합니다.

생성형 AI의 잠재력이 상당하다고 하지만, 기술을 과장하고 비현실적인 기대치를 설정하는 데에 더 큰 위험이 따른다는 것도 간과할 수 없습니다. 어느 기업의 리더나 최대한 빨리 혁신적인 결과를 제공해야 한다는 압박에 시달리고 있기 마련이므로, 기대하는 만큼의 과대 효과를 보지 못할 경우 크게 실망할 수 있습니다.

다른 중요한 요소로는 데이터 제공 및 개인 정보 보호에 대한 인식, 상당한 리소스 투자 및 계산 비용 등이 있을 것입니다.

4.데이터 준비 상태 및 품질 측정

기저 데이터의 접근성과 품질은 AI 전략의 성공 여부에 영향을 미칠 수 있습니다. 따라서, 리더에게 데이터 인프라에 대한 포괄적인 점검 평가를 사전에 진행하는 것을 권고합니다.

5. 레거시 시스템 및 기술 부채와의 통합 평가

생성형 AI의 진정한 잠재력은 핵심 비즈니스 운영에 적영될 때에야 비로소 제대로 실현될 수 있습니다. 많은 조직이 생성형 AI 솔루션과의 통합에 최적화되지 않은 기존의 레거시 시스템으로 운영됩니다. 이런 상태로 시스템을 통합하면, 기술적 문제가 발생하고, 성능 병목 현상이 발생하여 생성형 AI 솔루션의 가치가 희석될 수 있습니다.

6. 위험을 최소화하기 위해 단계적 구현 접근 방식을 고려합니다.

생성형 AI를 소규모 내부 프로젝트에 먼저 시도해보는 것은 더 큰 규모로 출시하기 전에 취할 수 있는 아주훌륭한 테스트 단계가 될 수 있습니다. 이 소규모 파일럿은 이 기술이 비즈니스에 어떤 이점을 줄 수 있는지 확인하는 데 도움이 될 것입니다. 내부 사용 사례를 통해 사용자 행동을 학습하면 리스크를 최소화하는 데 도움이 됩니다.

Oracle도 이런 경우에 해당합니다. 내부 검색 엔진 MyOracle Search 개선을 통해 유저들이 수천 개의 내부 리소스를 검색할 수 있도록 하기 위하여 RAG(Retriever Augmented Generation) 접근 방식을 사용해 LLM을 처음 구현했습니다. RAG 접근 방식은 LLM에 대한 지식을 학습된 데이터 이상으로 확장하는 데 도움이 되며, 사용자 지정 문서에서 LLM의 이점을 누릴 수 있는 훌륭한 선택입니다.

생성형 AI가 도입되기 전, 검색엔진은 어휘 유사성을 기반으로 작동해왔습니다. 이는 검색어와 사용 가능한 리소스 간의 키워드 유사성을 찾아 내어, 사용자에게 검색할 관련 문서를 표시하는 방법이었습니다. 그러나 생성형 AI의 통합으로 시스템은 더 이상 키워드에만 의존하지 않아도 됩니다. 덕분에 유저들은 이제 더 복잡하고 유연한 쿼리를 입력하여 결과를 찾아낼 수 있게 되었습니다. AI 모델은 다양한 리소스에서 관련 정보를 수집하고, 일반 검색 기능을 개선할 뿐 만아니라, 사용자에게 두 검색 유형의 이점을 모두 제공하여 입력한 쿼리에 대한 특정 답변을 생성합니다.

소규모 파일럿에서 이 기능이 성공을 거두었기 때문에 이제 회사 내부 및 외부에서도 우리의 다른 검색 엔진으로 기능을 확장할 수 있었습니다.

7. 생성형 AI 도입을 받아들일 능력이 되는지 감사

생성형 AI를 도입하려면 문화적 변화와 조직 내 모든 사람을 위한 새로운 기술 개발이 필요한 경우가 많습니다. 리더는 기존 팀의 기술 향상 뿐 만 아니라, AI 전문 지식을 갖춘 새로운 인재 채용, 생성형 AI를 수용할 만한 조직 문화 및 관행 파기 등 생성형 AI 도입에 대비할 수 있는 사전 환경 조성을 위한 투자를 고려해야 합니다. 우리의 목표는 조직이 비즈니스를 발전시키고 전략적 목표에 부합하는 방식으로 생성형 AI 서비스를 통합할 수 있도록 준비하는 것입니다.

8. 지속적인 모니터링 및 개선 계획

생성형 AI는 일회성 프로젝트가 아닙니다. 특히나 더 모니터링과 개선을 통해 지속적으로 진화해야 하는 기술이죠. 이처럼 생성형 AI 모델의 정확성과 효율성을 유지 또는 개선하기 위해 지속적인 성능 평가와 모니터링 메커니즘이 구축되어야 합니다. 피드백 사이클과 비즈니스 프로세스를 시스템화하면 중요한 의사 결정 분기점에서 인사이트를 수집하고 추론을 감사하는 데 도움이 될 수 있습니다. 지속적인 모니터링과 개선이 수반된 생성형 AI 통합이야말로, 이 기능의 적응력을 높여 장기적으로 신뢰도 높은 가치를 제공할 수 있게 됩니다.

결론

생성형 AI는 단순한 유행을 넘어 매출 증대, 비용 절감, 자원 활용도 향상, 비즈니스 확장을 위한 새로운 작업 수행 능력 등의 이점을 제공하는 상당한 잠재력을 보유하고 있습니다. 기업의 리더들은, 생성형 AI 툴과 LLM의 통합을 통해 앞으로 반드시 고려해야 할 핵심 사항들과 리스크를 엔터프라이즈 전략에 빗대어 볼 수 있게 되었습니다. 이로써 비즈니스를 무한히 발전시킬 수 있을 뿐만 아니라, 빠르게 발전하는 경쟁 환경에서 뒤처지지 않고 계속해서 선두 그룹을 유지할 수 있게 됩니다

다음 호 안내 : 총 6부작으로 구성된 연재 시리즈의 2번째 기사 - "애플리케이션에 대한 대규모 언어 모델(LLM) 최적화를 위한 포괄적인 전술"

오라클 클라우드 인프라스트럭쳐(OCI)를 처음 사용하는 경우 미화 300달러 상당의 크레딧이 포함된 30일 무료 체험판인 Oracle Cloud 무료 체험판을 사용해 보십시오. 자세한 내용은 다음 자료를 참조하세요.

• Generative AI at Oracle
• Generative AI Agents
• Oracle AI
• OCI AI Services
• OCI Data Science

Jyotika Singh
수석응용 과학자 (Principal Applied Scientist), OCI Gen AI

Jyotika는 뛰어난 데이터 과학 리더이자 실무자, AI 책 저자, 연사, 연구원 및 멘토입니다. 그녀는 현재 Oracle에서 수석 응용 과학자로 일하면서 기계 학습 및 제너레이티브 AI 솔루션을 구축하고 있습니다. 그녀는 30개 이상의 컨퍼런스 및 이벤트에서 연사로서 자신의 통찰력을 공유했으며, 데이터 과학 분야의 연구는 존경받는 기업에서 활용하는 여러 특허의 발명으로 이어졌습니다. Placemakr의 데이터 사이언스 이사와 ICX Media의 데이터 사이언스 부사장을 역임한 경력이 있는 그녀는 다양한 산업 분야에 기여할 수 있었고 데이터 사이언스 및 자연어 처리(NLP)의 실제 적용을 통해 상당한 매출 증가를 이뤄 성공적인 인수를 이끌었습니다. Jyotika는 최근 CRC Press/Taylor and Francis와 함께 'Natural Language Processing in the Real World'라는 제목의 책을 저술했습니다. 그녀는 또한 오픈 소스 기여자이며 전 세계 정부 기관, 기업 및 여러 교육 기관의 연구에 활용된 pyAudioProcessing을 비롯한 Python 라이브러리를 만들었습니다. Jyotika는 STEM의 다양성을 촉진하고 야심 찬 개인을 멘토링하기 위해 적극적으로 자원 봉사합니다. 그녀는 Women Impact Tech가 선정한 2023년과 2024년 영향력 있는 여성 50인 중 한 명, DataIQ가 선정한 2022년 데이터 및 분석 분야에서 가장 영향력 있는 100인 중 한 명으로 선정되는 등 여러 상을 수상하며 공로를 인정받았습니다.

Sid Padgaonkar
Sr. Director - Product Management (Gen AI) - Strategic Customers

시드 파드가온카르(Sid Padgaonkar)는 OCI의 전략적 고객 그룹(Strategic Customers Group)의 수석 이사입니다. Sid는 GEN AI 제품 인큐베이션, 아웃바운드 제품 관리 및 GTM 전략에 중점을 둡니다.