RAG vs. 미세 조정 - 선택하는 방법

다양한 주제를 논의하고 학기말 보고서, 감사 편지 등의 여러 작업을 도와 주는 범용 대규모 언어 모델(LLM)은 대중에게 큰 인기를 얻고 있습니다. 그러나 비즈니스 용도로 사용하기 위해서는 이러한 일반적인 출력물만으로는 부족합니다. 예를 들어 특정 기기에 대한 기술 지원을 제공하는 LLM은 해당 분야의 전문 지식을 바탕으로 답변해야 합니다.

현재 생성형 AI 모델이 이러한 전문성을 반영한 응답을 제공하도록 돕는 방법은 두 가지입니다. 미세 조정과 검색 증강 생성(RAG)입니다. 각 방법에는 나름의 장단점이 있습니다. 각 방법이 어떻게 작동하는지, 언제 어떤 방법을 사용하면 좋을지 자세히 살펴보겠습니다.

핵심 요점

• RAG와 미세 조정은 범용 AI 모델을 특정 분야나 특정 활용 목적에 더 적합하게 만들어 줍니다.
• RAG는 LLM이 기업의 내부 데이터 저장소에 접근해 보다 정확하고 맥락에 맞는 답변을 제공할 수 있도록 지원합니다. 이는 최신 정보를 중요시하는 사용 사례에 특히 유용합니다.
• RAG의 일반적인 용도로는 기술 지원, 재고 조회, 리테일 고객 대상 추천 등이 있습니다.
• 미세 조정은 특정 도메인 데이터를 활용해 범용 LLM을 특정한 작업을 위해 학습시키는 방법입니다. 의학, 코딩 등 고유한 논리와 용어를 사용하는 분야가 그 좋은 예입니다.
• 미세 조정과 RAG를 결합하면 LLM에 강력한 도메인 지식과 최신 정보를 모두 제공할 수 있습니다.

검색 증강 생성(RAG)이란 무엇인가요?

RAG는 검색 증강 생성(retrieval-augmented generation)의 약자로서 범용 인공지능(AI) 모델이 기업에 적합하고 유용한 결과를 제공할 수 있도록 돕기 위해 Meta의 연구진이 개발한 아키텍처 프레임워크입니다. RAG는 대규모 언어 모델(LLM)에게 내부 지식 베이스에 대한 접근 권한을 부여하여 기본 학습 데이터를 보강합니다. 결과적으로 LLM의 언어적 유창성과 로컬 데이터를 결합하여 상황에 부합하는 맞춤형 응답을 제공하는 AI 시스템을 구축할 수 있습니다. 이같은 접근 방식은 AI 모델의 미세 조정과 달리 기반 모델 자체를 수정할 필요가 없습니다.

RAG를 사용하는 경우

RAG는 최신 정보 또는 LLM의 학습 데이터에 포함되지 않은 기업의 고유한 데이터를 생성형 AI의 응답에 반영해야 하는 경우 사용하는 기술입니다. 예를 들어, 자사 제품이나 일상 운영과 관련된 신뢰할 수 있고 방대한 자료를 보유 중인 기업은 RAG 아키텍처를 활용해 보유 중인 데이터로 LLM이 주고받는 프롬프트와 응답을 보강해 출력물을 더 유용하고, 검증 가능하고, 정확하게 만듭니다. 이는 헬프 데스크 자동화, 리테일 업체의 제품 재고 확인, 의사가 환자 또는 다른 임상의와 진료 기록을 빠르게 공유하는 등의 개선 효과를 불러옵니다.

RAG 사용 사례

산업 전반에 걸친 RAG의 공통적인 이점으로는 더 정확하고 완전한 데이터 검색, 향상된 고객 지원, 개인화된 콘텐츠 생성 등이 있습니다. 기업은 최신 정보로 LLM을 보완함으로써 사용자 쿼리의 맥락에 맞는 답변을 실시간으로 제공하는 AI 에이전트를 배포하여 인적 개입의 필요성을 최소화할 수 있습니다. RAG는 그 다목적성을 바탕으로 다음과 같은 광범위한 애플리케이션에 적용될 수 있습니다.

• 비즈니스 인텔리전스. 기업은 RAG를 활용해 생성형 AI 모델이 관련 시장 데이터를 가져와 인사이트와 보고서를 자동으로 작성하도록 만들 수 있습니다. 가져올 수 있는 데이터에는 시장 조사, 경쟁사 분석, 판매량, 고객 피드백 등이 있습니다.
• 콘텐츠 추천. RAG는 벡터 데이터베이스와 함께 콘텐츠 추천 시스템 개선에 자주 사용됩니다. RAG는 AI 모델이 사용자 리뷰, 평점, 콘텐츠 설명 등을 검색 및 분석해 사용자 프롬프트에 부합하는 개인화된 추천을 생성할 수 있도록 지원합니다.
• 저널리즘 및 다른 미디어 분야에서의 사실 확인. RAG는 문서를 신속히 검색하고 교차 확인하여 기사, 보고서, 소셜 미디어에서 제기된 주장의 진위를 검증하는 데 도움을 줍니다.
• 의료 진단. 보건의료 분야의 의사 및 다른 의료진은 진단 및 치료 계획 수립에 RAG를 사용할 수 있습니다. RAG는 AI 모델이 환자의 증상 또는 상태와 관련된 의학 증례, 연구 논문, 임상시험 결과 등을 검색하는 과정을 지원합니다.
• 기술 지원. RAG는 기술 지원에 소요되는 시간을 단축하고 사용자 만족도를 향상시킬 수 있습니다. RAG 시스템은 지원 요청과 관련된 문제 해결 가이드 및 문서를 검색하거나 포럼 스레드를 스캔하여 LLM에 제공함으로써 사용자 문제 해결을 지원합니다. 또한 고객의 최근 상호작용 기록을 담은 데이터베이스를 참조해 보다 맞춤화되고 개인적인 서비스를 제공할 수 있습니다.

미세 조정이란 무엇인가요?

생성형 AI 모델의 미세 조정(fine-tuning)은 Anthropic의 Claude 2, Cohere의 Command, Meta의 Llama 2와 같은 범용 모델을 가져와 특정 분야에 특화된 소규모 데이터 세트로 추가적인 훈련을 수행하고, 해당 훈련을 바탕으로 모델의 매개변수를 조정하는 작업입니다. 미세 조정은 모델이 코딩이나 의료와 같은 특정 분야의 미묘한 뉘앙스 및 용어를 파악해 특정한 작업을 더 잘 수행할 수 있도록 돕습니다.

미세 조정을 사용하는 경우

특정 분야에 특화된 LLM이 필요한 경우 미세 조정을 선택합니다. LLM은 추가 훈련을 통해 프롬프트를 더 잘 이해하고 특정 분야의 미묘한 차이와 용어를 반영한 출력을 제공할 수 있습니다. 미세 조정을 위해서는 훈련 과정에 맞춰 선별된 대규모 데이터 세트나 문서 저장소를 확보해야 하지만 모델이 생성하는 콘텐츠의 스타일, 어조, 방식을 더 세밀하게 제어할 수 있다는 점에서 그만한 노력을 기울일 가치가 있습니다. 미세 조정은 마케팅 자료 작성, 고객 상호작용 등에 효과를 발휘할 수 있습니다. 미세 조정은 RAG와 마찬가지로 의학, 코딩 및 기타 고도로 전문화된 분야에서도 유용성을 발휘합니다.

미세 조정의 사용 사례

미세 조정은 일반적인 AI 모델을 특정 작업이나 분야에 맞춰 조정하는 과정으로서 다양한 기업의 성과를 크게 향상시킬 수 있는 강력한 기법입니다. 특히 개인화와 전문화가 핵심인 경우 뛰어난 효과를 보입니다. 미세 조정이 특히 효과적인 일반적 사용 사례의 예시는 다음과 같습니다.

• 고객 지원 자동화. 기업의 제품, 서비스, 운영에 관한 방대하고 체계적으로 정리된 데이터 및 문서 컬렉션을 활용해 LLM을 미세 조정하면 LLM이 더 유용하고 자동화된 고객 지원 시스템 역할을 수행할 수 있습니다. 미세 조정된 LLM은 고객과의 상호작용에서 사용되는 어휘와 뉘앙스를 더 잘 이해하고 적절하게 응답할 수 있습니다.
• 교육 콘텐츠. 역사나 문법과 같은 특정 분야의 교육 자료로 LLM을 미세 조정할 수 있습니다. 미세 조정된 LLM은 새로운 학습 콘텐츠 생성, 교과서 요약, 퀴즈 문제 생성 등을 지원하고, 나아가 다양한 과목별 개인 지도 세션을 제공할 수도 있습니다.
• 의료 정보 처리. 의학 논문, 익명화된 환자 기록 및 기타 의료 텍스트와 이미지로 미세 조정된 LLM은 치료 및 진단과 관련해 더욱 유용한 제안을 제공합니다.

검색 증강 생성(RAG) vs. 미세 조정: 주요 차이점

미세 조정과 RAG는 모두 범용 LLM을 더 유용하게 만들어 주지만 그 방식은 서로 다릅니다. 간단히 설명하자면 미세 조정은 LLM이 의학, 교육 등의 특정 분야를 더 깊이 이해하도록 만드는 것이고, RAG 아키텍처와 LLM을 함께 쓰는 방식은 LLM이 응답을 생성하는 과정에서 최신 로컬 데이터를 참고할 수 있도록 지원하는 것입니다.

두 방식을 함께 사용해 더 섬세하면서도 시의적절한 응답을 얻을 수 있다면 어떨까요? 현재 이러한 하이브리드 접근 방식이 갈수록 인기를 얻고 있으며, RAFT(검색 증강 미세 조정)라는 약어도 탄생했습니다. RAFT 접근 방식은 특정 분야의 데이터로 미세 조정된 모델을 RAG 아키텍처에 배포합니다. 모델은 응답 생성 시 해당 분야의 전문성을 활용해 가장 관련성 높은 정보를 검색합니다. 결과적으로 매우 정확하고, 관련성이 높고, 맥락을 반영한 출력물을 생성할 수 있습니다.

RAFT에 대해서도 잠시 후 자세히 설명하겠지만, 그에 앞서 두 접근 방식을 더 잘 이해해 보겠습니다.

미세 조정

RAG와 미세 조정은 모두 LLM이 일반화된 훈련 데이터 세트에 바탕을 둔 일반적인 응답을 넘어서 더 특화된 응답을 생성할 수 있도록 돕습니다. 미세 조정은 특정 분야 또는 기업에 특화된 데이터 세트를 사용하여 LLM을 추가적으로 훈련시키는 방식입니다.

• 요구 사항
  IT팀 및 비즈니스팀은 추가적인 훈련을 위해 대규모 데이터 세트를 수집, 정리, 라벨링하는 선행 작업을 수행해야 합니다. 훈련 과정 자체는 컴퓨팅 집약적이며, LLM을 합리적인 시간 내에 훈련시킬 수 있는 충분한 GPU에 기반한 신경망과 고급 AI 아키텍처가 필요합니다.
• 결과
  결과적으로 특정 분야 또는 비즈니스 사례의 정보와 용어에 능숙한 LLM을 얻을 수 있습니다.
• 잠재적 단점
  RAG 시스템과 달리 LLM은 미세 조정 훈련에 사용된 데이터 세트에 전적으로 의존하며, 업데이트된 외부 지식에 액세스할 수 없습니다. 미세 조정된 LLM은 최초 훈련에서 습득한 세부 사항 일부를 잃어버릴 수도, 다시 말해서 '잊어버릴'수도 있습니다. 예를 들어, 의학 같은 특정 전문 분야에 몰입하게 되면 일반적인 대화에서의 섬세한 표현 능력을 잃어버릴 수 있습니다. 현실에서 비슷한 과정을 겪은 의사를 만날 수 있을지도 모릅니다.

RAG

RAG 역시 LLM의 응답을 변경하지만 기반 모델 자체를 변경하지는 않습니다. 대신 RAG 시스템은 로컬 데이터베이스나 선별된 문서 모음을 활용해 LLM의 응답을 보강하며 가장 최신 정보를 반영하는 경우가 많습니다.

• 장점
  데이터 보안 및 프라이버시 측면에서 RAG 아키텍처는 미세 조정에 비해 우수하다는 평가를 받습니다. 엄격한 액세스 제어가 적용된 보안 환경에 데이터를 저장해 사적인 정보가 AI의 응답에 반영되지 않도록 보장해 주기 때문입니다.
• 단점
  미세 조정 대비 RAG의 약점은 특정 분야의 전문성을 갖추도록 언어 모델을 훈련하지 않는다는 점입니다. LLM은 훈련 과정에서 습득한 일반적 지식만을 기반으로 작동하게 됩니다.

기술 세트 및 비용 비교

• 기술 세트
  기술 세트 측면에서 RAG가 더 구현하기 간단하지만, RAG 및 미세 조정 모두 코딩 및 데이터 관리에 대한 전문 지식이 필요합니다. 그러나 미세 조정을 수행하는 팀은 자연어 처리(NLP), 딥 러닝, 모델 구성에 대한 더 많은 전문 지식을 갖춰야 합니다.
• 시간 및 비용
  미세 조정은 사전에 더 많은 작업을 수행해야 하지만, RAG는 런타임 시 더 많은 리소스를 필요로 합니다. 미세 조정은 LLM 배포 전 컴퓨팅 집약적 훈련을 여러 차례 수행해야 하므로 RAG 아키텍처 대비 비용이 더 많이 듭니다. 다만 서비스에 투입된 미세 조정된 LLM의 런타임 아키텍처는 꽤나 단순합니다. 반면 RAG 시스템은 LLM에 추가적인 복잡성을 더하고, 최신 데이터베이스를 유지 관리하고 각 프롬프트에 필요한 추가 컴퓨팅 자원을 확보하기 위한 팀을 요구합니다.

하이브리드 접근 방식: RAFT

이와 같이 두 접근 방식에는 각각의 장단점이 있으며, 두 방식의 장점만을 결합하고자 하는 시도로 자연스럽게 이어졌습니다. 결과적으로 RAFT라는 하이브리드 접근 방식이 탄생했습니다.

RAG 또는 미세 조정을 선택하는 방법

RAG 아키텍처 또는 미세 조정 중 어느 쪽을 선택할지는 보유한 자원과 LLM의 활용 방식에 따라 결정됩니다. 아래의 표에서 확인할 수 있듯이, 대부분의 사용 사례는 두 가지 접근법을 결합해 최대의 이점을 얻을 수 있습니다. 대부분의 기업은 먼저 미세 조정에 투자한 뒤 RAG를 자연스럽게 추가하게 됩니다. 개중 어느 쪽을 우선시할지는 다음과 같은 여섯 가지 질문을 통해 결정할 수 있습니다.

1. 응답에 로컬 데이터 및 가장 최신 데이터가 포함되어야 하나요? 기업이 보유한 최신 데이터로 LLM의 응답을 보강하는 것이 RAG의 장점이며, RAG가 빠르게 인기를 얻은 이유이기도 합니다.
2. 특정 산업에 특화된 LLM이 필요한가요? LLM은 미세 조정을 통해 의료 분야와 같은 특정 분야 또는 특정 작업과 관련된 프롬프트를 더 잘 해석하고, 해당 분야에서 사용하는 언어로 응답할 수 있게 됩니다.
3. 데이터 프라이버시 및 보안이 가장 중요시되는 상황인가요? RAG 아키텍처를 사용하는 기업은 민감한 데이터를 안전하게 보호된 로컬 데이터베이스에 보관할 수 있습니다.
4. 응답의 어조와 방식이 중요한가요? LLM은 미세 조정을 통해 특정 기업 또는 분야에서 선호하는 전문 용어로 응답하는 능력을 갖출 수 있습니다. 미세 조정은 고객, 리테일 고객, 파트너사 등의 질문에 답변하는 LLM에게 전문적인 어조를 더해 줍니다.
5. 런타임 리소스가 제한적인가요? 미세 조정된 LLM은 범용 LLM과 비교해 볼 때 추가 런타임 자원이 거의 들지 않습니다. 반면 RAG는 로컬 데이터베이스 쿼리 등으로 인해 구조가 더 복잡해집니다. 결과적으로 시스템 부하가 늘어납니다.
6. 컴퓨팅 인프라 및 AI 기술 세트를 사용할 수 있나요? LLM을 미세 조정하기 위해서는 양쪽 모두 필요합니다. 반면 RAG에는 런타임 리소스와 데이터 인프라가 필요하지만 AI 기술은 상대적으로 적게 필요합니다.

Oracle Cloud Infrastructure(OCI)로 생성형 AI의 비즈니스 가치 극대화하기

RAG를 선택하든 미세 조정을 선택하든, 또는 두 가지를 함께 선택하든 Oracle은 Oracle Cloud Infrastructure(OCI) Generative AI를 통해 모든 고객사의 생산성 향상을 지원합니다. 해당 서비스는 OCI의 강력한 기능과 오픈 소스 또는 상용 LLM을 선택할 수 있는 옵션을 제공하는 완전 관리형 서비스입니다.

Oracle은 고객사가 LLM과 RAG를 손쉽게 결합해 다양한 최신 지식 기반에 바탕을 둔 응답을 생성할 수 있도록 지원합니다. Oracle AI 인프라는 미세 조정을 위한 탁월한 선택입니다. 최대 65,536개 GPU까지 확장 가능한 슈퍼클러스터를 통해 LLM 응답, 컴퓨터 비전, 예측 분석 등의 가장 까다로운 훈련 및 추론 워크로드를 실행하기에 충분한 성능을 제공합니다.

범용 LLM은 Anthropic, Cohere, Google, Meta 등 다양한 기업에서 지속적으로 출시되는 신버전을 통해 계속해서 발전하고 있습니다. 그러나 범용 AI 모델이 인간 언어를 얼마나 능숙하게 처리하든, 그 역량을 특정 비즈니스 사용 사례와 관련된 요구 사항에 연결하기 위한 방법은 항상 필요합니다. 현 시점에서 그를 위한 최선의 방법은 미세 조정과 RAG입니다. AI 모델, 하드웨어, 데이터 아키텍처의 발전에 따라 해당 기술들도 계속해서 진화할 것으로 예상해 볼 수 있습니다.

RAG vs. 미세 조정 FAQ

RAG가 미세 조정보다 나은 방식인가요?

RAG과 AI 모델 미세 조정은 각각의 장단점이 있는 서로 다른 접근 방식입니다. 양쪽 모두 모두 생성형 AI 모델의 유용성을 높여 주는 인기 있는 기법이며 각 기업은 자사에 가장 적합한 쪽을 선택해야 합니다. 인기를 얻고 있는 또 다른 옵션은 두 접근 방식을 결합한 RAFT(검색 증강 미세 조정)입니다.

RAG보다 나은 방법은 무엇인가요?

RAG는 한 마디로 LLM이 기업의 데이터와 문서를 참조하여 더 나은 응답을 제공하도록 돕는 기술입니다. RAG 아키텍처 자체의 한계를 넘어 LLM 응답을 더욱 향상시키는 GraphRAG라는 기법이 등장했지만, 이는 아키텍처 복잡성을 가중시키며 아직 대중적인 사용 사례는 나타나지 않았습니다.

AI 모델의 미세 조정은 LLM이 더욱 타기팅되거나 미세한 뉘앙스를 담은 응답을 제공하도록 지원하는 또 다른 방법으로서 RAG와 결합하여 LLM의 성능을 더욱 향상시킬 수 있습니다.

RAG와 미세 조정을 함께 사용할 수 있나요?

네. 그와 같은 하이브리드 접근 방식은 특정 도메인 데이터로 미세 조정된 모델을 RAG 아키텍처에 배포하여 최신 정보 또는 가장 관련성 높은 정보에 기반한 응답을 제공할 수 있도록 만들어 줍니다.

RAG와 전이 학습의 차이점은 무엇인가요?

RAG는 로컬에 저장된 최신 지식 기반에 액세스하여 LLM의 응답을 개선합니다. 반면 전이 학습은 특정 도메인에 맞춰 미세 조정된 별도의 AI 모델에 액세스하여 범용 AI 모델의 응답을 개선합니다.