머신러닝의 미세 조정 알아보기

기업용 AI가 더욱 유용해지고, 특히 AI 에이전트가 더 복잡한 워크플로를 수행하게 될수록 AI 미세 조정의 중요성은 더욱 부각될 것입니다. AI 에이전트는 데이터 관련 질문에 답변하고 사람을 대신해 코드 작성, 일정 관리, 분석적 인사이트 제시 등의 다양한 작업을 수행할 수 있습니다. 작업 수행 과정에서 AI 모델들은 데이터 및 문서 저장소를 조사하고, 정보를 수집하고, 정확성을 재확인하고, 적절한 조치를 실행하고, 이를 전달하기 위해 협업합니다. 정교한 AI 모델들은 언어의 일반적인 패턴을 숙지해야 하지만, 그에 더해 각기 고유한 용어, 지식 기반 등을 가진 특정 분야에 최적화되어야 할 것입니다. 미세 조정 과정이 AI 모델과 AI 에이전트가 미묘한 뉘앙스와 세부 사항을 정확히 파악하도록 지원하는 방식은 무엇일까요? 본문을 통해 AI 모델 미세 조정의 다양한 측면들을 확인해 보세요.

미세 조정이란 무엇인가요?

AI 모델의 미세 조정은 데이터 과학자와 머신러닝(ML) 엔지니어가 이미 훈련된 ML 모델을 특정 작업을 더 잘 수행하도록 적응시키는 과정입니다. 예를 들어, 미세 조정을 거친 Cohere의 Command 또는 Meta의 Llama 2와 같은 범용 대규모 언어 모델(LLM)은 의료 환경이나 고객 서비스 분야에서 더 전문적인 대화를 나눌 수 있습니다.

'파운데이션 모델'로도 불리는 범용 모델들은 인터넷에 공개된 거의 모든 데이터를 비롯한 방대한 일반 데이터 세트로 훈련됩니다. 이를 통해 광범위한 특징과 패턴을 학습하고 이해할 수 있게 됩니다. 일부 모델은 언어 처리에 능숙하고, 다른 모델은 텍스트뿐만 아니라 이미지, 동영상, 오디오와 같은 멀티모달 데이터를 인식하고 조작할 수도 있습니다.

미세 조정은 특정 업무나 비즈니스 영역에서 추출한 소규모 데이터 세트로 범용 모델을 추가 훈련합니다. 이를 통해 모델은 해당 분야의 분류 체계, 맥락, 심지어 전문 지식까지 이해할 수 있게 됩니다.

핵심은 모델의 초기 훈련 과정에서 얻은 방대한 지식을 유지하면서, AI 모델이 활동할 특정 도메인만의 미묘한 뉘앙스 및 세부 사항을 더 잘 이해하도록 만드는 것입니다. 예를 들어, 범용 AI 모델을 의료 영상 판독 및 논의에 특화하도록 미세 조정하거나, LLM 기반 챗봇의 고객 서비스 역할 수행 능력 향상을 위해 지역 방언에 능숙해지도록 미세 조정할 수 있습니다. 다양한 분야별 고성능 AI 에이전트 구축 경쟁의 성패는 미세 조정된 모델에 달려 있는 경우가 많습니다. 링크를 통해 미세 조정 방법 및 메커니즘에 대한 심층적인 설명을 확인해 보세요.

핵심 요점

• AI 미세 조정은 범용 AI 모델에 감성 분석, 언어 생성, 이미지 감지 및 다른 여러 워크로드 등의 특정한 작업을 더 잘 수행하기 위한 컨텍스트와 지식을 추가하기 위해 훈련하는 과정입니다.
• 미세 조정은 AI 에이전트를 비롯한 다양한 애플리케이션을 위해 LLM의 출력을 개선하는 여러 가지 방법 중 하나입니다.
• 미세 조정은 AI 모델을 처음부터 새로 훈련하는 것에 비해 훨씬 적은 훈련 데이터 세트만으로도 수행할 수 있습니다.
• 미세 조정을 거친 AI 모델은 의학, 제조, 고객 서비스 등 특정 분야에서 더 유창하고 정확한 대화를 구사할 수 있습니다.

미세 조정의 이점 및 도전 과제

AI 미세 조정을 수행할 때 직면하는 주요 도전 과제는 사용 사례와 관련된 고품질의 라벨링 데이터 확보입니다. 이러한 데이터를 획득하거나 생성하기 위해서는 많은 비용과 시간이 필요합니다. 예를 들어, 데이터 라벨링을 위해서 AI가 인식해야 할 이미지 영역을 표시하거나 텍스트 중 주요 부분을 하이라이트하는 과정에 여러 시간이 소요될 수 있습니다. 그럼에도 미세 조정은 최신 AI 개발 과정의 핵심 기술로 자리매김할 만큼 매력적인 장점들을 가지고 있습니다. 미세 조정의 장단점은 다음과 같습니다.

장점

• AI 모델을 처음부터 훈련하는 것보다 시간과 비용을 절약할 수 있습니다: 파운데이션 모델을 미세 조정하면 상당한 훈련 시간 단축, 낮은 계산 비용을 비롯한 여러 이점을 얻을 수 있습니다. 파운데이션 모델은 이미 광범위한 일반 훈련을 거쳤으므로 적은 시간과 자원만으로도 새로운 작업에 적응할 수 있기 때문입니다. 또한 더 작고 특정 작업에 특화된 데이터 세트만으로도 효과적인 미세 조정이 가능하므로 데이터 수집 및 전처리와 관련된 시간과 비용을 줄일 수 있습니다. 미세 조정의 훈련 시간 및 계산 요구 사항 감소는 에너지 소비량 감소로 이어져 비용 절감 효과도 볼 수 있습니다.
• 특정 작업을 위한 더 나은 성능 제공: 파운데이션 모델을 미세 조정하면 정확도가 향상되고 수렴 속도가 빨라질 수 있습니다. 수렴이란 머신러닝 모델의 오류율이 일정해지고 동일한 데이터 세트로 더 많은 훈련을 진행해도 정확도가 더 이상 개선되지 않는 지점을 의미하는 표현입니다. 파운데이션 모델은 보다 적은 데이터와 적은 훈련 반복 횟수만으로도 새로운 작업의 뉘앙스에 빠르게 적응할 수 있습니다. 이와 같이 일반 지식과 작업별 학습을 조합한 모델은 새로운 데이터를 접하더라도 우수한 성능을 발휘할 수 있습니다.

단점

• 과적합: AI 미세 조정 과정에서 과적합은 새로운 데이터에 대한 훈련이 지나치게 철저해져 모델의 일반적 지식을 지원하는 레이어를 덮어쓰게 될 때 발생합니다. 파운데이션 모델의 일반적 지식과 언어 유연성은 새로운 데이터를 처리하기 위한 매우 중요한 요소입니다. 과적합이 발생한 모델은 일반화하여 새로운 사례를 처리할 수 있는 근본적인 패턴을 학습하는 대신 훈련 데이터를 암기하기 시작합니다.
• 비용: AI 모델 미세 조정에 필요한 컴퓨팅 자원과 전문성은 많은 비용을 발생시킬 수 있습니다. 미세 조정 과정에 사용하는 고성능 GPU 또는 TPU(텐서 처리 장치)를 구매하거나 클라우드 제공업체로부터 임대하기 위해서는 많은 비용이 필요합니다. 또한 머신러닝 및 자연어 처리 분야의 전문가를 고용하는 비용도 많이 들 수 있습니다.
• 시간: 미세 조정은 여러 측면에서 많은 시간이 소요될 수 있습니다. 먼저 데이터를 준비하는 시간이 필요합니다. 준비 과정에는 데이터 수집, 정제, 주석 삽입, 형식 지정 등이 필요할 수 있습니다. 미세 조정 과정 자체는 작업의 규모와 복잡성에 따라 몇 시간, 며칠, 심지어 몇 주까지도 걸릴 수 있습니다. 시간이 길어질수록 컴퓨팅 시간 비용이 증가합니다.

미세 조정의 작동 방식

AI 미세 조정은 기존 모델을 출발점으로 활용합니다. Meta의 Llama 2나 Cohere의 Command와 같은 기반 모델들 중 다수는 클라우드 제공업체를 통해 이용할 수 있습니다. Hugging Face, TensorFlow Hub, PyTorch Hub와 같이 사전 훈련된 머신러닝 모델을 호스팅하는 중앙화된 저장소로부터 다른 모델을 자사의 데이터 과학 플랫폼으로 가져오는 기업도 많습니다.

사전 학습 모델로 시작하기

먼저 텍스트 분류, 감정 분석, 질문 답변, 기사 작성, 코드 생성, 객체 탐지 등 AI 또는 ML이 필요한 귀사의 작업에 가장 적합한 모델을 선택합니다.

AI 모델을 미세 조정하기 위한 3가지 기본 요소는 올바른 형식을 갖춘 데이터 집합, 적합한 기반 모델, 딥 러닝을 위한 신경망과 훈련 과정을 구동할 GPU를 제공하는 인프라입니다. 이러한 리소스들은 데이터 과학 플랫폼, 또는 최근 들어서는 생성형 AI 클라우드 서비스에 통합되는 경우가 많습니다.

기술 발전의 일반적인 흐름이 그러하듯이, 오픈소스 프로젝트와 클라우드 제공업체 개발팀의 새로운 도구 및 인프라 서비스에 힘입어 AI의 미세 조정 과정도 시간이 지날수록 쉬워지고 있습니다. 해당하는 도구 및 서비스는 하이퍼파라미터 최적화, 모델 선택, 데이터 전처리 등 아래에 설명될 복잡한 작업들을 포함한 미세 조정의 자동화에 많은 도움을 주고 있습니다. 결과적으로 비전문가도 미세 조정 과정에 더 쉽게 참여할 수 있게 되었습니다.

분석가들에 따르면 각종 도구가 미세 조정의 데이터 과학적 세부 사항을 추상화하는 데 매우 능숙해졌으므로 이제 가장 어려운 부분은 가능한 한 최상의 데이터 세트를 수집하고 형식화하는 것이라고 합니다. 의료 및 금융과 같은 다양한 도메인 및 컴퓨터 비전, 감정 분석, 이상 탐지와 같은 기능을 위해 미리 준비된 데이터 라이브러리들이 이미 구축되어 있습니다. 갈수록 많은 기업들이 사전 구축된 라이브러리를 활용해 특정 작업에 맞춰 미세 조정되어 있는 모델을 선택해 자사의 사용 사례에 적용하고 있습니다. 기업은 더 작은 데이터 세트로 추가적인 미세 조정을 수행하고, 검색 증강 생성(RAG) 아키텍처 등의 기술을 활용해 AI의 출력물을 더욱 개선할 수 있습니다.

기업들은 강화 학습이라는 기술을 활용해 기존의 미세 조정을 보완하는 방법을 찾아냈습니다. 강화 학습은 AI 모델이 데이터 세트 라벨링과 지도 학습 기반 미세 조정이라는 별도의 과정을 거치지 않고도 시행착오와 자기 개선을 통해 학습할 수 있는 방법입니다.

AI 모델을 미세 조정하는 4가지 단계

1. 사전 학습 모델 사용: 첫 번째 단계는 작업에 적합한 파운데이션 모델을 선택하는 것입니다. 자연어 처리, 컴퓨터 비전, 텍스트 생성 등 다양한 분야마다 널리 쓰이는 모델들이 존재합니다.

2. 새 데이터 추가: 다음으로 해당 작업에 맞는 데이터 세트를 수집하고 준비합니다. 데이터 세트에는 모델이 처리하고자 하는 도메인과 관련된 라벨링된 고객 리뷰, 샘플 질문 및 답변 등이 포함될 수 있습니다.

3. 조정: 세 번째 단계는 필요에 따라 모델을 조정하는 것입니다. 조정 작업으로는 모델의 과거 학습 성과를 보존하기 위한 계층 동결, 마찬가지로 모델의 기존 지식 유지를 지원하는 학습률 조정, 텍스트 분류용 분류 계층 또는 예측용 회귀 계층 등 새로운 작업을 학습하기 위한 계층 추가 등이 포함될 수 있습니다.

4. 모델 훈련: 모델에 새로운 데이터를 입력하고 모델의 매개변수를 업데이트하는 과정입니다. 목적은 초기 학습에서 얻은 일반 지식을 유지하면서 목표 작업에 대한 모델의 성능을 정교하게 끌어올리는 것입니다.

미세 조정 기법 및 방법

다양한 기법을 활용해 모델을 미세 조정할 수 있습니다. 먼저 전체 미세 조정이 필요한지, 선택적 미세 조정이 필요한지를 파악해야 합니다.

전체 미세 조정

전체 미세 조정은 학습 과정에서 기반 모델의 모든 레이어와 파라미터를 업데이트하는 방식입니다. 과적합 위험 없이 모델의 매개 변수를 충분히 갱신할 수 있을 만큼 크고 다양한 데이터 세트를 보유한 경우 좋은 선택입니다.

선택적 미세 조정

선택적 미세 조정은 더 작은 데이터 세트를 사용해 모델의 일부 계층 또는 매개 변수만 업데이트하는 방식입니다. 기반 모델의 일반 지식을 보존하면서 학습 시간과 연산 비용을 줄이는 데 유리한 방법입니다. 선택적 미세 조정에 활용되는 기법의 예시는 다음과 같습니다.

• 데이터 보강: 기존 데이터 세트에 다양한 변환을 적용해 추가 학습 데이터를 생성하는 방법입니다. 이미지를 예로 들면 회전, 스케일링, 크롭, 노이즈 추가 등의 변환을 적용할 수 있습니다. 이는 특정 작업과 관련된 데이터 세트의 양이 적은 경우 미세 조정 성능 향상에 도움이 됩니다.
• 조기 종료: 검증용 데이터 세트에서 성능이 더 이상 개선되지 않을 경우 학습을 중단하는 기법입니다. 이는 효율성 향상 및 과적합 방지에 도움이 되는 기법입니다.
• 앙상블 기법: 미세 조정된 여러 모델을 결합해 출력물 간의 차이를 줄이는 방법입니다.
• 특정 계층 미세 조정: 깊은 계층은 고정(동결)하고 얕은 계층만 조정해 효율을 높이는 방식입니다.
• 하이퍼파라미터 튜닝: 학습률, 배치 크기 등 미세 조정 과정의 주요 설정을 조정하기 위한 다양한 기법이 사용됩니다.
• 계층 동결: 기반 모델 중 기초적, 보편적 표현을 담당하는 계층을 고정합니다. 이는 모델이 새로운 데이터를 적절히 다룰 수 있는 일반화 가능한 패턴을 배우는 게 아니라 학습 데이터를 그대로 '암기'해 버리는 과적합을 방지하는 데 도움이 됩니다.
• 학습률 스케줄링: 학습률이 더 느릴수록 기반 모델의 매개 변수를 더 섬세하고 정밀하게 조정하는 데 도움을 줍니다. 시간이 지남에 따라 학습률(스텝 크기)을 점차 낮추면 모델의 결과물이 최적의 솔루션에 가까워질수록 학습의 보폭을 줄임으로써 새로운 정보를 더 효과적으로 습득하도록 지원할 수 있습니다.
• 정규화 기법: 과적합을 방지하기 위해 특별히 사용하는 기법들입니다.
• 전이 학습: 특정 작업과 관련된 더 작은 데이터 세트로 기반 모델을 추가 학습시키는 방법입니다.

미세 조정 vs. 처음부터 훈련하기

일부 사용 사례의 경우 AI 모델을 처음부터 설계하고 훈련하는 편이 합리적인 선택이기도 합니다. 하지만 대부분의 경우에는 기반 모델을 미세 조정하는 것만으로도 원하는 결과를 얻을 수 있습니다.

많지는 않지만 모델을 처음부터 훈련하는 것이 더 나은 선택인 경우가 있습니다. 매우 구체적인 이미지 데이터를 다루는 특수 의료용 애플리케이션과 같이 매우 구체적인 도메인을 다루는 경우가 좋은 예입니다. 모델을 처음부터 훈련하기 위해서는 대규모 데이터 세트를 구축하고 AI 전용 인프라에서 장시간 학습을 수행해야 합니다. 이는 수천 개의 GPU 및 막대한 비용을 요하는 작업입니다. 또한 데이터 과학자와 ML 엔지니어의 전문성이 필요한 작업이기도 합니다.

반면 AI 모델의 미세 조정은 기반 모델을 더 작은 작업별 데이터 세트로 특정 작업에 맞게 조정하는 방식입니다. 언어와 일반 지식의 기초를 이미 갖추고 있는 기반 모델을 새로운 작업의 뉘앙스에 맞춰 조정하기만 하면 되므로 미세 조정은 대체로 더 빠르고 효율적입니다. 데이터 수집 및 준비 작업과 훈련 횟수를 크게 줄이면서도, 필요한 만큼의 성능에 더 수월하게 도달할 수 있습니다. 이어지는 내용을 통해 미세 조정의 더 많은 이점을 확인해 보세요.

미세 조정의 일반적인 사용 사례

스타트업부터 글로벌 기업까지, 다양한 산업에 속한 많은 기업들이 사전 학습된 모델을 미세 조정하고 있습니다. 대규모 자체 학습에 필요한 막대한 투자 없이도 자사의 요구 사항에 맞춘 시스템을 배포할 수 있는 미세 조정은 AI를 활용하고자 하는 기업의 표준 전략으로 자리잡고 있습니다. 미세 조정의 사용 사례의 예시는 다음과 같습니다.

실제 사용 사례

금융, 물류, 헬스케어 등 다양한 분야의 기업들이 미세 조정된 생성형 AI를 일상 업무에 도입하고 있습니다. 실제 사례들은 다양한 실사용 시나리오를 탐색하는 데 도움을 줍니다. 3가지 구체적 예시는 다음과 같습니다.

• 고객 지원: 한 산업 안전 솔루션 기업은 AI 도구를 도입해 고객 지원 운영을 즉시 개선했습니다. 해당 팀은 미세 조정된 Cohere Command R+ LLM으로 고객 문의를 처리하고 정확한 답변을 생성합니다.
• 의료: 대학의 연구진은 새로운 암 치료법을 설계하는 과정에서 AI를 활용해 환자 데이터를 심층 분석하고 있습니다. LLM의 대규모 호스팅, 운영, 미세 조정에는 클라우드 인프라를 사용합니다.
• 서비스 산업: 브라질의 한 응용 AI 기업은 LLM을 미세 조정해 인지 저하 환자들을 위한 검증된 심리 치료 방식인 회상 요법을 지원합니다.

미세 조정의 다음 단계

AI 미세 조정은 빠르게 진화하고 있으며, 특히 갈수록 많은 AI 에이전트가 미세 조정된 모델을 사용함과 더불어 그 발전 속도가 더욱 빨라지고 있습니다. 미래에는 기업이 자사의 요구 사항에 AI 모델을 더 쉽게 적응시킬 수 있도록 지원하는 자동화 기술이 더욱 개선되고, 새로운 기법 및 더 다양한 모델이 제공될 것입니다.

하이퍼파라미터 최적화, 모델 선택, 데이터 전처리 등을 비롯해 미세 조정의 자동화에 기여하는 ML 서비스들의 발전도 관련 혁신을 앞당길 것입니다. 문맥 기반 데이터 증강 기법은 모델이 더 관련성 높은 특징을 빠르게 학습하도록 돕고, 동적 학습은 모델이 상황에 맞춰 즉각적으로 학습률을 조정할 수 있도록 만들어 줄 것입니다. 또한 ML 및 기반 모델 개발사들은 다양한 모달리티 간에 지식을 전이하고, 미세 조정을 통해 다양한 유형의 데이터를 이해해야 하는 작업에도 대응할 수 있는 더 범용적이고 강력한 모델을 계속해서 선보일 것입니다. 핵심은 새로운 혁신 기술들이 등장할 때마다 즉시 활용할 수 있을 만큼 유연한 데이터 인프라를 구축하는 것입니다.

생성형 AI 솔루션으로 AI 모델 강화하기

Oracle Cloud Infrastructure(OCI)가 머신러닝 및 기반 모델 미세 조정에 필요한 요소들을 제공한다는 사실을 알고 계셨나요? Oracle는 물리 인프라, 데이터 처리 인프라, 데이터 사이언스 플랫폼, 생성형 AI 서비스를 모두 제공하는 완전 관리형 서비스입니다. 예를 들어 OCI의 생성형 AI 서비스는 다양한 LLM과의 간단하고 매끄러운 통합을 제공합니다. 해당 서비스를 통해 글쓰기 보조, 요약, 분석, 대화 등 다양한 용례에 맞춰 모델을 미세 조정할 수 있습니다.

한편 데이터 과학자 및 ML 엔지니어는 Oracle의 데이터 사이언스 플랫폼에서 Python 및 오픈 소스 도구로 모델을 만들고, 훈련하고, 배포하기 위해 협업할 수 있습니다. JupyterLab 기반 환경은 NVIDIA GPU와 분산 훈련 기술을 활용해 실험, 모델 개발, 대규모 훈련에 필요한 리소스를 제공합니다. 자동화 파이프라인, 모델 배포, 모니터링 등의 ML 운영 기능들을 활용해 모델을 운영 환경에 안정적으로 적용하고 정상적인 작동을 보장할 수 있습니다.

미세 조정 FAQ

미세 조정은 다른 유형의 모델 훈련과 어떻게 다른가요?

미세 조정은 모델을 처음부터 학습하는 것과 다릅니다. 미세 조정은 정교한 기반 모델에 학습 라운드를 추가해 특정 작업과 관련된 문맥에 더 적합한 출력물을 도출하는 과정입니다. 미세 조정은 일반적으로 모델을 처음부터 만들고 훈련하는 것보다 적은 데이터, 시간, 비용만으로도 수행할 수 있습니다.

모든 유형의 모델에 미세 조정을 사용할 수 있나요?

AI 미세 조정은 이미지 인식, 텍스트 분류, 언어 생성, 오디오 출력 등 기반 모델의 다양한 용례에 활용할 수 있습니다.