파인튜닝 (Fine-tuning)

파인튜닝이란?

파인튜닝(Fine-tuning)은 이미 대규모 데이터로 사전 학습된 AI 모델을 특정 분야나 작업에 맞게 소규모의 전문 데이터로 추가 학습시키는 과정입니다.

비유하자면, 의대를 졸업한 의사가 특정 전문과목 수련을 받는 것과 같습니다. 의대에서 의학 전반을 배운 것이 사전 학습이라면, 피부과나 외과 같은 전공 수련이 파인튜닝에 해당합니다. 기초 지식은 이미 갖추고 있으니 전문 분야 학습이 훨씬 빠르고 효율적입니다.

어떻게 작동하나요?

파인튜닝은 다음과 같은 단계로 진행됩니다.

1. 기반 모델 선택: GPT, LLaMA 등 사전 학습된 모델을 선택합니다.
2. 데이터 준비: 목표 작업에 맞는 학습 데이터셋을 구성합니다. 예를 들어 법률 문서 요약 모델이라면 법률 문서와 요약문 쌍을 준비합니다.
3. 추가 학습: 준비된 데이터로 모델의 가중치를 미세하게 조정합니다.

주요 기법

• 풀 파인튜닝(Full Fine-tuning): 모델 전체 매개변수를 업데이트하는 방식
• LoRA: 소수의 매개변수만 추가하여 효율적으로 학습하는 경량화 기법
• RLHF: 사람의 피드백을 활용한 강화학습 기반 파인튜닝

언제 사용하나요?

프롬프트 엔지니어링만으로 원하는 품질을 달성하기 어려울 때, 특정 도메인의 전문 용어나 스타일을 모델에 깊이 반영하고 싶을 때 파인튜닝을 고려합니다.