본문으로 건너뛰기
목록으로 돌아가기
AI 인프라/모델 최적화

모델 증류 (Model Distillation)

대형 모델의 출력 신호를 활용해 더 작은 모델을 학습시키는 경량화 기법

#모델 증류#Model Distillation#증류 공격#distillation attack

모델 증류란?

모델 증류(Model Distillation)는 성능이 높은 대형 모델(teacher)의 출력 결과를 학습 신호로 사용해, 더 작고 빠른 모델(student)을 훈련하는 방법입니다.

같은 조직 내부에서 성능-비용 균형을 맞추기 위해 널리 사용되는 합법적 기법입니다.

왜 이슈가 되나요?

문제는 타사 모델의 출력 데이터를 무단으로 대량 수집해 학습에 사용하는 경우입니다.

이 경우 API 이용 약관 위반, 데이터 사용 권한 침해, 경쟁 질서 훼손 이슈로 이어질 수 있어 법적·정책적 쟁점이 됩니다.

실무에서 볼 포인트

  1. 데이터 출처 증빙: 학습 데이터가 내부 생성인지, 라이선스가 허용된 외부 데이터인지 기록이 필요합니다.
  2. 약관 준수: 사용 중인 API의 학습 전용 금지 조항을 사전에 검토해야 합니다.
  3. 리스크 분리: 연구용 실험과 상용 배포 모델의 데이터 계보를 분리해 관리하는 것이 안전합니다.

관련 용어