역전파 (Backpropagation)
신경망의 출력 오차를 뒤로 전달해 각 가중치의 업데이트 방향을 계산하는 학습 알고리즘
#역전파#Backpropagation#오차 역전파#신경망 학습
역전파란?
역전파는 신경망이 예측 오차를 기준으로 각 층의 가중치에 어떤 수정이 필요한지 계산하는 방법입니다.
출력층에서 시작해 입력층 방향으로 오차 기여도를 전달합니다.
어떻게 작동하나요?
순전파로 예측값을 구한 뒤 손실을 계산하고, 미분 체인을 이용해 기울기를 구합니다.
이 기울기를 사용해 각 파라미터를 업데이트하면 모델이 점진적으로 성능을 개선합니다.
왜 중요한가요?
역전파는 현대 딥러닝 학습의 핵심 메커니즘입니다.
경사하강법과 결합되어 대규모 신경망이 실제 문제를 학습할 수 있게 만듭니다.
관련 용어
AI 인프라/모델 최적화
경사하강법 (Gradient Descent)
손실 함수를 최소화하기 위해 기울기 반대 방향으로 파라미터를 반복 업데이트하는 최적화 방법
AI 인프라/모델 최적화
딥러닝 (Deep Learning)
다층 신경망을 이용해 데이터의 복잡한 표현을 자동으로 학습하는 머신러닝 접근
AI 인프라/모델 최적화
레이트 리미팅 (Rate Limiting)
짧은 시간에 과도한 요청이 몰릴 때 API 호출량을 제한하는 제어 기법
AI 인프라/모델 최적화
로봇 파운데이션 모델 (Robot Foundation Model)
대규모 로봇 데이터와 멀티모달 입력으로 사전 학습되어 다양한 물리 작업에 전이 가능한 범용 로봇 AI 모델
AI 인프라/모델 최적화
로컬 AI (Local AI)
모델을 외부 API가 아닌 자체 PC·서버에서 직접 실행하는 방식
AI 인프라/모델 최적화
모델 증류 (Model Distillation)
대형 모델의 출력 신호를 활용해 더 작은 모델을 학습시키는 경량화 기법