경사하강법 (Gradient Descent)
손실 함수를 최소화하기 위해 기울기 반대 방향으로 파라미터를 반복 업데이트하는 최적화 방법
#경사하강법#Gradient Descent#최적화 알고리즘#파라미터 업데이트
경사하강법이란?
경사하강법은 모델의 오차를 줄이기 위해 파라미터를 조금씩 조정하는 최적화 방법입니다.
핵심은 기울기가 가리키는 증가 방향의 반대로 이동해 손실을 낮추는 것입니다.
어떤 방식이 있나요?
전체 데이터로 한 번에 계산하는 배치 방식, 샘플 단위로 갱신하는 확률적 방식, 미니배치 방식이 대표적입니다.
실무에서는 Adam, RMSprop 같은 변형 옵티마이저와 함께 쓰이는 경우가 많습니다.
왜 중요한가요?
경사하강법은 신경망 학습 속도와 안정성을 좌우합니다.
학습률 설정이 부적절하면 수렴이 느려지거나 발산할 수 있어 하이퍼파라미터 튜닝이 중요합니다.
관련 용어
AI 인프라/모델 최적화
딥러닝 (Deep Learning)
다층 신경망을 이용해 데이터의 복잡한 표현을 자동으로 학습하는 머신러닝 접근
AI 인프라/모델 최적화
레이트 리미팅 (Rate Limiting)
짧은 시간에 과도한 요청이 몰릴 때 API 호출량을 제한하는 제어 기법
AI 인프라/모델 최적화
로봇 파운데이션 모델 (Robot Foundation Model)
대규모 로봇 데이터와 멀티모달 입력으로 사전 학습되어 다양한 물리 작업에 전이 가능한 범용 로봇 AI 모델
AI 인프라/모델 최적화
로컬 AI (Local AI)
모델을 외부 API가 아닌 자체 PC·서버에서 직접 실행하는 방식
AI 인프라/모델 최적화
모델 증류 (Model Distillation)
대형 모델의 출력 신호를 활용해 더 작은 모델을 학습시키는 경량화 기법
AI 인프라/모델 최적화
모델 컨텍스트 프로토콜 (MCP)
AI 모델이 외부 도구와 데이터 소스를 표준 방식으로 연결해 활용하도록 돕는 인터페이스 규격