[AI로 가는 길 10 · 완결] 스케일링 법칙과 컨텍스트 창: 왜 더 큰 모델이 더 좋아지고 더 비싸지는가

핵심 요약: 10부작의 마지막 질문은 이것입니다. "왜 더 큰 모델과 더 긴 컨텍스트가 성능을 올리는가, 그리고 우리는 어떤 대가를 치르는가?" 답은 단순한 낙관도 비관도 아닙니다. AI 성능은 모델 크기, 데이터, 컴퓨팅, 컨텍스트, 검색/도구, 운영비 사이의 균형에서 결정됩니다.

---

이번 편의 질문

이번 완결편은 네 가지 질문에 답합니다.

1. 스케일링 법칙은 무엇이고, 왜 업계 의사결정의 기준이 되었나?
2. 컨텍스트 창이 길어지면 왜 체감 품질이 올라가나?
3. 왜 비용과 지연시간은 함께 커지며, 무엇이 병목이 되나?
4. 실무에서는 언제 '더 큰 모델'을 쓰고, 언제 '설계'로 해결해야 하나?

---

1. 10부작 마지막에서 이 주제를 다루는 이유

1편부터 9편까지는 "AI가 여기까지 오기 위해 필요한 토대"를 순서대로 쌓아왔습니다.

• 01~04: 컴퓨팅, 네트워크, 웹, 데이터 인프라
• 05~06: 분산 컴퓨팅과 GPU 혁명
• 07~08: 딥러닝 학습 원리와 트랜스포머 구조
• 09: 프리트레이닝·파인튜닝·정렬(RLHF/RLAIF) 파이프라인

이제 마지막 10편은 "그래서 실제 성능은 무엇으로 올라가고, 왜 운영은 어려워지는가"를 정리합니다.
즉, 기술사의 결론을 제품 운영의 언어로 번역하는 단계입니다.

---

2. 스케일링 법칙: "키우면 좋아진다"의 정확한 뜻

스케일링 법칙을 한 문장으로

스케일링 법칙은 보통 이렇게 이해하면 됩니다.

모델 파라미터, 데이터, 컴퓨팅을 늘리면 성능은 꾸준히 개선되지만, 개선 폭은 점차 둔화된다.

이는 "무한히 공짜로 좋아진다"가 아니라, 예측 가능한 곡선 위에서 조금씩 좋아진다는 뜻입니다.

왜 이 개념이 중요한가

스케일링 법칙 이전에는 모델 개발이 "감"에 가까운 영역이 많았습니다.
하지만 관련 연구들이 축적되면서, 조직은 다음을 계산할 수 있게 됐습니다.

• 이 정도 예산이면 어느 수준의 모델이 가능한가
• 모델을 키울지, 데이터를 늘릴지, 학습량을 늘릴지
• 기대 성능 대비 추가 비용이 합리적인지

즉 스케일링 법칙은 연구 개념이면서 동시에 투자/인프라 계획 도구입니다.

논문 숫자로 보는 스케일링 (핵심 통계)

사례	파라미터	학습 토큰	핵심 시사점
GPT-3 (2020)	175B	300B	대규모 사전학습 스케일의 산업 기준점
Chinchilla (2022)	70B	1.4T	더 작은 모델 + 더 많은 토큰이 동일 예산에서 효율적일 수 있음을 제시
Chinchilla 권장 비율	N:D ≈ 1:20	-	모델만 키우는 전략의 비효율을 교정

출처:

• Brown et al., 2020 (GPT-3)
• Hoffmann et al., 2022 (Chinchilla)

큰 오해 1: 모델만 크게 만들면 된다?

항상 그렇지 않습니다. Chinchilla 계열 연구가 보여준 핵심은 고정된 학습 예산(컴퓨팅)에서 모델 크기와 학습 토큰의 균형이 중요하다는 점입니다.

접근	단기 체감	장기 효율
모델만 크게 확대	초반 성능 향상 가능	데이터/학습량 불균형 시 비효율
데이터·학습량만 확대	특정 구간 개선	모델 용량 부족 시 상한 도달
모델·데이터·컴퓨팅 균형	안정적 향상	비용 대비 성능 효율이 상대적으로 좋음

실무에서 이 표는 단순합니다.
"최대 모델"이 아니라 "예산 안에서 가장 잘 맞는 조합"이 정답입니다.

---

3. 컨텍스트 창: 모델이 한 번에 보는 작업대

컨텍스트 창이란?

컨텍스트 창(Context Window)은 모델이 한 번의 추론에서 읽고 처리할 수 있는 토큰 범위입니다.
문서, 코드, 대화 이력, 시스템 프롬프트가 모두 이 공간을 공유합니다.

왜 길어질수록 좋아 보이나?

컨텍스트가 길어지면 다음이 쉬워집니다.

1. 긴 문서를 자르지 않고 한 번에 처리
2. 여러 문서 간 교차 비교
3. 긴 대화의 의도와 제약 유지
4. 코드베이스 문맥 보존(함수/모듈 간 연결)

즉 사용자는 "덜 잘라서 넣어도 된다"는 편의와 품질 향상을 동시에 체감합니다.

그런데 왜 비용과 지연이 급증하나?

기본 트랜스포머 셀프어텐션은 시퀀스 길이에 따라 계산량이 제곱으로 증가합니다.
직관적으로 보면, 입력 길이가 커질수록 모델이 비교해야 할 토큰 쌍이 폭발적으로 늘어납니다.

예시로 단순화하면:

• 4K 길이에서 필요한 비교량을 1로 두면
• 32K 길이에서는 이론적으로 64배 수준(= 8^2)까지 늘 수 있습니다

입력 길이	상대 어텐션 비교량(이론)
4K	1x
8K	4x
16K	16x
32K	64x

출처: Vaswani et al., 2017 (셀프어텐션 복잡도 O(n^2))

실제 시스템은 다양한 최적화(커널/캐시/병렬화)를 사용하므로 정확히 같은 비율로 늘진 않지만,
방향성은 동일합니다. 긴 컨텍스트는 편하지만 비싸고 느려지기 쉽다는 점입니다.

긴 컨텍스트는 만능인가?

아닙니다. "Lost in the Middle" 연구가 보여주듯, 입력이 길어지면 모델이 중간 정보 활용에 약해지는 현상이 나타날 수 있습니다.
또한 긴 컨텍스트에 저품질 정보를 많이 넣으면, 성능이 오히려 떨어질 수도 있습니다.

핵심은 길이 그 자체가 아니라 신호 대비 잡음 비율입니다.

원문 인용구 (핵심 개념 3개)

"Attention Is All You Need."
출처: Vaswani et al., 2017

"Training Compute-Optimal Large Language Models."
출처: Hoffmann et al., 2022

"Lost in the Middle."
출처: Liu et al., 2023

---

4. 더 큰 모델 + 더 긴 문맥: 무엇을 얻고 무엇을 잃는가

항목	기대 이점	주요 대가
모델 규모 확대	복잡한 추론, 일반화 성능 향상	추론 단가/메모리/배포 비용 증가
컨텍스트 확대	긴 문서·대화 일관성 개선	지연시간 증가, 입력비용 급증
추론 체인 고도화	단계적 문제해결 품질 향상	토큰 소비량 증가, 실패 지점 증가
안전/정렬 강화	사용자 경험 안정화	학습/운영 파이프라인 복잡도 증가

이 표를 실제 운영 언어로 바꾸면 다음 한 줄입니다.

성능을 올리는 방법은 대부분 비용과 복잡도를 함께 올린다.
따라서 모델 선택 문제는 기술 문제가 아니라 경제성 문제이기도 하다.

---

5. 실무 의사결정: "스케일"보다 먼저 볼 것들

현장에서 가장 많이 하는 실수는 "모델부터 업그레이드"입니다.
아래 순서로 보면 낭비를 줄일 수 있습니다.

Step 1. 과제 난이도를 분해한다

• 단순 요약/분류인가?
• 다단계 추론·정합성 검증이 필요한가?
• 도메인 규정/정책 준수가 필수인가?

난이도를 분해하면 큰 모델이 필요한 구간과 아닌 구간이 분리됩니다.

Step 2. 필요한 기억 범위를 정의한다

• 한 번의 요청에서 필요한 문맥이 짧은가, 긴가
• 장기 기억은 컨텍스트가 아니라 외부 저장소(RAG/DB)로 분리할 수 있는가
• 매번 긴 문서를 통째로 넣어야 하는가, 아니면 검색 후 필요한 조각만 주입해도 되는가

RAG 접근은 "모든 걸 모델 내부에 밀어 넣기"보다 비용 효율적인 경우가 많습니다.

Step 3. 운영 지표를 먼저 고정한다

모델 실험 이전에 KPI를 정해두면 의사결정이 빨라집니다.

• 품질: 정답률, 근거 일치율, 환각률
• 성능: 응답 지연(P50/P95), 처리량
• 비용: 요청당 토큰 비용, 재시도율 포함 총비용
• 안정성: 실패율, 정책 위반율

모델 변경은 이 지표를 기준으로 평가해야 합니다.
"느낌상 좋아졌다"는 운영 근거가 아닙니다.

---

6. 추천 설계 패턴: 큰 모델은 '핵심 단계'에만 쓴다

실무에서 자주 쓰는 패턴은 다음과 같습니다.

1. 라우팅: 쉬운 질문은 소형/중형 모델, 어려운 질문만 대형 모델
2. 검색 선행: 긴 문서를 통째로 넣기보다 검색으로 후보 축소 후 주입
3. 2단계 생성: 초안 생성(저비용) -> 검증/교정(고성능)
4. 근거 강제: 답변마다 출처 또는 근거 스팬을 함께 요구
5. 실패 복구: 시간 초과/품질 저하 시 대체 경로 준비

이 패턴의 목적은 단 하나입니다.
품질은 유지하고, 평균 비용과 지연을 낮추는 것입니다.

---

7. 시리즈 1~10 한눈에 정리

편	주제	오늘의 한 줄
01	컴퓨팅의 탄생	계산 가능성이 AI의 출발점이었다
02	트랜지스터·집적회로	AI 비용 구조는 하드웨어에서 시작됐다
03	운영체제·네트워크	서비스 품질의 기반은 소프트웨어 인프라다
04	웹·데이터 민주화	데이터 접근성 확장이 AI 확산을 만들었다
05	분산 컴퓨팅	단일 장비 한계를 클러스터가 돌파했다
06	GPU 혁명	병렬 연산이 딥러닝을 실용화했다
07	역전파·경사하강법	신경망 학습의 수학적 엔진이 정립됐다
08	트랜스포머	현대 LLM 아키텍처의 표준이 탄생했다
09	프리트레이닝·정렬	"아는 모델"이 "도움 되는 모델"로 바뀌었다
10	스케일링·컨텍스트	성능은 커지지만, 비용과 복잡도도 함께 커진다

10부작을 관통하는 결론은 명확합니다.

AI 발전은 단일 기술의 승리가 아니라,
컴퓨팅·데이터·알고리즘·제품 설계·운영 경제성의 동시 최적화 역사입니다.

---

자주 묻는 질문(FAQ)

관련 용어 (Glossary)

• 스케일링 법칙 (Scaling Laws)
• 컨텍스트 창 (Context Window)
• 토큰 (Token)
• 트랜스포머 (Transformer)
• RAG
• LLM

---

함께 읽으면 좋은 글

• AI로 가는 길 09
• AI로 가는 길 08
• AI로 가는 길 06
• 실무 가이드: RAG 평가 플레이북