GPT

GPT란?

GPT(Generative Pre-trained Transformer)는 OpenAI가 개발한 대규모 언어 모델 시리즈입니다. 이름을 풀어보면 그 핵심을 이해할 수 있습니다. 생성형(Generative), 사전 학습된(Pre-trained), 트랜스포머(Transformer) 기반 모델이라는 뜻입니다.

비유하자면, GPT는 전 세계 도서관의 책을 모두 읽고 글쓰기를 마스터한 작가와 같습니다. 직접 경험하지는 않았지만 방대한 독서를 통해 거의 모든 주제에 대해 자연스럽고 논리적인 글을 쓸 수 있습니다.

GPT의 발전 과정

• GPT-1 (2018): 1억 1,700만 개 매개변수로 시작한 첫 모델
• GPT-2 (2019): 15억 개 매개변수. 너무 뛰어나 처음에는 공개를 미루기도 했습니다
• GPT-3 (2020): 1,750억 개 매개변수. 퓨샷 학습 능력으로 큰 주목을 받았습니다
• GPT-4 (2023): 멀티모달 지원으로 이미지도 이해하며, 전문가 수준의 추론 능력을 보여줍니다

어떻게 작동하나요?

GPT는 트랜스포머의 디코더 구조만을 사용합니다. 주어진 텍스트를 보고 다음에 올 단어를 예측하는 방식으로 학습되며, 이를 "자기 회귀적(autoregressive)" 생성이라고 합니다. 한 단어를 생성하면 그것을 다시 입력에 포함시켜 다음 단어를 예측하는 과정을 반복합니다.

왜 중요한가요?

GPT는 ChatGPT라는 서비스를 통해 AI를 대중화시킨 모델입니다. 생성형 AI 시대를 본격적으로 열었으며, 이후 수많은 경쟁 모델의 탄생을 촉진한 업계의 기준점이 되었습니다.