토큰 (Token)

토큰이란?

토큰은 AI가 텍스트를 읽고 이해할 때 사용하는 최소 단위 조각입니다. 레고 블록을 떠올려 보세요. 우리가 멋진 성을 만들 때 작은 블록 하나하나를 조립하듯, AI도 문장을 작은 토큰 조각으로 나눠서 처리합니다.

예를 들어 "인공지능이 세상을 바꾼다"라는 문장은 "인공", "지능", "이", "세상", "을", "바꾼다"처럼 여러 토큰으로 쪼개질 수 있습니다. 영어에서는 한 단어가 하나의 토큰이 되기도 하지만, 긴 단어는 여러 토큰으로 나뉘기도 합니다.

어떻게 작동하나요?

텍스트를 토큰으로 나누는 도구를 **토크나이저(Tokenizer)**라고 합니다. 토크나이저는 미리 학습된 사전을 기반으로 텍스트를 일정한 규칙에 따라 분리합니다. ChatGPT 같은 LLM은 이렇게 나뉜 토큰을 숫자로 변환한 뒤, 다음에 올 토큰을 예측하는 방식으로 문장을 생성합니다.

왜 중요한가요?

토큰 수는 AI 서비스의 비용과 성능에 직접적으로 영향을 줍니다. API 요금이 토큰 단위로 책정되며, 한 번에 처리할 수 있는 토큰 수(컨텍스트 윈도우)에 제한이 있기 때문입니다. GPT-4가 128K 토큰을 지원한다는 것은, 한 번에 약 300페이지 분량의 텍스트를 처리할 수 있다는 의미입니다. 따라서 토큰을 효율적으로 사용하는 것이 AI 활용의 핵심 전략입니다.