Token이란 무엇인가? AI가 다루는 ‘언어 블록’ 이해하기

AI를 사용할 때마다 보이지 않는 무언가를 소비한다

이제 많은 사람이 매일 AI를 사용합니다.

• ChatGPT에 글 작성을 요청합니다.
• Claude에 문서 요약을 요청합니다.
• Gemini에 이미지 분석을 요청합니다.
• DeepSeek에 문제 해결을 부탁합니다.

사용하면서 이런 의문이 생겼을 수 있습니다.

• AI가 대화 앞부분을 잊는 이유는 무엇일까요?
• 긴 문서를 업로드하면 처리 속도가 느려지는 이유는 무엇일까요?
• 일부 AI 서비스가 Token 단위로 요금을 받는 이유는 무엇일까요?

Token이라는 단어를 처음 본 사람은 AI 안에서 사용하는 가상화폐라고 오해하기도 합니다.

그렇지 않습니다.

블록체인에서는 Token이 디지털 자산을 뜻할 수 있지만, 대규모 언어 모델에서는 다음을 의미합니다.

AI가 텍스트와 정보를 처리할 때 사용하는 기본 단위.

간단히 말하면 Token은 AI가 내용을 읽고 생성할 때 사용하는 작은 “언어 블록”입니다.

1. AI에는 왜 Token이 필요한가?

Token을 이해하기 위해 먼저 사람이 문장을 읽는 방식을 생각해 보겠습니다.

예를 들어:

오늘 날씨가 좋다.

사람은 “오늘”, “날씨”, “좋다”의 의미를 바로 이해합니다. 인간의 뇌는 글자와 의미를 함께 처리할 수 있습니다.

컴퓨터는 다릅니다. 내부적으로 숫자, 코드, 수학 연산을 처리하며 “날씨가 좋다”는 의미를 사람처럼 직접 이해하지 못합니다.

따라서 대규모 모델이 언어를 처리하려면 먼저 인간의 언어를 컴퓨터가 계산할 수 있는 형태로 바꿔야 합니다. Token은 이 변환 과정의 핵심 단계입니다.

2. 간단한 예로 이해하는 Token

책에 다음 문장이 있다고 가정해 보겠습니다.

인공지능이 세상을 바꾸고 있다.

AI는 완성된 문장을 그대로 “보는” 것이 아니라 먼저 더 작은 단위로 나눕니다.

인공지능 / 이 / 세상 / 을 / 바꾸고 있다 / .

우선 이렇게 나뉜 단위를 Token이라고 생각할 수 있습니다.

이 예는 이해를 돕기 위한 단순화입니다. 실제 모델은 항상 완전한 단어 단위로 나누지 않습니다.

• 단어 하나가 Token 하나일 수 있습니다.
• 단어 하나가 여러 Token으로 나뉠 수 있습니다.
• 한자 한 글자가 Token 하나일 수 있습니다.
• 여러 글자가 Token 하나로 묶일 수도 있습니다.

3. Token은 AI 언어의 “블록”이다

아이가 처음 블록 놀이를 한다고 생각해 보겠습니다. 완성된 건물을 받는 것이 아니라 정육면체, 직사각형, 삼각형 같은 기본 조각을 받아 집, 자동차, 성을 만듭니다.

AI의 언어 처리도 비슷합니다.

1. 사람은 완성된 문장을 봅니다.
2. AI는 Token의 연속을 받습니다.
3. 모델은 Token 사이의 관계를 계산합니다.
4. 모델은 새로운 Token을 생성합니다.
5. Token들이 사람이 읽을 수 있는 답변으로 조합됩니다.

따라서:

Token은 AI가 언어를 이해하고 생성하는 기본 부품입니다.

4. Token은 글자나 단어와 같지 않다

초보자가 가장 자주 하는 오해입니다. 한자 한 글자가 항상 Token 하나인 것은 아니고, 영어 단어 하나가 항상 Token 하나인 것도 아닙니다.

중국어와 영어는 전혀 다르게 나뉠 수 있다

중국어 “人工智能”은 다음처럼 나뉠 수 있습니다.

人工 / 智能

또는:

人 / 工 / 智 / 能

영어 “artificial intelligence”는 다음처럼 나뉠 수 있습니다.

artificial / intelligence

또는:

arti / ficial / intelligence

정확한 분할 방식은 모델이 사용하는 Tokenizer, 즉 Token 분할 규칙과 어휘집에 따라 달라집니다.

5. AI는 왜 텍스트를 Token으로 변환하는가?

마지막 답변도 글자인데 왜 텍스트를 직접 이해하지 못할까요?

대규모 모델 내부에서는 방대한 수학 계산이 이루어지기 때문입니다. 사람이 “apple”을 보면 과일, 빨간색, 먹을 수 있는 것, Apple 회사를 떠올릴 수 있습니다. 컴퓨터는 먼저 글자를 모델이 계산할 수 있는 숫자 표현으로 바꿔야 합니다.

과정을 단순화하면 다음과 같습니다.

텍스트
  ↓
Token
  ↓
숫자 표현
  ↓
모델 계산
  ↓
새로운 Token
  ↓
텍스트 답변

Token은 인간 언어와 모델의 수학 계산을 연결하는 다리입니다.

6. AI는 Token을 하나씩 생성해 답변한다

많은 사람은 AI가 완성된 답을 먼저 생각한 뒤 한 번에 출력한다고 생각합니다. 실제 대규모 언어 모델은 다음에 더 가깝습니다.

앞에 나온 내용을 바탕으로 다음에 올 가능성이 가장 높은 Token을 예측한다.

예를 들어 “중국의 수도는 어디인가?”라고 물으면 모델은 “중국”, “수도”, 역사 지식, 언어 패턴을 결합합니다. “베이징”에 해당하는 Token을 생성한 뒤 문장 부호가 필요한지 판단해 최종적으로 다음 문장을 만듭니다.

중국의 수도는 베이징이다.

AI의 텍스트 생성은 Token을 반복해서 예측하고 생성하는 과정입니다.

7. 대규모 모델에서 Token은 어떤 역할을 하는가?

대규모 모델을 인간 전문가에 비유하면 다음과 같습니다.

학습 데이터

전문가의 학습 경험입니다. 읽어 온 책, 기사, 자료에 해당합니다.

모델 파라미터

전문가가 축적한 지식과 경험으로, 어떤 내용이 관련 있고 어떤 답이 합리적인지 판단하는 데 도움을 줍니다.

Token

전문가가 읽고 표현할 때 사용하는 기본 언어 단위입니다.

Token이 없으면 텍스트가 모델에 들어갈 수 없습니다. 모델이 없으면 Token만으로 의미 있는 답변을 만들 수 없습니다. 둘은 함께 언어 처리의 기반을 이룹니다.

8. Token과 대화 기록은 어떤 관계인가?

대화 초반에는 AI가 앞의 내용을 잘 기억하지만, 대화가 길어지면 일부 정보를 잊은 것처럼 보일 수 있습니다.

그 이유 중 하나는 모델의 컨텍스트 윈도우(Context Window) 제한입니다.

컨텍스트 윈도우는 AI의 단기 작업 공간이다

크기가 제한된 책상을 생각해 보겠습니다. 파일 A, B, C를 놓을 수 있지만 파일이 계속 늘어나면 오래된 파일을 치우거나, 정보를 압축하거나, 중요한 내용을 다시 정리해야 합니다.

AI의 컨텍스트 윈도우도 비슷합니다.

• 대화가 길수록 처리할 Token이 많아집니다.
• 업로드한 문서가 길수록 더 많은 Token을 차지합니다.
• 한도를 넘으면 모델이 처음의 정보를 모두 유지하지 못할 수 있습니다.

9. Token이 점점 중요해지는 이유

과거에는 일반 사용자가 Token을 접할 일이 거의 없었습니다. AI가 검색, 추천 시스템, 산업용 애플리케이션의 뒤에서 작동했기 때문입니다.

이제 대규모 모델은 일상 업무와 생활에 직접 들어왔습니다.

글쓰기

5,000자 글을 요청하면 AI는 지시를 처리하는 동시에 많은 출력 Token을 생성해야 합니다.

문서 분석

100페이지 계약서를 업로드하면 시스템은 많은 문서 내용을 Token으로 변환한 뒤 이해하고 분석합니다.

기업용 AI

AI 고객센터가 하루 수만 건의 문의를 처리하면 모든 대화에서 입력 Token과 출력 Token이 발생합니다.

Token은 엔지니어만 아는 기술 개념에서 사용자와 기업도 이해해야 하는 성능과 비용의 단위로 바뀌고 있습니다.

10. AI Token과 블록체인 Token의 차이

Token이라는 단어를 보면 Bitcoin, NFT, 디지털 자산을 떠올릴 수 있지만 두 의미는 완전히 다릅니다.

AI Token

AI가 정보를 처리하는 기본 단위로 다음에 사용됩니다.

• 입력 내용 표현
• 출력 답변 생성
• 컨텍스트 길이 측정
• 모델 사용 비용 계산

블록체인 Token

블록체인 네트워크의 디지털 자산 또는 권리 증명으로 다음에 사용될 수 있습니다.

• 가치 거래
• 소유권이나 권리 표현
• 네트워크 메커니즘 참여

같은 영어 단어를 사용할 뿐, 의미와 용도는 서로 관련이 없습니다.

11. 일반 사용자도 Token을 알아야 하는 이유

“프로그래머도 아닌데 왜 Token을 알아야 할까?”라고 생각할 수 있습니다.

AI는 점점 오늘날의 전기와 비슷한 존재가 될 것입니다. 발전기의 설계를 몰라도 전기요금 계산 방식, 사용량, 전기를 많이 쓰는 기기는 알아야 합니다.

Token도 같습니다. Token을 이해하면 다음을 판단하는 데 도움이 됩니다.

• 어떤 AI 서비스가 더 비싼 이유
• 큰 파일이 더 많은 사용량을 소비하는 이유
• 모델마다 가격이 다른 이유
• 자신에게 맞는 AI 도구를 고르는 방법

Token을 배우는 목적은 AI 엔지니어가 되는 것이 아니라 AI를 더 효과적으로 사용하는 것입니다.

12. 다음 글: Token은 왜 최근 갑자기 주목받았는가?

이제 Token이 AI가 정보를 읽고 생성하는 기본 단위라는 것을 알았습니다.

하지만 질문이 남습니다.

Token은 오래전부터 존재했는데 왜 최근 몇 년 사이에 주목받기 시작했을까요?

답은 큰 변화와 연결됩니다. 인공지능이 보이지 않는 기반 기술에서 누구나 사용하는 일상 도구로 이동하고 있기 때문입니다.

다음 글에서는 아래 내용을 설명합니다.

• ChatGPT가 AI 산업을 어떻게 바꾸었는지
• 기업이 Token 비용에 주목하기 시작한 이유
• 앞으로 거의 모든 사람이 Token을 이해해야 할 수 있는 이유