Tokenとは何か？AIが扱う「言葉の積み木」を理解する

AIを使うたびに、目に見えないものを消費している

現在、多くの人が毎日のようにAIを使っています。

• ChatGPTに文章を書かせる。
• Claudeに文書を要約させる。
• Geminiに画像を分析させる。
• DeepSeekに問題解決を手伝わせる。

使っているうちに、次のような疑問を持ったことはないでしょうか。

• なぜAIは会話の最初の内容を忘れることがあるのか。
• なぜ長い文書をアップロードすると処理が遅くなるのか。
• なぜ一部のAIサービスはToken単位で課金するのか。

Tokenという言葉を初めて見た人は、AIの中で使う仮想通貨だと考えることがあります。

そうではありません。

ブロックチェーン分野ではTokenがデジタル資産を意味することがありますが、大規模言語モデルでは次の意味です。

AIがテキストや情報を処理するために使う基本単位。

簡単に言えば、TokenはAIが内容を読み、生成するときに使う「言葉の積み木」です。

1. なぜAIにはTokenが必要なのか

Tokenを理解するために、まず人間が文を読む方法を考えてみましょう。

例えば、

今日は天気がいい。

人は「今日」「天気」「いい」という意味をすぐに理解できます。人間の脳は文字と意味を同時に処理できます。

コンピューターは異なります。内部で扱うのは数値、コード、数学的な演算であり、「天気がいい」という意味を人間のように直接理解できません。

そのため、大規模モデルは言葉を処理する前に、人間の言語をコンピューターが計算できる形式へ変換する必要があります。Tokenはその重要な段階です。

2. 簡単な例でTokenを理解する

本の中に次の文があるとします。

人工知能が世界を変えている。

AIは完成した文をそのまま「見る」のではなく、まず小さな単位に分けます。例えば、

人工知能 / が / 世界 / を / 変えている / 。

まずは、この分割された単位をTokenと考えてください。

これは理解のための簡略化された例です。実際のモデルは、必ずしも単語単位で分割しません。

• 一つの単語が一つのTokenになる場合がある。
• 一つの単語が複数のTokenに分かれる場合がある。
• 一つの漢字が一つのTokenになる場合がある。
• 複数の文字が一つのTokenになる場合もある。

3. TokenはAI言語の「積み木」

子どもが初めて積み木で遊ぶ場面を想像してください。完成した建物を渡されるのではなく、立方体、長方形、三角形などの部品を受け取り、それらを組み合わせて家、自動車、城を作ります。

AIの言語処理も似ています。

1. 人間は完成した文を見る。
2. AIはTokenの列を受け取る。
3. モデルはToken同士の関係を計算する。
4. モデルは新しいTokenを生成する。
5. Tokenが、人間に読める回答として組み合わされる。

したがって、

TokenはAIが言語を理解し、生成するための基本部品です。

4. Tokenは文字や単語と同じではない

これは初心者によくある誤解です。中国語の漢字一文字が常に一つのTokenになるわけではなく、英単語一つが常に一つのTokenになるわけでもありません。

中国語と英語では分割方法が大きく異なる

中国語の「人工智能」は、次のように分割される場合があります。

人工 / 智能

あるいは、

人 / 工 / 智 / 能

英語の「artificial intelligence」は、

artificial / intelligence

または、

arti / ficial / intelligence

のように分割される場合があります。具体的な分割は、モデルが使うTokenizer、つまりToken化の規則と語彙によって決まります。

5. なぜAIは文字をTokenに変換するのか

最終的に文字で回答するなら、なぜ文字を直接理解できないのでしょうか。

大規模モデルの内部では、膨大な数学計算が行われるからです。人が「apple」を見ると、果物、赤い色、食べ物、Apple社などを連想できます。コンピューターはまず、その文字を計算可能な数値表現へ変換する必要があります。

処理を簡略化すると、次のようになります。

テキスト
  ↓
Token
  ↓
数値表現
  ↓
モデルの計算
  ↓
新しいToken
  ↓
文章の回答

Tokenは、人間の言語とモデルの数学をつなぐ橋です。

6. AIはTokenを一つずつ生成して回答する

AIが最初に完全な答えを考え、それを一度に出力すると考える人は多いでしょう。大規模言語モデルの動作は、むしろ次に近いものです。

それまでの内容を基に、次に現れる可能性が最も高いTokenを予測する。

例えば「中国の首都はどこですか」と質問したとします。

モデルは「中国」「首都」、歴史知識、言語のパターンを組み合わせ、「北京」に対応するTokenを生成し、続いて句読点が必要かを判断します。最終的に、

中国の首都は北京です。

という文になります。AIの文章生成は、Tokenの予測と生成を繰り返す処理です。

7. 大規模モデルにおけるTokenの役割

大規模モデルを人間の専門家に例えると、次のように整理できます。

学習データ

専門家の学習歴です。読んできた本、記事、資料に相当します。

モデルパラメータ

専門家が蓄積した知識と経験です。何が関連し、どの回答が妥当かを判断する助けになります。

Token

専門家が読み書きするときに使う基本的な言語単位です。

Tokenがなければ文字はモデルに入れません。モデルがなければ、Tokenから意味のある回答は生まれません。両方が言語処理の基盤です。

8. Tokenと会話履歴の関係

会話の最初はAIが以前の内容を覚えていたのに、長く話した後は一部を忘れたように見えることがあります。

理由の一つが、モデルの**コンテキストウィンドウ（Context Window）**です。

コンテキストウィンドウはAIの短期作業領域

広さに限りがある机を想像してください。ファイルA、B、Cを置けても、ファイルが増え続ければ、古いものを片付け、情報を圧縮し、重要な点を整理する必要があります。

AIのコンテキストウィンドウも同様です。

• 会話が長いほど処理するTokenが増える。
• アップロードする文書が長いほど多くのTokenを使う。
• 上限を超えると、最初の情報をすべて保持できなくなる場合がある。

9. なぜTokenが重要になっているのか

以前、一般の利用者がTokenを意識することはほとんどありませんでした。AIは検索、推薦システム、産業用途の裏側にあったからです。

現在、大規模モデルは日常の仕事と生活に直接入り込んでいます。

文章を書く

5000字の記事を依頼すると、AIは指示を処理し、大量の出力Tokenを生成します。

文書を分析する

100ページの契約書をアップロードすると、その大量の内容がTokenへ変換され、理解と分析に使われます。

企業でAIを使う

AIカスタマーサービスが一日に何万件もの問い合わせを処理すれば、各会話で入力Tokenと出力Tokenが発生します。

Tokenは、AIエンジニアだけが知る技術用語から、利用者や企業が理解すべき能力とコストの単位へ変わりつつあります。

10. AIのTokenとブロックチェーンのTokenの違い

Tokenという言葉からBitcoin、NFT、デジタル資産を連想する人もいますが、意味はまったく異なります。

AIのToken

AIが情報を処理する基本単位で、次の用途があります。

• 入力内容を表す。
• 回答を生成する。
• コンテキスト長を測る。
• モデル利用料金を計算する。

ブロックチェーンのToken

ブロックチェーン上のデジタル資産や権利証明で、次の用途があります。

• 価値を取引する。
• 所有権や権利を表す。
• ネットワークの仕組みに参加する。

同じ英単語を使っているだけで、意味と用途は無関係です。

11. なぜ一般の人もTokenを理解すべきなのか

「プログラマーではないのに、なぜTokenを知る必要があるのか」と思うかもしれません。

AIは今後、電気のような存在になります。発電機の設計を知らなくても、料金の計算方法、使用量、消費電力の大きい機器は知る必要があります。

Tokenも同じです。理解すると、次の点を判断しやすくなります。

• なぜあるAIサービスは高いのか。
• なぜ大きなファイルは利用枠を多く消費するのか。
• なぜモデルごとに価格が違うのか。
• 自分に合うAIツールをどう選ぶか。

Tokenを学ぶ目的はAIエンジニアになることではなく、AIをより効果的に使うことです。

12. 次回：なぜTokenは最近急に注目されたのか

Tokenが、AIが情報を読み生成するための基本単位であることは分かりました。

しかし、疑問が残ります。

Tokenは以前から存在していたのに、なぜ最近になって注目されたのでしょうか。

答えは大きな変化にあります。人工知能が裏側の技術から、誰もが使う日常のツールへ移りつつあるからです。

次の記事では、次の点を説明します。

• ChatGPTがAI業界をどう変えたのか。
• なぜ企業がTokenコストに注目し始めたのか。
• なぜ将来、ほぼすべての人がTokenを理解する必要があるのか。