ChatGPTの「トークン」とは？意味・上限・カウント方法をわかりやすく解説！

この記事のレベル

難易度	1.5
実用性	3.5
学習コスト	1.5

はじめに

ChatGPTを使っていると「トークン」という言葉を目にすることがあるけれど、正直よくわからない…という方は多いのではないでしょうか？

特に、生成AIを業務に活用しようとすると、「なぜ出力が途中で切れるのか？」「どこまで情報を渡せるのか？」といった疑問が出てきます。

実はこれらの疑問のカギを握るのが「トークン」という考え方です。
本記事では、ChatGPTを使う上で避けては通れない「トークン」について、初心者にもわかるように丁寧に解説します。

トークンとは？

ChatGPTを使っていると、「トークン」という単語をよく見かけます。

トークンとは、生成AIがテキストを処理する際の最小単位です。

通常の日本語や英語の「単語」とは少し異なり、1トークンは文字・単語の一部・記号などを含む断片的な単位になります。

テキスト	トークン数（GPT-4oの場合）
ChatGPTはすごい！	7トークン
こんにちは	1トークン
Hello, world!	4トークン

生成AIごとのトークン上限数（主要モデル比較）

ChatGPTやClaudeなど、各モデルには「トークンの上限数」が設定されています。
これは「同一チャット内の入力＋出力の合計トークン数」を意味します。

モデル名	トークン上限
GPT-4o（ChatGpt有料プラン）	128,000トークン
GPT-3.5（ChatGpt無料プラン）	4,096トークン
Claude 3 Opus	200,000トークン
Gemini 1.5	約1Mトークン（100万）

トークンのカウント方法は？

トークン数の上限を意識するには、自分の入力や出力がどれくらいのトークン数になるのかを把握することが重要です。

ChatGPTでは、「トークナイザー（Tokenizer）」というツールを使ってトークン数を確認できます。

たとえば、「トークンについて」というテキストは、4トークンとしてカウントされます。

トークン上限数を意識すべき理由は？

なぜトークン数を気にする必要があるのか？主な理由は以下の通りです。

• 出力が途中で切れるトラブル防止
• 会話履歴が長くなると古い文脈が切り捨てられる
• APIを使った際の課金がトークンベース

つまり、トークンは「処理量の上限」かつ「コストの単位」という認識を持つのが大切です。

まとめ