ChatGPTやAIツールを使っていると、「トークン数」「token count」「入力トークン」「出力トークン」といった言葉を見かけることがあります。ふだん文章を書くときは「文字数」を見れば十分ですが、AIに長い文章を入力したり、APIで文章生成を行ったりする場合は、文字数だけでは正確な量を判断できません。
本記事では、AI・ChatGPTで使われる「トークンとは何か」を、文字数カウントとの違いに絞ってわかりやすく解説します。検索結果には認証トークン、仮想通貨トークン、セキュリティトークンなども出てきますが、ここでは文章をAIが処理するときの単位としてのトークンを扱います。
1. トークンとは？意味をわかりやすく解説
AI・ChatGPTにおけるトークンとは、文章をモデルが処理しやすいように分割した単位です。人間は文章を「文字」「単語」「文」として読みますが、AIモデルは入力されたテキストをそのまま1文字ずつ読むわけではありません。文章はいったん小さな部品に分けられ、その部品の列として処理されます。この部品がトークンです。
トークンは、1文字と完全に同じではありません。英語では単語の一部、単語全体、記号、スペースなどがトークンになります。日本語では、漢字・ひらがな・カタカナ・記号の並び方によって分割のされ方が変わります。そのため、「1000文字だから必ず1000トークン」とは言えません。
| 単位 | 何を数えるか | 主な使用場面 |
|---|---|---|
| 文字数 | 画面上の文字・記号・空白など | レポート、SNS、フォーム、SEOタイトル |
| 単語数 | 英語などのスペースで区切られた語 | 英語エッセイ、翻訳、Word Count |
| トークン数 | AIモデルが処理するために分割された部品 | ChatGPT、AI API、長文要約、プロンプト設計 |
2. token の英語の意味と、ITでの使われ方
英語の「token」には、もともと「しるし」「証拠」「記号」「代用貨幣」といった意味があります。そこから派生して、ITでは文脈によってかなり違う意味で使われます。
| 表現 | 意味 | 本記事との関係 |
|---|---|---|
| AIのトークン | モデルが文章を処理するための単位 | 本記事の主題 |
| 認証トークン | ログインやAPI認証に使う文字列 | 別分野 |
| 仮想通貨トークン | ブロックチェーン上の資産や権利 | 別分野 |
| トークン化 | 文章やデータを小さな単位に分割する処理 | AIの仕組みと関連 |
つまり「トークンとは」と検索したときに出てくる情報は、AI、認証、暗号資産、プログラミングで混ざりやすい言葉です。ChatGPTの文章量について知りたい場合は、「トークン数」「token count」「トークン 文字数」などの組み合わせで調べると、目的に近い情報にたどり着きやすくなります。
3. ChatGPTにおけるトークンとは
ChatGPTでは、ユーザーが入力した文章も、AIが返す文章も、どちらもトークンとして扱われます。長いプロンプトを入力すれば入力トークンが増え、長い回答を生成すれば出力トークンが増えます。
OpenAIのヘルプでは、英語の場合の大まかな目安として、1トークンは約4文字、または約0.75語に相当すると説明されています。別の言い方をすると、100トークンは英語でおおよそ75語程度です。ただし、これは英語の目安であり、日本語では同じ文字数でもトークン数が変わりやすくなります。
ChatGPTやAI APIでトークン数が重要になる理由は、主に次の3つです。
- 入力できる長さに関係する：モデルには一度に扱える文脈量があり、長文を入れすぎると制限に近づきます。
- 処理コストに関係する：APIでは入力トークンと出力トークンが利用量の基準になります。
- 回答品質に関係する：長すぎるプロンプトは重要な指示が埋もれやすく、短すぎるプロンプトは情報不足になりやすいです。
4. トークン数と文字数の違い
文字数は、人間が見て数えやすい単位です。レポートの「2000字以内」、SNSの「140文字」、SEOタイトルの「30文字前後」など、日常的な文章管理では文字数が基準になります。
一方、トークン数はAIモデル側の処理単位です。画面上では同じ1文字に見えても、モデル内部では複数のトークンに分かれることがあります。逆に、複数の文字が1つのトークンとして扱われることもあります。
| 比較項目 | 文字数 | トークン数 |
|---|---|---|
| 基準 | 人間が見る文字の数 | AIモデルが処理する単位 |
| 日本語との相性 | 数えやすい | 分割方式により変わる |
| 英語との相性 | 単語数と併用される | 単語の一部やスペースも関係する |
| 主な用途 | 投稿制限、原稿量、フォーム制限 | AI入力上限、API利用量、長文処理 |
| ツール選び | 文字数カウントツール | token counter / tokenizer |
たとえば「AIで文章を要約してください」という短い日本語でも、漢字・ひらがな・記号が混ざっているため、単純に文字数だけではトークン数を断定できません。正確なトークン数を知りたい場合は、使用するモデルに対応した tokenizer や token counter で確認する必要があります。
5. 1トークンは何文字？日本語と英語の目安
「1トークンは何文字ですか？」という質問への答えは、「言語とモデルによって変わる」です。とはいえ、文章量をざっくり見積もるための目安はあります。
| 言語・文章 | ざっくりした見方 | 注意点 |
|---|---|---|
| 英語 | 1トークンは約4文字、100トークンは約75語が目安 | スペース、句読点、単語の一部も影響する |
| 日本語 | 英語より文字数との対応が不安定 | 漢字・かな・記号・絵文字で分割が変わる |
| 日英混在文 | 文字数からの推定が特に難しい | URL、英数字、専門用語が多いと差が出やすい |
| 絵文字・特殊文字 | 見た目は1文字でも複数扱いになることがある | 文字数、バイト数、トークン数がずれやすい |
日本語では、文字数を先に確認してから「AIに入れるには長すぎないか」を考えるのが実務的です。たとえば、数千文字の議事録やレポートをそのままAIに入れる場合、文字数だけでなくトークン数の余裕も見る必要があります。逆に、SNS投稿やレポート提出のように人間向けの制限が中心なら、まず文字数を正確に確認する方が重要です。
6. token countとは？トークン数を数える場面
token countとは、入力文や出力文がいくつのトークンに分割されるかを数えた値です。AIを文章作成の補助に使うだけなら、毎回正確な token count を確認する必要はありません。しかし、次のような場面ではトークン数を意識すると失敗を減らせます。
- 長文を要約するとき：記事、議事録、論文などを丸ごと入力する場合、モデルの文脈上限に近づきやすくなります。
- プロンプトテンプレートを作るとき：毎回同じ長い指示文を入れると、入力トークンが増え続けます。
- APIの費用を見積もるとき：大量処理では、文字数よりトークン数で見積もる方が実態に近くなります。
- チャット履歴を長く保持するとき：過去の会話も文脈に含める設計では、履歴のトークン数が重要になります。
特にAPI利用では、入力トークンと出力トークンを分けて考えることが大切です。入力を短くしても、回答を長く生成すれば出力トークンは増えます。逆に、長い資料を入力して短い要約だけ返す場合は、入力側の比重が大きくなります。
7. 文字数カウントとトークン数カウントはどちらを見るべき？
結論として、文章の目的によって見るべき指標が変わります。人間に提出・公開する文章では文字数、AIに入力・生成させる文章ではトークン数を意識しましょう。
| 目的 | 優先して見る指標 | 理由 |
|---|---|---|
| レポート・小論文 | 文字数 | 提出条件が「字数」で指定されるため |
| SNS投稿 | 文字数 | プラットフォームの投稿上限が文字数基準のため |
| SEOタイトル・説明文 | 文字数 | 検索結果での表示幅や読みやすさが重要なため |
| ChatGPTへの長文入力 | 文字数 + トークン数 | 文字量を把握したうえで、AIの処理上限も見る必要があるため |
| AI APIの大量処理 | トークン数 | 利用量やコストがトークン単位で決まるため |
mojisucount.comでは、文章の文字数、空白なし文字数、行数、段落数、バイト数などをリアルタイムで確認できます。AIに入力する文章を準備するときも、まず文字数カウントツールで文章量を把握してから、必要に応じて token counter でトークン数を確認するとスムーズです。
8. よくある質問
Q. トークンとは簡単に言うと何ですか？
AIが文章を処理するために分割した小さな部品です。文字、単語、記号、スペースなどが組み合わさってトークンになります。
Q. トークン数と文字数は同じですか？
同じではありません。文字数は人間が見える文字を数える指標、トークン数はAIモデルが内部で処理する単位です。
Q. 日本語では1トークンは何文字ですか？
固定の換算式はありません。漢字、ひらがな、カタカナ、英数字、記号、絵文字の混ざり方によって変わります。正確に知るには、使うモデルに対応した tokenizer で確認します。
Q. token countはいつ必要ですか？
ChatGPTに長文を入れるとき、AI APIの利用量を見積もるとき、プロンプトを短く整理したいときに役立ちます。通常のレポートやSNS投稿では、まず文字数カウントを見れば十分です。
9. 参考情報
トークンの考え方や英語での目安については、OpenAIの公式ヘルプでも説明されています。正確なトークン数はモデルや tokenizer によって変わるため、APIや開発用途では公式ドキュメントや対応ツールで確認してください。
10. まとめ
- ✓ AI・ChatGPTのトークンとは、モデルが文章を処理するために分割した単位。
- ✓ トークン数と文字数は同じではなく、日本語では単純な換算が難しい。
- ✓ 英語では1トークン約4文字、100トークン約75語が大まかな目安。
- ✓ 人間向けの文章制限は文字数、AIの入力上限やAPI利用量はトークン数を見る。
- ✓ AIに入れる文章を整えるときは、まず文字数を確認し、必要に応じて token counter を使う。