トークンとは

トークンとは、AI（人工知能）が言葉を処理するときに数える最小の単位です。言葉をこまかく分割して、1つずつ計算の対象にします。単語や文字、記号のような細かさで分けられています。処理のスピードと結果の質は、このトークンの数によって左右されます。

中小企業の実務でどう関わるか

• AI利用サービスの利用量追跡：トークン数で使用量が計測され、料金や制限に関わることがあります。
• 質問や回答の効率性：長い質問や詳しい回答ほど、トークン数が増えます。
• AI処理の限界理解：非常に長い文章を一度に処理できない理由がトークン数の制限にあります。
• 長文への対応限界：AIには一度に処理できるトークン数に上限があり、長すぎる文章の一部がカットされることもあります。
• 外部サービス利用時の判断基準：異なるAIツール間でトークン数が異なり、効率性の比較につながります。

あわせて知りたい言葉

• プロンプト：AI（人工知能）への指示や質問のこと。トークン数はプロンプトの長さに影響されます。
• 回答：AIが返す言葉のこと。長い回答ほどトークン数が多くなります。
• 学習データ：AIが学ぶ元になった文章。トークン化してAIの学習に使われます。