かんたんに言うと
AIが文章を扱うときの最小単位です。英語ならおよそ単語1つ、日本語なら1〜2文字が1トークンにあたります。
もう一歩くわしく
AIは文字をそのまま読むのではなく、いったんトークンという単位に切り分けて処理します。AIサービスの料金は「100万トークンあたり何ドル」という形で決まることが多く、扱える文章の長さもトークン数で表されます。日本語は英語よりトークン数が増えやすいため、同じ内容でも費用がやや高くなる傾向があります。
関連する用語
この用語が出てきたニュース