深度解析：AI中的Token究竟是什么？

来源：徽声在线

【徽声在线报道 记者 李明轩】根据央视最新消息，全球领先的人工智能（AI）大模型API聚合平台OpenRouter近日公布的数据显示，截至3月15日，中国AI大模型的周调用量已攀升至4.69万亿Token，连续两周超越美国，全球排名前三的AI大模型均被中国占据。这一数据不仅彰显了中国AI领域的迅猛发展势头，也引发了公众对“Token”这一AI领域高频词汇的浓厚兴趣。那么，Token究竟是什么呢？

针对这一疑问，奇安信安全专家张勇在接受《徽声在线》记者专访时进行了深入浅出的解释。他指出，Token在中文中可翻译为“词元”，是AI处理文本时的最小单位。为了更好地理解这一概念，张勇用了一个生动的比喻：“就像人吃饺子不会一口吞下整盘，而是一个一个地吃；AI处理文字时，也会先将句子分割成它能‘消化’的小块，这些小块就是Token。”张勇进一步解释了AI切割长句子的三种情况：一是单个词汇作为一个Token，如“苹果”；二是单个汉字作为一个Token，如语气词“啊”“呀”；三是某些词汇或生僻字会被分割成多个Token，如英文单词“deeplink”可能被分割为“deep”和“link”两个Token。

张勇强调，在AI时代，Token具有极高的“价值密度”。他解释说：“现在的大模型都是按照Token来计费的，而不是按照字数或提问次数。”他举例说，如果向大模型提问‘你好’，可能会消耗2个Token；而模型回答一大段内容，则可能消耗500个Token。用户的费用就是根据这些Token的总数来计算的。

此外，张勇还提到了大模型处理内容的上限问题。他表示，与人类一口气说话的能力有限一样，大模型一次能处理的内容也有上限，即上下文长度，比如128k Token。这个上限不是指提问的字数，而是指提问和模型回答的总Token数。如果对话内容过多，模型可能会“忘记”最早说的话，因为Token窗口已经被占满。

既然与大模型的互动是按照Token计费的，那么有没有节省费用的方法呢？张勇给出了建议：在与大模型对话时，尽量精简提示词，去除不必要的礼貌用语和啰嗦表述，如“你好”“感谢”等。因为大模型不需要这些礼貌用语来理解任务，每句客套话都会消耗输入和输出的Token。此外，使用英文提问通常比中文更节省Token，因为英文单词的Token密度更高。

基于以上原因，Token调用量成为了衡量AI大模型活跃度的重要指标。张勇表示，无论是用户向AI提问还是AI给出回复，都会被拆分成一个个Token进行运算。因此，Token调用量越高，说明大模型被使用得越多、越普及。

同时，Token调用量也是反映AI应用活跃度的关键指标。它就像衡量一款App是否火爆的用户“总使用时长”一样，Token调用量就是AI的“总使用时长指标”。Token调用量越高，意味着模型被使用得越多，AI的市场热度也就越高。

接受《徽声在线》记者采访的专家表示，随着中国AI使用规模的不断扩大，其普及速度将非常快，未来发展潜力巨大。摩根大通预测，中国的AI推理Token消耗量将从2025年的约10千万亿增长至2030年的约3900千万亿，五年间增长数百倍。这一预测进一步印证了中国AI领域的广阔前景和巨大潜力。