基础概念

概念解析——Token 词元

你打 strawberry 让模型数里面有几个字母 r,它答不上来。不是它笨,它根本没看见字母——它看见的是三个数字编号:str、aw、berry。Token(中文叫词元)是大模型读写文本的最小单位。比汉字大、比英文词小,技术圈叫它子词(subword)。


1. Token 是什么

模型不认识你的文字。只认数字。你输入一段文字,先经过 tokenizer(切分器)切成小块。每一块是一个 token,每个 token 被分配一个唯一的编号(token id)。模型从头到尾只跟这些数字打交道。

同样的文字用不同 tokenizer 切,结果完全不同。GPT-4o 用 o200k_base 词表,大约 20 万个固定 token 类型。常见词比如 the、模型 各占一个 token,生僻词退回到更细的颗粒度。不会有"不在词表里"的情况——大不了切成单字符。

不同语言的 token 成本差异很大。

示例:同一句话在不同语言下(GPT-4o o200k_base 实测):
"The weather is nice today." → 约 8 个 token
"今天天气真好。" → 约 6 个 token
"今日はいい天気ですね。" → 约 11 个 token
"الطقس جميل اليوم." → 约 13 个 token

一个英文词平均 1.3 个 token,一个汉字 1-2 个 token,emoji 1-4 个,数字 12345 会被切成 2-3 段。

这条规律直接决定你付给 API 多少钱。模型按 token 计费,输出通常比输入贵 4-6 倍。

Token id 是模型唯一能读的东西。你的语法、修辞、情绪、逻辑——模型只能从这一串数字编号里猜。切法不对,模型读到的意思可能跟你写的不一样。

2. 词表是怎么来的——BPE 算法

早期的 tokenizer 手写规则:常用词列一张表,不在表里的切单字。两个死穴:表做大了存储受不了,做小了碰到生词就断片。

现在的标准做法是 BPE(Byte Pair Encoding)。这个算法 1994 年由 Philip Gage 为数据压缩发明,2015 年被引入机器翻译,如今是所有主流大模型构建词表的基础。

BPE 的核心逻辑:不断找出数据里出现最多的相邻字符对,把它们粘在一起。

拿个小例子看看。假设训练语料里只有四个词:

BPE 小语料:
"low" 出现 5 次、"lower" 出现 2 次、"newest" 出现 6 次、"widest" 出现 3 次。

第 0 步:初始词表 = 10 个单字符(l, o, w, e, r, n, s, t, i, d)。
第 1 步:扫一遍所有词,数相邻 pair。e·s 出现 9 次(newest 中 6 + widest 中 3),并列第一。把 e·s 合并成新 token "es" 加入词表。
第 2 步:再扫。es·t 出现 9 次,合并成 "est"。
第 3 步:l·o 出现 7 次,合并成 "lo";接着 lo·w 合并成 "low"。
最终:"newest" 从 6 个字符缩短到 2 个 token(new·est)。词表从 10 长到 17。

真实情况比这大得多。GPT-4o 的 o200k_base 词表在 4 万亿 token 的语料上跑了大约 20 万次合并,最终词表包含 199,997 种 token。合并顺序被记录在 merges 表里,同一个语料 + 同一张 merges 表 = 同样的切分结果,每次都一样。


3. 同句不同价——语言的 token 鸿沟

BPE 的训练语料里英文占了 50% 以上,常见英文词早就压成了单 token。其他语言没有这个待遇。

同样一句话,换成不同语言,token 数可以差 2-3 倍。

以 GPT-4o 的 o200k_base 实测为例,"天气真好,散步吧" 这个意思:

  • 英语:14 个 token(基准 1×)
  • 法语:18 个(1.3×)
  • 俄语:25 个(1.8×)
  • 韩语:22 个(1.6×)
  • 中文:23 个(1.6×)
  • 日语:28 个(2×)
  • 印地语:28 个(2×)
  • 阿拉伯语:32 个(2.3×)

GPT-4o 的 o200k_base 比上一代词表(cl100k_base)塞进了大量中日韩多字组合。同样 1000 字中文,老词表切出约 1100 个 token,新词表只切约 800 个——降低了约 30%。做中文产品的话,从 GPT-4 换到 GPT-4o 等于自动省了 30% 的 token 费。


4. 上下文窗口——Token 的上限

上下文窗口(context window)是模型一次能"看"的 token 数量上限。你输入的 prompt + 模型生成的回答,加起来不能超过这个数。

这个数字这几年涨得飞快:

  • 2022 年:4K token(一封邮件的长度)
  • 2023 年:32K token(一份长合同)
  • 2024 年:128K token(一本短篇小说)
  • 2026 年:1M token(一整个中型代码库),旗舰模型标配

窗口越大,能喂进去的上下文就越多。但大不等于万事大吉。模型在超长上下文中间那段内容经常"漏看"——Attention 的计算量随 token 数平方增长,长到一定程度模型就"照顾不过来"了。

大也意味着更贵。塞满 1M token 调用一次 GPT-5.5 大约 5 美元。想省成本的话,把输入拆短比什么 prompt 技巧都管用。


5. 被切碎的现实——边缘案例

Token 的切法会带来一些荒唐后果。这些不是 bug,是 tokenizer 的底层设计决定的。

案例一

Strawberry 有几个 r?模型数不出

因为 strawberry 在 BPE 词表里被切成 str · aw · berry 三个 token。模型看见的是三个数字 id,它不知道字母 r 出现了几次。除非它在训练数据里恰好背过"strawberry 有 3 个 r",否则只能瞎猜。

案例二

9.11 比 9.9 大?模型曾经这么说

GPT-4 早期版本认为 9.11 > 9.9。原因与数值无关——.11 是一个 token,.9 是另一个。模型比的是 token 顺序(版本号、章节号里 .11 跟在数字后面很常见),不是在做小数比较。现在主流模型靠 chain-of-thought 或 code interpreter 来修补这个缺陷。

案例三

1234567 不是一个数

tiktoken 把 3 位以下的数字合在一起,4 位以上切碎。1234567 会被切成 12 · 345 · 67 三段。模型不认识"七位数"这个概念,它只认识三个互不相关的 token id。做 5 位以上的加减乘除,必须让模型调计算器。

案例四

中英混排,切换处最碎

"我用 PyTorch 写 transformer" 这个句子,中文按字切、英文按子词切,交界处的 token 成本比纯中文或纯英文都高。中英混排的 prompt 不宜逐字优化 token 数——改一个字可能省 1 个 token,也可能多 3 个,不可预测。


6. 相邻概念

Token 不是孤立概念。它与下面几个概念紧密相连:

  • 自然语言处理(NLP):Token 是 NLP 管线中最基础的环节——分词(Tokenization)是一切后续处理的前提。
  • 嵌入(Embedding):每个 token 对应一个向量,模型所有的操作都在向量空间里完成。嵌入是 token 的"数字基座"。
  • 上下文窗口:模型一次能处理多少 token,决定了它能理解多长的内容。窗口越大,塞进去的上下文越多。
  • BPE(Byte Pair Encoding):构建 token 词表的实际算法。从字符开始,统计合并最频繁出现的相邻对。
  • 大语言模型(LLM):Token 是 LLM 的计价单位。理解 token 才能理解大模型的输入输出和成本。
  • 注意力机制:token 与 token 之间的相互关注机制,决定了模型能捕获多远的依赖关系。
概念解析 · 人工智能ABC