基础概念

概念解析——表示空间

"猫"和"狗"有多像?按字形差很远,按意思——都是宠物、哺乳动物、四只脚。人类一秒能判断。模型怎么做?它把"猫"变成一串数字,比如 [0.32, −0.15, 0.78, …]。"狗"也变成一串数字。两串数字在某个空间里的距离,就反映了意思的远近。这个空间叫表示空间(Representation Space)。它不是看得见摸得着的地方,是一个思想工具——帮我们理解模型"怎么看待"它读到的东西。


1. 什么是"表示"

模型不认识"猫"这个字。只认数字。模型做的第一件事,就是把"猫"变成一个向量——一排数字。这一排数字就是模型对"猫"的"表示"(representation)。

同一个词在不同模型里表示不一样。Word2Vec 的"猫"可能是 300 个数字,GPT-4 的"猫"可能是几千个数字。数字越多,能记录的信息越细,但计算成本也越高。

关键点是:表示不是随意的数字。它们被安排在一个有结构的空间里。相近的含义,坐标也相近。


2. 语义街区:相似的词住得近

拿一个训练好的表示空间来看,"猫""狗""虎"会挤在同一个区域——动物。"桌子""椅子""沙发"在另一个区域——家具。"跑""跳""走"在第三个区域——动作。

训练的目标就是让语义相似的词靠近。模型在大量文本里观察到"猫"和"狗"出现在相似的上下文里("喂____""____很可爱"),于是它们的向量被拉近。这种区域叫"语义街区"(semantic neighborhood)。

这个性质非常有用。搜索引擎靠它做语义匹配:搜"小狗"也能找到写"幼犬"的页面。推荐系统靠它找相似内容:你看过《黑客帝国》,系统推荐《盗梦空间》——它们在表示空间里是邻居。

示例:在一个训练好的词向量空间里,
动物的邻居:猫 ↔ 狗、虎、狮、豹
水果的邻居:苹果 ↔ 香蕉、橙子、葡萄、梨
交通工具的邻居:汽车 ↔ 公交、地铁、卡车、摩托

3. 向量算术:王 - 男 + 女 = 女王

表示空间最惊艳的性质:方向也有含义。

2013 年 Word2Vec 的论文展示了一个结果——king − man + woman ≈ queen。拿"国王"的向量减去"男人"的向量再加上"女人"的向量,结果最接近"女王"的向量。这不是人类教给模型的,是模型从文本里自己学到的性别关系。

类似的关系比比皆是。巴黎 − 法国 + 日本 ≈ 东京。走 − 走路 + 游泳 ≈ 游泳(动词原形)。表示空间里不仅存储了"词的含义",还存储了"词之间的关系"。方向和距离一样承载信息。

这种关系今天的大模型不需要人为做向量加减——Transformer 内部已经自动在做类似的运算。但原理不变:方向对应某种语义特征的增减。

表示空间里,距离反映相似程度,方向反映变化类型。词向量不是死记硬背的坐标,它是一次对语言结构的数学建模。

4. 分层表示:每一层看到的东西不同

大语言模型有几十层甚至上百层。每经过一层,模型都会重新计算一遍表示。同一段文字在不同的层里,位置是不一样的。

靠近输入的那些层,表示还带着很多字面的、表面的特征。"金色毛发"里的"金""色""毛""发"各自独立,模型还没把上下文串起来。到了中间层,"金色毛发"开始往"动物""颜色""外观"这些概念方向移动。到了靠近输出的层,表示已经被任务目标拉偏了——如果问题是"这是什么动物",表示会偏向"金毛犬"这种更具体的回答。

这个发现对研究和应用都重要。做分类任务,可以选用最后一层;做语义相似度,中间层可能更好;做可视化,不同层画出来的图会呈现不一样的格局。


5. 维度困境:更高还是更矮

表示空间的维度(vector dimension)——一个向量有多少个数字——是一个关键设计选择。

维度高,表达能力更强。768 维的 BERT 比 300 维的 Word2Vec 能分出更细腻的语义差别。但代价也很明显:

  • 计算贵:维度翻倍,矩阵运算的代价增到四倍。
  • 数据要求高:高维空间里数据会变得稀疏("维度诅咒"),需要更多训练样本才能填满。
  • 难解释:300 维空间里的一个方向还能勉强说成"性别"或"时态",4096 维空间里的一个方向几乎不可能翻译成自然语言的概念。

这就是维度与可解释性之间的基本取舍。当前研究两条路子:一条继续扩维(GPT-4 的表示维度推测在 1 万以上),靠规模暴力碾压;另一条做"稀疏表示"或"可解释表示",试图在高维空间里留住人类能理解的语义轴。


6. 可视化与投影:屏幕只能看到冰山一角

你经常看到这样的图:几百个词被画在二维平面上,相似的词聚成一团。这是把高维空间"压"到二维的结果,常使用 t-SNE 或 UMAP 等降维算法。

这种图有用,但容易误导。二维图里两个点看起来隔着老远,在原空间里可能只差一点点——只是投影时那个维度信息被丢掉了。"相邻"在哪个空间里定义,结论完全不同。

读这类图的时候,最好只看大的聚类结构,不要抠单个点之间的距离细节。有几十层空间可以看,每一层画出来的图都不一样,选哪一个展示取决于你想说明什么。


7. 表示空间>嵌入

嵌入(Embedding)和表示空间经常被混用,但它们不是一个层次的概念。

嵌入是一个具体的产物——一段内容经过编码后得到的向量。嵌入可以被存进数据库,用来搜索。而表示空间是嵌入存在的那个"世界"——它定义了位置、距离、方向、区域这些结构性的东西。

打个比方:嵌入是一张照片,表示空间是整个相册的布局逻辑。单看一张照片(嵌入)看不出相册里谁和谁挨着;但理解了相册布局(表示空间),你就知道找相似照片时该翻到哪一页。


8. 相邻概念

表示空间是 AI 里最基础也最抽象的概念之一。想深入理解它,可以看这几个邻居:

  • 嵌入(Embedding):表示空间里的"居民"——每个具体内容的向量。
  • NLP:表示空间最早大放异彩的领域,词向量就是它的开端。
  • Token:嵌入的对象——模型先把文字切成 token,再给每个 token 分配表示。
  • Transformer:通过自注意力在层与层之间不断重塑表示,是表示空间最好的工程实现。
概念解析 · 人工智能ABC