基础概念 · 特工宇宙

跟机器聊天之前,机器在干嘛?

你打开对话框,打了一行字,敲回车。对面秒回。看起来像在跟人聊天。但对面不是人。是数学。

你一秒钟读懂这句话:"我今天心情不太好。"机器读到的是一堆数字:[101, 234, 567, 891, 2345]。这些数字本身毫无含义。但经过十几步加工,机器能从那堆数字里"猜"出你在表达情绪。

这个过程叫 NLP。自然语言处理。说白了就一件事:怎么让只认识 0 和 1 的计算机,看懂人说的话。

我拆给你看。


1. 第一步,切碎

拿到一句话,机器做的第一件事不是"理解",是切。

"我今天心情不太好。"先切成小块对吧——"我""今天""心情""不太好"。对了一半。机器是按"意思单元"切的,不是按字。一个单元叫一个 Token。

你可以想象成做菜。你给了机器一整条鱼——一句话。它先把鱼切成鱼片——Token。鱼片大小差不多一致,才能下锅。

这步叫分词,或者 Tokenization。中文比英文麻烦,因为句子中间没有空格。英文 "I'm feeling down today" 天然是分开的。中文"我今天心情不太好"全粘在一起。所以中文学 NLP 的人,第一课就是跟分词工具打交道。

找任何一个 LLM 的 Tokenizer 可视化工具,输入你的话,它能当场给你展示每个 Token 用不同颜色标出来。你亲眼看着机器怎么切你的话。试试输入"我今天心情不太好"和"I'm feeling down",对比一下切法差多少。


2. 第二步,编号

切完还不能直接算。机器只认数字。

每个 Token 被分配一个编号。"我"= 1042,"今天"= 5678,"心情"= 2341。这一步叫 Token ID 映射。模型有一个词表——一个巨大的编号本子,把平时见过的 Token 全登记上去。

但编号就是编号,不承载含义。1042 比 5678 小,不代表"我"比"今天"更重要。编号的顺序只是字典里的顺序,跟语义没有半毛钱关系。

所以需要第三步。


3. 第三步,变向量

编号没有意义,那就给每个 Token 换一串有结构的数字——向量。

"心情"变成这样一串:[0.23, -0.67, 0.89, 0.12, -0.34, ...]。一共 768 个数字。这叫 嵌入(Embedding)。

核心设计就一个规则:语义相近的词,它们在数学空间里的位置也靠得近。"心情"和"情绪"的向量距离很近。"心情"和"桌子"的向量距离很远。距离用"余弦相似度"算,0 到 1 之间,越接近 1 越相似。

去 Hugging Face 找一个开源的 Embedding 模型。输入"高兴""开心""桌子"。模型会返回三串向量。算一下两两之间的余弦相似度:"高兴"和"开心"通常在 0.7 以上,"高兴"和"桌子"可能只有 0.1。数字不会骗人。


4. 第四步,看上下文

向量有了,但同一个词在不同句子里的意思不一样。

"我吃了一个苹果。" "我买了一个苹果。"第一个是水果,第二个是手机。机器怎么分?看上下文。"吃"的旁边,苹果多半是水果。整段话在聊数码产品,那偏向手机。

这个"看上下文"的机制叫注意力(Attention)。2017 年之前,机器看上下文是排队的——一个字一个字往后读,读到后面忘了前面。2017 年发生了一件事:Google 发了篇论文《Attention Is All You Need》。核心改动就一个——句子里的所有词同时互相"看",一次性扫完上下文。速度翻倍,效果也翻倍。

当前所有大模型——GPT、Claude、文心、通义——底层都是这套注意力机制。只不过规模放大了上万倍,词表从几万扩到几十万,向量维度从 768 涨到 4096 甚至更高。


5. 这跟你有什么关系

你每给 ChatGPT 发一句话,它内部都跑了这一整套:分词 → 编号 → 嵌入 → 注意力计算 → 预测下一个词。全流程被压进了不到一秒。

你知道这些有什么用?下次 AI 回答跑偏了,你能猜到可能是哪一步出问题。分词没切对?上下文没看全?向量空间里找错了邻居?你有排查的方向了。

说透了。NLP 不是什么玄学,是一套有清晰步骤的数学流水线。把字变成数,在数里找关系,用关系猜意图。你聊天的对象,底层逻辑就这么简单。


6. 相邻概念

  • Token:NLP 操作的最小单元,分词的直接产出。不同模型词表大小从几万到几十万不等。
  • 嵌入(Embedding):把 Token 编号转为向量的技术,核心是让语义相近的词在数学空间里靠拢。
  • 注意力机制(Attention):让模型同时"看到"所有词,2017 年之后取代了顺序阅读,成为所有大模型的基础。
  • Transformer:2017 年提出的架构,核心是注意力+多层堆叠。GPT 和 BERT 都是它的小改版。
  • 大语言模型(LLM):NLP 流水线集成后的大一统产物。一个模型吃下所有步骤,不用再为每个任务单独搭流程。
概念科普 · 人工智能ABC