基础概念 · 宝玉

自然语言处理(NLP)入门

早上你对着手机说"帮我订明天下午三点的闹钟",语音转文字,一两秒后闹钟设置成功。中午在电商 App 里打了句"想退这个货",客服机器人直接弹出退款入口。晚上打开翻译软件,把一篇英文报道贴进去,中文出来了。三个场景,三种界面,背后是同一套技术——NLP,自然语言处理。


1. NLP 在解决什么问题

计算机天生只会算数。你给它 2+2,它秒回 4。你给它一句话,它就懵了。"能借我点钱吗?""我最近手头也紧。"——第二句是答应还是拒绝?你一秒就知道是婉拒。但计算机看到的是一串字:我、最近、手头、也、紧。字面上没有"不"字,它怎么判断?

人类语言充满了歧义、省略、反讽和隐含信息。同样的"你真行",夸人和骂人都能用。计算机没有生活经验,它需要一套方法,从文字里推断出"人真正想表达什么"。

这就是 NLP 的核心任务:让计算机理解、生成和处理人类语言。


2. NLP 的四步流水线

不管现在的模型多强大,底层都要走这四个步骤。

第一步

分词——切出最小单元

计算机读不了整句话。它先要把句子切成小块,每个块叫一个 Token。"我今天学了自然语言处理"怎么切?"我 / 今天 / 学了 / 自然语言处理"是一种切法。"我 / 今 / 天 / 学 / 了 / 自 / 然 / 语 / 言 / 处 / 理"是另一种。中文没有空格,切错了意思就跑偏。"南京市长江大桥"——"南京市 / 长江大桥"和"南京市长 / 江大桥",完全两码事。

"我今天心情不太好" → 分词 → ["我", "今天", "心情", "不太好"]

第二步

编号——给每个词一个 ID

切完后,每个 Token 得到一个数字编号。"我"是 1024,"今天"是 2048,"心情"是 3072。但编号本身不携带语义。1024 和 2048 差 1024,意思差多少?不知道。编号只是索引,真功夫在后面。

第三步

嵌入——把编号变成语义向量

每个 Token 的编号被转换成一个向量——一长串小数,通常几百个维度。关键规律:语义相近的词,向量在空间里也相近。"苹果"和"香蕉"是邻居,"苹果"和"路由器"离得很远。这一步做完,计算机才算有了"词义感"。以前最经典的结果:king - man + woman ≈ queen,纯靠数值计算就逼近了语义关系。

第四步

上下文建模——理解整句话

同一个词在不同句子里意思不同。"我到了银行"和"我去银行存钱"里的"银行"差不多。"血液银行"里的"银行"就得重新理解。模型要看这个词周围都有谁——这是注意力机制做的事。它让模型在处理每个词时,"注意"到句子中其他相关词,给它们不同的权重。句子越长,这一步越关键。2017 年 Transformer 把这一步做到了极致:让所有词同时互相"看",不用排队处理。

NLP 的四步流水线:分词 → 编号 → 嵌入 → 上下文建模。每秒在你的手机里跑无数遍。

3. 从规则到数据——发展路线

最早一批 NLP 系统靠语言学家手写语法规则。if 主语 + 谓语 + 宾语 then 理解为主谓宾。写了几千条规则,覆盖不了日常对话的一半。语言太灵活了,"吃食堂""吃外卖""吃大餐"——同一个"吃"搭配三种宾语,手写规则怎么写?

1990 年代转向统计方法。不再写规则,而是喂大量文本,统计哪些词经常一起出现。"自然"后面跟着"语言"的概率高,模型就学会了搭配。灵活很多,但只能看前后五六个词,长句子处理不好。

2013 年 Word2Vec 出现,第一次让"词义"能用向量表示。2017 年 Transformer 论文发表,注意力机制正式成为主角。2018 年 BERT 和 GPT 相继问世,预训练加微调成为标准范式。今天你用的 ChatGPT、Claude、文心一言、通义千问,底层都是这个路线。


4. 现实中它长什么样

语音输入:你说的话先转成文字,然后 NLP 理解语义,提取关键信息(明天、下午三点、闹钟),交给系统执行。全程不到一秒。

智能客服:它能识别"我要退货""这个怎么退""想取消订单"是同一个意图,而不是死板匹配关键词。你换一百种说法,它都能归到同一类。

机器翻译:翻译早就不是词对词替换了。模型先理解整句的意思,再生成对应语言的句子。Google 翻译、DeepL 都靠这个。

但也要说实话。NLP 远没到完美的程度。模型会一本正经地胡说八道(幻觉),会漏掉上下文里的关键信息,会在大段文字里迷失重点。它能"处理"语言,但离"理解"还有距离。


5. 相邻概念

  • Token:NLP 处理的最小操作单元,分词的直接产出。一个词可能是一个 Token,也可能是几个子词拼成。
  • 嵌入(Embedding):把 Token 的数字编号转换为语义向量的技术。向量的空间关系直接反映词义关系。
  • 注意力机制(Attention):让模型在处理当前词时,动态关注句子中的相关词。现代 NLP 模型的核心组件。
  • Transformer:2017 年提出的深度学习架构,完全基于注意力机制,取代了循环神经网络。现在所有大语言模型都基于它。
基础概念 · 人工智能ABC