基础概念 · 量子位

NLP是什么?这份极简入门看懂AI的"语文课"

每天上亿人跟AI对话。聊天、翻译、改稿。你敲一行字,AI秒回一段话。但你敲的每个字,AI看到的不是字——是一串数字。把人话翻译成数字,再理解、推理、生成。这套技术叫 NLP,自然语言处理。它就像AI的"语文课"——教会机器读懂人话。而中文,是这门课里最难的一张考卷。


中文:NLP 的噩梦难度

英文天然有空格分词,中文没有。"南京市长江大桥"——是"南京市/长江大桥"还是"南京市长/江大桥"?人看了会笑,机器看了会崩溃。

更别说歧义。"我差点没考上大学"——考上了还是没考上?"冬天能穿多少穿多少,夏天能穿多少穿多少"——两句话长得一模一样,意思完全相反。人靠常识一秒判断。计算机没有常识。它只有数学。

NLP 要解决的根本问题就一个:怎么把字变成数,同时把意思留住。这口气,70 年才喘过来。


四代路线,一次比一次狠

第一代

手写规则(1950s–1980s)

1954 年,Georgetown-IBM 用 250 个单词加 6 条语法规则,翻译了 60 个俄语句子。学界沸腾,以为两年内就能搞定机器翻译。然后发现语言的特例写不完——你写三千条规则,出来一万个例外。到八十年代,花十年建一个系统,只覆盖了一个垂直领域。

第二代

统计概率(1990s–2000s)

既然写不完规则,换思路——不"理解"了,改"计数"。喂大量文本,让计算机算概率:看到"苹果",后面更可能是"吃"还是"发布"?IBM 的翻译模型在双语语料里算词对齐概率。效果比规则好很多。但硬伤致命:模型只能看前后五六个词做决策,句子一长就断片。

第三代

词向量 + 神经网络(2013–2016)

2013 年 Google 发 Word2Vec。每个词变成一串数字——向量。关键突破:语义相近的词,向量在空间里彼此靠拢。king − man + woman ≈ queen,这种类比用减法就能算出来。历史上第一次,机器在数字空间里学会了词与词的关系。同期 LSTM 和注意力机制开始出现。但有个硬伤:RNN 只能一个词一个词读,读完一句才能处理下一句,没法并行。

第四代

Transformer 预训练(2017–至今)

2017 年 Google 那篇《Attention Is All You Need》。核心改动:所有词同时互相"看",不再排队。训练速度直接起飞。2018 年 BERT 发布,11 项 NLP 任务屠榜。GPT 选了另一条路——只用解码器部分,拼命堆参数——走出了今天的大语言模型。

从规则到统计到神经网络到 Transformer。变的是方法,不变的课题:怎么让人话变成机器能算的数。

两步核心操作

不管哪一代,NLP 落地都要走两步。第一步:分词。计算机不认字,只认 token。"自然语言处理"要切成最小单元——可以按字切,按词切,或者用子词切。现在主流叫 BPE:先拆到最小,统计哪些组合出现最多,合并成一个 token。常见词"模型""训练"当一整块。生僻词拆细。GPT-4o 的词表约 20 万个 token,日常语言基本覆盖。

第二步:嵌入。分完词,每个 token 有个编号——12345。但"苹果"和"香蕉"的编号可能差 1,这个差值在语义上毫无意义。嵌入就是把编号转成一串向量(768 维或 4096 维),让语义相近的词向量靠近、语义远的远离。今天 Transformer 的嵌入是端到端训练出来的,但底层逻辑和 Word2Vec 一脉相承。


一个分野:GPT 和 BERT 走了不同的路

2018 年之后,NLP 的预训练路线分叉了。BERT 用编码器做双向理解——同时看一个词左边和右边的上下文。GPT 用解码器做单向生成——只能从左到右,但它赌对了规模:模型够大、数据够多,单向理解的能力反而超越了双向。今天几乎所有的 AI 对话产品,底层都是 GPT 这条路线。

一个简单的判断标准:需要理解整段语义的任务,BERT 更合适;需要生成连贯文本的任务,GPT 更强。过去两年,生成模型一路狂飙,BERT 类模型在工业界的占比快速下降。


2026 年:NLP 被"AI"吞掉了

2016 年你要做一个文本分类:分词 → 去停用词 → 特征工程 → TF-IDF → 训练 SVM → 调参调参再调参。一周起步,每一步都要用不同的库。

2026 年你做同样的事:写一条提示词,交给大模型。分词、理解、特征提取、分类,全吞进去了。

代价也有。大模型比当年的流水线贵得多。而且是个黑箱——你能检验输出对不对,但出了错很难定位到哪一步出了问题。当年那条流水线,每步都可观测、可调试。

NLP 作为一个独立学科,正在被"AI"这个大词吸收。十年前它有自己的顶级会议(ACL、EMNLP)、自己的排行榜(GLUE、SuperGLUE)、自己的入门工具(NLTK、spaCy)。今天你说"做个 NLP 任务",对方大概率回你一句:"去问一下大模型不就行了?"

进步是真的。被跳过的底层能力,学的人越来越少了,也是真的。


相邻概念

  • Token:NLP 处理的最小单元。一个中文词、一个英文子词、甚至一个标点,都是一个 token。
  • 嵌入(Embedding):把 token 编号变成语义向量的技术。所有大模型的第一层都在做这件事。
  • 注意力机制:Transformer 的核心。让模型在生成某个词时,知道"该看原文的哪里"。
  • 预训练 / 微调:今天 NLP 的标准范式。先用海量数据训练一个通用模型(预训练),再用少量任务数据做定向优化(微调)。
  • 大语言模型(LLM):NLP 70 年发展的集大成产物。GPT、Claude、文心一言、通义千问,底层都是 NLP 技术。
极简入门 · 人工智能ABC