基础概念 · 新智元

NLP:AI的"语文课"到底学什么?

你对着手机说"帮我订明天早上九点的闹钟",它听懂了。你给 ChatGPT 丢过去一段文言文,它翻成了白话。DeepL 转五秒,英文变中文。这些场景看起来毫不相关。背后的技术只有一个——NLP。让计算机理解人话。这件事搞了七十年,到今天也没完全搞定。


1. 难在哪

代码写错了就报错,跑不起来。人话不是代码。"冬天能穿多少穿多少"和"夏天能穿多少穿多少"——字一模一样,意思完全相反。人靠常识判断,机器没有常识。想一下还更麻烦的:"我差点没考上",考上了还是没考上?"那个苹果真好吃",水果还是手机?

所以 NLP 七十年就死磕一件事:把"人话"翻译成计算机能算的数字,同时尽量不丢意思。


2. 具体做什么

从这个核心出发,演化出几个基本任务。每个都是今天 AI 产品的骨架。

文本分类

判断一段话是正面还是负面

"这家店发货太慢了"——负向。"质量超出预期"——正向。看起来简单,但人和机器的差距一秒暴露。"你做得真好(明明在嘲讽)",人类一眼看穿,模型得分骤降。讽刺和反语是 NLP 的老大难。

命名实体识别

从话里把人名、地名、组织名挑出来

"马云在杭州创办了阿里巴巴。"→ 马云(人)、杭州(地)、阿里巴巴(组织)。搜索引擎靠这个从网页里提取关键信息。知识图谱靠这个搭建实体之间的联系。新闻聚合靠这个自动打标签。它是"让计算机读懂文本"的起手式。

机器翻译

把一种语言换成另一种

这条路走了七十年。从规则翻译到统计翻译,到 2016 年谷歌用神经翻译替换了整个系统。今天大模型翻译在常见场景已经接近普通人类译者。但诗歌、俚语、双关——还是翻得七零八落。"You had me at hello"怎么翻?模型可能字字对译,人知道那是一句电影台词。

问答与对话

理解问题,生成答案

大模型最擅长的事。ChatGPT、Claude、文心一言、通义千问——核心能力就是这个。RAG(检索增强生成)让模型可以实时查资料再回答,不纯靠记忆。但模型仍然会编造事实——所谓幻觉。你问一个它不知道的问题,它不会说"不知道",而是编一个听起来合理的答案。

文本生成

写新闻、写邮件、写代码、写文案

2023 年以来,GPT-4 的输出质量已经让很多人分不清是人写的还是机器写的。"分不清"不等于"没问题"。模型会重复套话,会在一句话里前后矛盾,会一本正经地胡说八道。但进展确实惊人——五年前自动生成的文本还经常像出自三岁小孩之手,今天已经能写出流畅的千字长文。


3. 进展怎么来的

六十年代靠人手工写语法规则。九十年代靠统计概率——喂大量文本,让计算机自己"数"。2013 年 Word2Vec 出来,机器第一次有了"语义相近"的概念:苹果和香蕉离得近,苹果和编程离得远。

2017 年是分水岭。Google 发了那篇《Attention Is All You Need》,Transformer 架构诞生。它让所有词可以同时互相"看",不再需要排队一个个处理。2018 年 BERT 在十一项 NLP 任务上横扫第一。2019 年 GPT-2 展示了大规模语言模型的潜力。然后速度越来越快——GPT-3、ChatGPT、GPT-4、Claude、Gemini。

从 2017 到 2026,不到十年,NLP 从"用一堆小模型拼凑流水线"变成了"一个超大模型包办一切"。

七十年换了四套做法。本质就一个问题:怎么把字变成数,同时留住意思。

4. 今天的格局

大模型吃掉了一切。以前做一个分类任务:分词、去停用词、做特征工程、训练分类器、调参——入门就要一周。现在:写提示词,交给大模型。

旧的工具箱——NLTK、spaCy、Stanford CoreNLP——用得越来越少。属于它们的时代过去了。但代价也很清楚:大模型调一次 API,成本几毛钱到几块钱。而且是黑箱,你只知道输出对不对,出了错很难追到具体原因。

有意思的现状:NLP 作为一个独立学科,正在被"AI"这个大词吞掉。十年前它有专属赛事 GLUE、专属会议 ACL/EMNLP、专属工具箱。现在你说"做一个 NLP 任务",等于说"去问一下大模型"。进步巨大。但那些底层原理,学的人越来越少了。


5. 相邻概念

  • Token:NLP 处理的最小单元。分词的直接产出,"今天天气很好"分成 3 个或 4 个 token。
  • 嵌入(Embedding):把 token 编号转成向量。语义相近的词,向量在数字空间里也靠得近。
  • 注意力机制:帮模型判断"该看哪里"。Transformer 的核心发明。
  • Transformer:2017 年以来几乎所有大模型的基础架构。取代了老一代的 RNN。
  • 大语言模型(LLM):NLP 七十年积累的最终输出。一个模型,能翻译、能分类、能写文章、能聊天。
基础概念 · 人工智能ABC