基础概念 · 秋芝2046
NLP 到底是什么
你有没有对手机发过火?
"帮我定个明天早上八点的闹钟。"
手机沉默了三秒。
"不好意思,我没有听懂。"
你深吸一口气,放慢语速,一字一顿又说了一遍。它还是没懂。
那一刻你想砸手机。
这不是你的问题。这是 NLP 还没做好的事情。
1. NLP 是什么
NLP 的全名叫自然语言处理——让计算机理解我们每天说的"人话"。
难在哪呢?人话太灵活了。同样一句话,语气不同意思就完全不同。"你可真行"可以是夸你,也可以是骂你。而计算机从出生起只会读 0 和 1。你让它理解这种阴阳怪气,确实有点为难。
NLP 花了 70 年就做一件事:把你说的人话,翻译成计算机能算的数字。
2. 你每天都在用
你在百度搜"附近有什么好吃的",搜索引擎翻出结果——它靠 NLP 理解你的意思,而不是真的在数据库里翻菜谱。
你用 Google 翻译把中文甩成英文——它靠 NLP。
你跟 Siri 说"放首歌来听听"——它靠 NLP。
你跟客服机器人吵了十分钟它还是没解决——这也是 NLP,翻车版本。
3. 以前和现在
以前的机器翻译长这样:输入"我在银行排队",输出"I at bank line up"。每个词单独翻译,然后按固定顺序拼起来。词序一错,意思全歪。
现在不一样了。你丢一段中文进去,出来的英文通顺地道。它甚至能区分"银行"是 bank(存钱的地方)还是 river bank(河岸)。
怎么做到的?简单说,现在的 NLP 不靠人写规则了。它靠喂数据。
工程师把几万亿个字喂给一个巨大的神经网络。它自己学会了语言的规律——什么词经常跟在什么词后面,什么语境下用什么表达。它不"理解"词的意思,它理解词的位置关系和出现模式。
就像一个人没学过语法,但听多了自然会说。大模型也是这样:读得够多,就会了。
4. 它其实不懂你
你说"昨天去钓鱼,一条都没钓到,气死了"。它回"太惨了,下次换个地方"。看起来它在共情。实际上它只是算出来"钓不到鱼"后面最可能出现"可怜""下次""换个地方"。
它演得很好。但它不知道什么叫失望。
这引出 NLP 到今天还没解决的难题:常识和推理。
"小明把杯子放在桌上,然后他走出了房间。"——杯子还在桌上。
"小明把杯子放在桌上,然后他收走了。"——杯子不在了。
人一眼就能分清。但机器需要额外机制才知道:谁拿了杯子?人走了杯子还在不在?
这需要的不是语言能力,是对世界的理解。
5. 相邻概念
NLP 你天天在用,它进步很大,但离真正"懂你"还有距离。如果想继续往下挖,从这四个概念开始:
- Token:NLP 处理的最小单位。一句话被切成若干 token,模型一个一个吃进去。
- 嵌入(Embedding):把 token 变成一串数字向量。语义相近的词,在数字空间里也挨得近。
- 注意力机制:模型生成每个词时"回头看"输入里哪些词更重要。现代 NLP 的灵魂。
- Transformer:2017 年提出的架构,今天所有大模型都长在它上面。