大语言模型

概念解析——上下文窗口

上下文窗口(Context Window)是大语言模型一次推理能「看到」的全部文本的最大长度。模型没有硬盘,每次请求都是把系统提示词、工具定义、历史消息、当前提问拼成一段文本喂进去。这一段就是它这一秒的全部工作记忆——关掉就没。


1. 上下文窗口是什么

简单说:模型一次能处理的最大 token 数量。GPT-3 时代的窗口是 4K tokens,相当于一篇短文。到 2026 年,主流模型普遍到 1M tokens,Gemini 3 Pro 甚至到了 2M。但窗口变大的代价也很大——它不是无成本的福利。

上下文窗口的工作方式很直接。你发一个请求,服务端把 system prompt、工具定义、前面聊过的话、RAG 检索回来的内容、你这次的问题——全拼成一段连续的文本。模型拿到这段文本开始做注意力计算,输出答案。下一轮请求,又从零拼一遍。

类比:想象你面前有一张白纸,每轮对话就把纸上内容擦掉重写。纸的大小就是上下文窗口。纸越大,一次能写的东西越多,但找一个特定信息需要翻的范围也越大。

一个关键事实:装得下不等于记得清。模型在长文本里找到关键信息的能力随着窗口变长而下降,这叫「中间信息丢失」(Lost in the Middle)。后面会细讲。


2. 从 4K 到 2M —— 窗口的进化史

2020

GPT-3:4K 就是天花板

GPT-3 的上下文窗口是 4,096 tokens——大约 3,000 个英文单词。够写一篇短文,但聊几轮就满了。当时没有人觉得 4K 小,因为大家还在「让模型把一句话补完」的阶段,不是让模型读长文档。

2023

GPT-4:窗口开始卷

GPT-4 首发 8K,加了一个 32K 的变体。Claude 2 直接把窗口推到 100K——当时市场震动,因为 100K 意味着可以整本小说丢进去让模型分析。同年晚些时候,GPT-4 Turbo 跟到 128K,这成了 2024 年的「标配」。

2025–2026

百万级窗口:从噱头到标配

2025 年 Gemini 1.5 Pro 率先支持 1M tokens。2026 年几乎全线跟进:Claude Opus 4.7 和 GPT-5.5 都是 1M,Gemini 3 Pro 到了 2M。前沿模型的训练窗口从 4K 涨到了 1M——五年 256 倍。但「支持 1M」和「在 1M 文本上表现稳定」是两回事。

五年时间,上下文窗口从 4K 走到 2M,增长了 500 倍。但模型在长文本上的有效利用率并没有跟着线性增长——窗口越大,浪费的比例越高。

3. 为什么长窗口这么难

长窗口不是把模型参数里的数字改大就能搞定的。它有三个核心难题。

注意力复杂度的诅咒

Transformer 的核心是自注意力(Self-Attention)。每个 token 要对序列里所有其他 token 算一遍注意力分数——复杂度是 O(n²)。窗口翻倍,计算量翻四倍。1M 的窗口如果照 128K 的算法直接放大,计算量要涨 64 倍。所有长窗口技术本质上都在对抗这条曲线。

中间信息丢失

2023 年的一篇论文1揭示了一个稳定现象:当输入文本超过一定长度,模型对开头和结尾的内容记得最清楚,中间部分的信息召回率显著下降。实验显示,关键信息放在长文本的中间位置,模型找它对的能力比放在开头或结尾差得多。这个现象后来被大量复现,成为长上下文模型的头号问题。

真实案例:在 80K token 的文档里把一句话「API 限速 100 次/分钟」藏在第 40K 的位置,然后问「限速是多少」。模型 128K 窗口的模型经常会答:「文档里没有明确提到 API 限速」——它装下了,但它没看见。

长度外推的难题

模型训练时用的序列长度是固定的(比如 128K),推理时输入的序列可能比训练时长得多。模型没见过那么长的位置编码,在位置表征上出现「序列断档」——后面的位置没有对应的训练分布。解决这个问题需要特殊的位置编码技术(RoPE、YaRN、ALiBi 等),但到今天仍然没有完美的方案。


4. 撑爆了会怎样

上下文窗口不是一道硬墙——撑满了模型不会报错,不会拒答。它给你一个看上去像那么回事、实际上抓不住重点的回答。四个典型症状:

  • 走神:忘了对话开头说过的决策和约束。模型按位置加权时,远的东西优先级低,指令被覆盖。
  • 中间信息丢失:窗口中间的内容被模型直接忽略。开头和结尾的内容优先被关注,中间的等价于不存在。
  • 注意力稀释:每个 token 分到的注意力变薄。模型从「精准定位关键信息」变成「泛泛地扫一遍」,回答从具体变成笼统。
  • 答非所问:前面出现过的内容反复打断模型,让它总在过去的细节上打转,无法聚焦当前问题。

关键洞察:退化不是突然发生的。上下文占用超过 50% 时模型就开始下滑,超过 75% 时退化明显加速。到 90% 以上,回答质量已经不可靠了。但用户界面看起来一切正常——这是最坑的地方。


5. 扩展窗口的技术路线

要让模型在更长的上下文上表现好,目前有四条技术路线。

RoPE(旋转位置编码)

RoPE 是目前最流行的位置编码方案。它把位置信息编码成旋转矩阵,让模型天然能感知 token 之间的相对距离。RoPE 的好处是支持一定程度的位置外推——训练时用 4K,推理时可以用到 8K 甚至更长,虽然会损失一些精度。GPT-4、LLaMA、大部分开源模型都用它。

YaRN(Yet another RoPE extensioN)

YaRN 是一种改进的 RoPE 扩展方法。它通过调整旋转频率的分布,让 RoPE 能外推到更长的序列。简单说:把位置编码的「节奏」拉长,让模型在更长的位置上仍然能分辨不同位置的差异。LLaMA 3.1 的 128K 窗口就是通过 YaRN 从 8K 训练扩展到 128K 推理的。

ALiBi(注意力线性偏置)

ALiBi 走了一条不同的路:不给 token 加位置编码,而是直接给注意力分数加一个与距离成正比的偏置——越远的 token,偏置越大,注意力越低。这种设计天然支持外推,因为它的位置信息不是「学出来」的而是「算出来」的。ALiBi 的优点是实现简单,但表达能力不如 RoPE。

Ring Attention(环形注意力)

Ring Attention 是分布式计算层面的方案。它把超长序列分到多个 GPU 上,每个 GPU 只算自己那块的自注意力,然后通过环形通信把结果拼起来。这让单次推理能处理的上下文长度不再受单卡显存限制。1M 和 2M 的窗口,背后几乎都是用 Ring Attention 或其变体实现的。

RoPE 解决「位置感知」,YaRN 解决「长度外推」,ALiBi 解决「简化位置设计」,Ring Attention 解决「显存不够分」。四套技术各有分工,前沿模型通常组合使用。

6. 上下文窗口 vs RAG

面对超长知识库时,有两个思路:把整份知识库塞进上下文窗口,还是用 RAG(检索增强生成)把相关内容捞出来再喂给模型。各有取舍。

长窗口方案的好处是简单直接——全部丢进去,模型自己决定看哪里。缺点前面说了:中间信息丢失、注意力稀释、成本高。长窗口推理的 KV Cache 占用随序列长度线性增长,1M token 的单次推理成本远高于多轮短对话。

RAG 方案先检索再生成,每次只把最相关的几个 chunk 塞进窗口。优点是窗口占用少、成本低、模型注意力集中。缺点是检索质量决定了回答质量的上限——检索没捞到相关信息,模型再强也答不对。而且检索多了一步延迟。

怎么选:处理整本技术手册——用 RAG,因为不是每一页都需要;分析一份合同全文——用长窗口,因为所有条款都相关且需要交叉印证。两条路线不是互斥的——实际系统里长窗口模型作为 RAG 的 reranker 正在变得常见。

7. 相邻概念

上下文窗口不是孤立的概念。顺着这些方向深入,能看到更完整的图谱:

  • KV Cache:Transformer 推理时缓存 Key/Value 张量来避免重复计算。长上下文窗口的显存瓶颈,主要来自 KV Cache 随序列线性膨胀。
  • 注意力机制:上下文窗口里每个 token 之间互相「看」的方式,决定了模型能捕获多远距离的依赖。
  • RAG 检索增强生成:用外部检索扩展模型知识范围的手段,与长上下文窗口形成互补关系。
  • 文本分块(Chunking):RAG 系统中决定检索质量的基础步骤,与上下文窗口的 token 管理直接相关。
  • 模型推理:上下文窗口是推理阶段最核心的资源约束之一,决定了单次推理能接受的最大输入。

参考资料

  1. Liu et al. "Lost in the Middle: How Language Models Use Long Contexts." 2023.
  2. Su et al. "RoFormer: Enhanced Transformer with Rotary Position Embedding." 2021.
  3. Peng et al. "YaRN: Efficient Context Window Extension of Large Language Models." 2023.
  4. Press et al. "Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation." 2021.
  5. Liu et al. "Ring Attention with Blockwise Transformers for Near-Infinite Context." 2023.
  6. BenchLM.ai 2026-04 长上下文模型横评报告。
  7. 各家官方 API 文档(OpenAI、Anthropic、Google DeepMind),2026-Q2。
概念解析 · 人工智能ABC