AI视频
概念解析——时序注意力
给模型看一张图,它能理解画面里有什么。给它看一段视频——几十帧连续画面——它就需要知道"前一帧里那只猫跑到哪了"。时序注意力(Temporal Attention)就是让模型在帧与帧之间建立关联的核心机制。
1. 为什么视频模型需要时序注意力
一张图片是静态的:一只猫坐在沙发上。模型只需要分析空间关系——猫在哪、沙发什么颜色、光线从哪来。一段视频就不一样了:猫站起来、跳下沙发、走出画面。每一帧之间有关联,前因后果才构成"视频"。
如果模型只看每一帧的独立内容,忽略帧之间的连续关系,生成的结果就会出现典型的"闪烁效应":背景忽明忽暗、物体位置跳跃、运动不连贯。时序注意力就是来解决这个问题的——它让模型在生成某一帧的时候,同时参考它的前后帧。
2. 时空注意力:同时处理两个维度
标准 Transformer 的自注意力在一维序列上操作——无论是文本还是图像 patch 序列,注意力计算都在单一维度上进行。视频是三维数据(时间 x 高 x 宽),于是研究者在空间注意力之外引入了一个新维度:时间轴。
时空注意力(Space-Time Attention)把注意力分解成两个步骤:
- 空间注意力:在同一帧内,让各个图像 patch 之间互相"看",理解画面里的空间结构。
- 时序注意力:在不同帧之间,让同一位置(或相关位置)的 patch 跨时间"通信",追踪运动变化。
这种分解的设计叫"因式分解时空注意力"(Factorized Space-Time Attention)。分开做而不是合在一起做,主要考虑的是计算效率——如果把视频的所有帧、所有 patch 全放到一个巨大的注意力矩阵里算,计算量会爆炸。
空间注意力:每帧内 256 个 patch 互看。
时序注意力:每个 patch 跨 300 帧找对应位置的 patch。
分开算:300 x (256 x 256) + 256 x (300 x 300) —— 约 4200 万次比较。
合在一起算:(300 x 256) x (300 x 256) —— 约 58 亿次比较。
差距超过 100 倍。
3. 3D 自注意力:完整的三维建模
因式分解做了"先空间后时间"或"先时间后空间"的近似。但更完整的做法是 3D 自注意力(3D Self-Attention),也叫"全时空注意力":把视频看作一个三维立方体——高、宽、时间——让每个 patch 同时关注整个三维空间中的所有其他 patch。
3D 自注意力在 Video Vision Transformer(ViViT)等早期工作中被提出。它的优势是理论上最完整,任何空间或时间上的关联都不会漏掉。代价也显而易见:计算复杂度是 O((T x H x W)²),其中 T 是帧数、H 和 W 是空间尺寸。当视频长度和分辨率同时增加时,这个复杂度涨得飞快。
实践中,很少有模型用完整的 3D 自注意力。更常见的做法是局部化约束——每个位置只关注三维空间中的一个邻域窗口,而不是全局。这类似于文本模型中用滑动窗口代替全局注意力的思路。
4. 因果时序注意力与自回归生成
视频生成有一种常见的模式是"自回归式":逐帧生成,当前帧只依赖过去的帧,不依赖未来的帧。这就是因果时序注意力(Causal Temporal Attention)的应用场景。
因果注意力的核心约束很简单:在计算第 t 帧的注意力时,只允许它"看到"第 1 帧到第 t-1 帧的信息,未来帧被遮罩掉。这跟文本生成中 GPT 所用的因果掩码(causal mask)原理一模一样,只不过注意力轴从 token 序列换成了帧序列。
这种设计的优势在于可以无限延长生成——你永远只需要看过去,不关心未来。缺点是模型在做第 t 帧时对"之后会发生什么"完全没有概念,可能导致生成的视频缺乏长程结构上的前后呼应。
5. 稀疏时序注意力:效率优先
不管是完整 3D 还是因式分解,只要逐帧密集计算注意力,开销都不小。稀疏时序注意力(Sparse Temporal Attention)试图在"该看的地方看,不该看的地方不看"上做文章。
常见的稀疏策略包括:
- 跳帧注意力:每个帧只跟前后各 k 帧通信,不是全部。比如 k=4,则只看前后共 8 帧。这假设视频的运动是局部的。
- 关键帧注意力:先把视频压缩成关键帧序列,只在关键帧之间跑注意力,非关键帧从关键帧插值生成。
- 可变形注意力:不去关注所有位置,而是学习一个偏移量,只去关注那些真正"动起来"的区域。
这些方法在计算量和一致性之间取一个折中。在实际产品中,稀疏策略几乎成了标配——因为用户对视频分辨率和流畅度的要求,远超对"帧间像素级完美对齐"的要求。
6. 时序注意力在 Sora 和 Video DiT 中
2024 年 OpenAI 发布 Sora,引发了文生视频的新一轮热潮。Sora 的技术报告明确提到了在 DiT(Diffusion Transformer)架构中引入了时空注意力机制。Sora 的处理单位不是"帧",而是"patch 在时间上的延续"——它把视频压缩成时空 patch,然后在这些 patch 上做三维注意力。
Video DiT 是另一个重要的参考路线。它把 DiT 从图像扩展到视频:在 DiT 原有空间注意力的基础上,插入时序注意力层,形成"空间层 + 时间层"交替堆叠的结构。每个 DiT block 先做空间自注意力(同一帧内),再做时序自注意力(跨帧)。
在 2025-2026 年的开源视频生成模型中(如 Open-Sora Plan、CogVideoX、Mochi),这种"空间-时间交替"模式已经是事实标准。差异主要在于时序注意力的具体设计:是每帧密集连接还是稀疏连接,是否使用因果掩码,注意力头数如何分配。
7. 相邻概念
时序注意力不是孤立存在的。你接下来可以顺着这些概念深入:
- DiT 扩散 Transformer:用 Transformer 替代 U-Net 的扩散模型架构,Sora 的基础,时序注意力在这个架构里工作。
- 视频扩散模型:将扩散过程扩展到视频生成的技术,时序注意力是其中的关键组件。
- 注意力机制:时序注意力的基础,理解空间注意力是理解时序注意力的前提。
- 多模态:视频模型本质上是一个多模态系统——文本到视觉的跨模态生成。