AI视频
概念解析——视频扩散模型
视频扩散模型就是把图像扩散模型的思路扩展到视频生成。听起来只是多了一个维度,但这一多,把图像生成领域相对成熟的技术几乎全盘打翻——需要重新设计模型架构、训练策略、数据管道。2024 年 OpenAI 发布 Sora 让全世界看到文生视频的可能性,此后两年间产品和开源模型密集涌现。到 2026 年,视频扩散已经成为生成式 AI 竞争最激烈的赛道之一。
1. 从图像到视频:多出来的时间维度
一张图像是 H x W x 3 的像素张量。一段视频是 T x H x W x 3——在空间维度之外多了一个时间轴 T(帧数)。这个"多出来的"时间维度,让问题复杂度暴涨。
图像扩散模型只需要保证单帧内的空间一致性——人物比例正常、光影自洽、物体轮廓清晰。视频扩散模型必须在所有帧之间保持时序一致性:前一帧的猫,下一帧不能变成狗;镜头平移时背景应当平滑滚动;物体运动轨迹必须连续自然。
2. 三大核心挑战
视频扩散模型面对的问题可以归结为三个:
帧间一致性。如果模型独立生成每一帧,相邻帧之间会出现抖动、闪烁、物体形态突变等问题。人眼对时间上的不连续极其敏感,一秒 24 帧里有一帧不对就会被注意到。让模型理解"同一物体在不同帧中应该保持外观一致",是视频扩散要解决的首要问题。
计算成本。视频的数据量比图像大一个数量级。一段 5 秒、24fps 的视频有 120 帧。如果每帧按 256x256 计算,总像素数是单帧的 120 倍。训练和推理时的显存消耗、算力需求都随之暴涨。2024 年训练 Sora 的算力消耗据估算是大语言模型 GPT-4 的数倍。
训练数据。高质量的文生视频模型需要大量带有详细文字描述的视频素材。图像数据集动辄数十亿张,而带高质量文本标注的视频数据集要小得多。视频的标注也比图像困难——一个镜头内包含多个场景变化、多个动作,一条简短的"一只狗在草地上奔跑"可以描述 10 秒视频,但它丢失了大量细节。
3. 技术路线:四种主要方法
面对这些挑战,学术界和工业界走了几条不同的技术路线。2026 年回头看,这些路线之间已经出现融合趋势,但了解它们的逻辑差异有助于理解整个领域。
级联式(Cascaded)
最直觉的想法:先用图像生成模型生成第一帧,然后把第一帧作为条件生成第二帧,以此类推——帧逐帧地往前"推"。这样可以把成熟的图像扩散模型直接复用,不需要从头训练视频模型。
问题也很明显:误差会逐帧累积。前几帧还好,生成到十几帧以后,偏移和模糊会越来越严重。而且这种纯自回归的方式没有全局视野——模型不知道 30 帧后会发生什么,只能在局部窗口内做预测。早期产品如 2023 年的 Meta Make-A-Video 和早期版本的 Runway Gen-1 采用过类似思路,但现在已经基本被后续路线取代。
联合时空建模(Joint Space-Time)
不做帧逐帧预测,而是把整个视频片段作为一个 T x H x W x 3 的 3D 张量输入网络,让模型同时处理空间和时间维度。这需要把图像扩散模型中的 2D 卷积扩展为 3D 卷积——卷积核不仅在空间上滑动,也在时间维度上滑动。
3D U-Net 是这条路线的典型代表。它在 U-Net 架构中把所有的 2D 卷积层替换为 3D 卷积或伪 3D 卷积(比如把一个 3x3x3 的卷积拆成 1x3x3 空间卷积 + 3x1x1 时序卷积),这样模型可以同时捕获帧内的空间结构和帧间的运动模式。Google 的 Video Diffusion Model(2022)和早期的 Pika 都采用了这种方案。
优势是模型天然具备全局时序感知能力。代价是 3D 卷积的计算量和显存需求巨大,限制了可处理的视频长度和分辨率。
时序注意力层(Temporal Attention)
一个更轻量的做法:保留图像扩散模型的完整空间处理管线(仍然用 2D U-Net 逐帧处理),在 U-Net 的瓶颈层和跳跃连接处额外插入时序注意力(temporal attention)模块。这些模块沿着时间轴计算注意力——同一空间位置在不同帧之间的像素互相"通信",确保跨帧的一致性。
这种方法的关键洞察是:空间信息(画面内容)可以用 2D 卷积高效处理,时间信息(运动和变化)只需在关键位置做跨帧注意力。相比 3D 卷积,计算量小得多,而且可以复用文生图模型的预训练权重——只在时序注意力层上做增量训练。
Stability AI 的 Stable Video Diffusion(SVD)是这一路线的代表。它基于 Stable Diffusion 2.1,注入时序注意力层后在视频数据上微调,生成了当时质量领先的视频结果。这种方法也是 2025 年前后开源社区中应用最广的视频扩散方案。
潜在视频扩散 + DiT
2024 年 OpenAI 的 Sora 彻底改变了视频扩散的技术路线。它抛弃了 U-Net,采用 DiT(Diffusion Transformer)架构——直接在潜空间中使用 Transformer 处理 T x H x W 的时空 patch 序列。
具体流程:先用 VAE 将视频帧压缩到潜空间(时间和空间维度都压缩),然后把潜空间表示切分成时空 patch,每个 patch 作为一个 token 输入 DiT。Transformer 的自注意力机制天然可以捕获所有 patch 之间的任意依赖关系——无论这些 patch 来自同一帧的不同位置,还是来自不同帧的同一位置。Sora 还引入了时长灵活的训练策略,可以在不同分辨率、不同时长、不同宽高比的视频上训练。
这条路线的优势是表达能力极强。Transformer 没有卷积的局部窗口限制,能够捕获超长距离的时空依赖。代价是训练成本极高——Sora 的训练据估算需要数千张 GPU 卡连续训练数周。2025-2026 年,Sora(公开版)、Kling 1.5/2.0、Vidu 2.0、CogVideoX 等新一代模型都采用了或部分借鉴了 DiT 架构。
4. 训练数据:视频-文本对
视频扩散模型对训练数据有特殊的质和量的要求。
规模要求。视频扩散模型的参数量通常是图像扩散模型的 2-5 倍(因为要处理时序),因此需要更大的数据量来防止过拟合。Sora 的训练数据据说包含数千万小时的视频,涵盖不同分辨率、不同风格、不同时长。
标注要求。视频的描述需要同时捕捉视觉内容和时间动态。"一只猫坐在窗台上"够描述一张图,但描述一段视频需要"一只猫坐在窗台上,头部左右转动,窗外的光线从右侧照进来"。自动标注(用大模型生成视频描述)是当前主流做法,但质量仍不如人工标注。
时长和分辨率分布。训练数据需要包含不同时长(1 秒到几分钟)和不同分辨率(360p 到 4K)的视频。模型需要学会在低分辨率下理解内容,在高分辨率下恢复细节。大部分训练 pipeline 会随机裁剪、缩放和截取片段来增加数据多样性。
5. 2026 年生态格局
2025-2026 年是文生视频从"能看"到"能用"的转折点。这个赛道已经形成了明显的分层格局。
OpenAI Sora——标杆产品。2024 年 2 月首次展示,2025 年初向公众开放。Sora 的视频质量在 2026 年仍然是业界天花板,特别是在物理世界模拟方面——水流、烟雾、布料等物理效果的逼真度领先。支持最长 60 秒、1080p 输出。
Kling(可灵)——快手出品,2024 年中上线,迭代极快。Kling 1.5(2025 年初)在动作连贯性上追平 Sora,Kling 2.0(2025 年底)进一步提升了复杂场景下的稳定性。特点是推理速度快、支持图生视频、对中国文化场景的理解准确。
Vidu——生数科技 + 清华联合出品。2024 年 7 月上线,走 DiT 路线。Vidu 2.0(2025 年中)在语义理解和复杂动作生成上有独特优势。价格策略激进,被认为是"性价比最高的文生视频产品"之一。
Runway Gen-3 / Gen-4——老牌视频生成团队。Gen-3 Alpha(2024 年中)在风格化生成上非常强,Gen-4(2025 年底)大幅提升了真实感。Runway 的核心竞争力在于其产品生态——视频编辑、修帧、延时长等工具链非常成熟。
Pika 2.0 / 2.5——2024 年底 Pika 2.0 上线,主打创意控制。Pika 2.5 进一步提升了对长视频的支持。特点是用户界面友好、适合短视频创作者快速出片。
开源侧,CogVideoX(智谱)、Open-Sora(Colossal-AI)、Latte 等项目也在快速发展。虽然开源模型的视频质量与闭源头部产品还有差距,但差距正在快速缩小。
6. 当前局限
2026 年的视频扩散模型虽然已经让人惊叹,但远谈不上成熟。几个核心问题仍然没有完全解决。
长视频一致性。模型生成 5 秒以内的短视频质量已经相当好,但生成 30 秒以上、多场景变换的长视频时,前后风格和角色外观的一致性仍然不稳定。物体在场景切换后可能"变样"。
时长限制。大多数产品的最长输出在 30-60 秒。模型很难在时间轴上保持长期的上下文视野——生成到第 200 帧时,可能已经忘了第 10 帧的画面风格。自回归延时的做法还在研究中。
计算成本。高质量视频生成的推理时间仍然以分钟计。一段 10 秒 1080p 视频在消费级 GPU(RTX 4090)上需要 5-15 分钟。云端推理的成本也仍然高昂——同样时长的视频生成比文本生成贵 2-3 个数量级。
物理准确性。模型学到的"物理"来自训练数据中的统计规律,而非真正的物理定律。水滴的下落轨迹、玻璃杯碎裂的方式、人体运动的关节约束——这些都可能在局部看起来合理,但整体上违反物理直觉。
可控性不足。用户很难精确控制视频中每个元素的运动轨迹、速度、交互方式。提示词可以描述"一只鸟从左飞到右",但很难精确控制"在前 2 秒从左侧起飞,第 3-5 秒在画面中央盘旋,最后 2 秒朝右上飞出"。ControlNet 级别的精细控制在视频领域仍不成熟。
7. 相邻概念
视频扩散模型不是孤立的。它的技术栈横跨多个领域,顺藤摸瓜可以深入理解:
- 扩散模型(Diffusion):视频扩散的基础。理解从噪声到图像的去噪过程,是理解视频扩散的前提。
- DiT(扩散 Transformer):Sora 等新一代视频模型的核心架构,用 Transformer 替代 U-Net 做去噪主干。
- 时序注意力:视频模型中保证帧间一致性的关键技术,跨帧捕获运动信息。
- 多模态:视频扩散模型接收文本输入输出视频,是典型的多模态系统——理解多模态有助于理解视频模型与整个 AI 生态的关系。