AI视频

概念解析——DiT 扩散 Transformer

DiT(Diffusion Transformer)是 2022 年由 William Peebles 和 Saining Xie 提出的扩散模型架构。它做了一件看起来很直接的事——把扩散模型里的 U-Net 换成 Transformer。但这一个替换,改变了图像和视频生成两条技术路线的走向。Sora、Stable Diffusion 3 等一系列 2024–2026 年的代表性模型,背后都是 DiT 这条路线。


1. 原本的扩散模型用什么架构

在 DiT 出现之前,扩散模型的 backbone 几乎是 U-Net 的天下。2015 年 U-Net 是为医学图像分割设计的——先下采样提取高层特征,再上采样恢复分辨率,中间用 skip connection 把细粒度信息传回来。扩散模型(DDPM、Stable Diffusion、DALL-E 2)发现这个结构特别适合"去噪"任务:输入一张噪声图,经过 U-Net 的编解码,输出预测的噪声残差。

U-Net 在扩散模型上表现很好,但它有一个结构上的局限:它本质上是卷积神经网络的变体。卷积在处理空间局部关系上效率很高,但长距离依赖必须靠堆叠层数来间接捕获。而且 U-Net 内部的 ResNet block、attention block 各司其职,架构设计复杂,可扩展性不是它首要考虑的问题。


2. DiT 的核心:用 Transformer 替换 U-Net

Peebles 和 Xie 的直觉很简单:既然 Transformer 在 NLP 和视觉领域已经证明了它的可扩展性——更大的模型、更多的数据、更好的效果——为什么不把它用到扩散模型的 backbone 里?

DiT 的做法分三步:

  • 第一步:图像转 patch。输入是一张噪声图像(或者 VAE 编码后的潜空间特征图),切成固定大小的 patch(比如 2x2 或 4x4)。每个 patch 拉平成一个 token,加上位置编码。这就把一张图变成了 Transformer 可以处理的一串 token。
  • 第二步:把 token 送进 Transformer block。标准的 Transformer encoder block——自注意力 + 前馈网络。和 ViT(Vision Transformer)的做法本质一样,区别是 DiT 的输入是需要去噪的潜变量,而且 time step 和 condition(类别标签或文本嵌入)也要注入进来。
  • 第三步:从 token 恢复成图像。Transformer 输出的 token 序列重新拼回特征图的形状,经过一个线性层解码成最终的噪声预测。
DiT 把扩散模型从"编解码器 + skip connection"拉到了"transformer block"这条路上。结构更单纯,扩展更直接,效果也随规模线性增长。

3. 条件注入:怎么告诉模型"要生成什么"

类别条件

Class-Conditional

ImageNet 这类数据集上,每个图像有一个类别标签(狗、猫、飞机)。DiT 把这个标签编码成嵌入向量,然后注入到 Transformer block 里。注入方式有多种:加在时间步嵌入上、拼在 token 序列里、或者通过 adaLN(adaptive layer norm)调制 Transformer 的 scale 和 shift 参数。实验发现 adaLN 最有效。

文本条件

Text-Conditional

扩展到文本条件时,DiT 把文本描述通过一个编码器(比如 T5 或 CLIP)变成嵌入向量,替代类别标签作为条件。这就是 Sora、Stable Diffusion 3 的做法——用户输入"一只奔跑的狗",文本编码器把它转成条件向量,DiT 在这个条件下做去噪生成。


4. 为什么 DiT 比 U-Net 更好扩展

"扩展"(scaling)是 DiT 最重要的贡献。Peebles 和 Xie 在论文里做了一系列实验:把模型从小到大翻倍,记录 FID(图像质量的常用指标)的变化。结果很清晰:

  • Transformer 的计算量增长可预测。增加 Transformer 的深度(层数)或宽度(隐藏维度),FLOPs 线性增长,性能(FID)也大致线性改善。这叫"predictable scaling"——你可以估计出投多少算力能得到多少质量提升。
  • U-Net 的扩展曲线不平滑。U-Net 增加参数量时,效果改善很快碰到天花板。原因是 U-Net 的架构设计(卷积 + 跳跃连接 + 多分辨率)不是为规模化优化的,增大模型后内部的信息流动反而变得低效。
  • 大 DiT 明显更好。在 ImageNet 256x256 上,最大的 DiT-XL/2(约 6.75 亿参数)在无条件生成和类条件生成上都显著超过当时最好的 U-Net 扩散模型。FID 从 U-Net 的 2.92 降到 DiT 的 2.27。
数据点:DiT 论文在 ImageNet 256x256 上的消融实验显示,模型规模从 DiT-S(3300 万参数)增长到 DiT-XL(6.75 亿参数),FID 从约 9.6 降至约 2.3。计算量扩大了约 20 倍,质量提升是持续的。

5. Sora:DiT 路线最响亮的回响

2024 年 2 月 OpenAI 发布 Sora——文生视频模型,能把一段文字描述直接生成一分钟的高保真视频。Sora 的技术报告里明确指出:它的架构基础是 DiT。

Sora 把 DiT 从图像扩展到视频,最核心的改动是:图像是 2D(高 x 宽),视频是 3D(时间 x 高 x 宽)。Sora 把视频切成 spatiotemporal patch——同时包含空间和时间维度的块。这些 patch 被压平成一维 token,送进 Transformer 做自注意力。因为 Transformer 本身不关心输入 token 的排列顺序(位置编码告诉它),所以它可以很自然地处理不同分辨率、不同时长、不同宽高比的视频。

Sora 选择 DiT 不是偶然。OpenAI 在 GPT 系列上积累了丰富的 Transformer 规模化经验——他们知道怎么让大 Transformer 收敛、怎么分布训练、怎么处理长序列。用 DiT 架构,意味着这些经验可以直接迁移到视频生成上来。


6. 从图像到视频:DiT 的时序扩展

把 DiT 从图像推广到视频,最自然的做法是在 Transformer block 里加入时序维度的注意力。这就是 temporal DiT——或者叫空间-时间注意力(space-time attention)。

具体来说,当输入是一段视频(T 帧 x H x W),patch 化之后产生的 token 分布在两个维度上:空间(同一帧内的 patch)和时间(同一位置在不同帧的 patch)。DiT 的自注意力可以覆盖两种维度,但计算量太大。实际做法通常是分两步:先做空间注意力(同一帧内的 patch 之间互相看),再做时间注意力(不同帧之间对应位置的 patch 互相看)。两个注意力交替堆叠,效果接近全 3D 注意力,但计算量小得多。

DiT 的时序扩展揭示了一条规律:把 2D 生成模型改成 3D 时,真正新增的组件是"跨帧通信"。空间注意力保持不变,加上时间注意力就够了。架构的其他部分——patch 化、条件注入、解码——通通不用改。

7. 2026 年的局面:DiT 已成主流

到了 2026 年,DiT 在图像和视频两个方向上都取代了 U-Net 成为扩散模型的主流架构。

  • 图像生成:Stable Diffusion 3 用 DiT-like 架构取代了 SD 1.x/2.x 的 U-Net;DALL-E 3 的底层也被认为采用了类似设计。开源社区中 Flux、PixArt-alpha 等模型都在 DiT 路线上做改进。
  • 视频生成:Sora 之外,Runway Gen-3/Gen-4、Kling、Pika 2.0 等视频生成模型的 backbone 都基于 DiT 或其变体。CogVideoX 等开源模型也采用了 3D DiT 架构。
  • 推理优化:Transformer 的成熟生态——Flash Attention、KV cache、连续批处理——直接受益了 DiT。U-Net 时代这些优化手段不通用,但现在扩散模型的推理加速可以直接复用大语言模型社区的成果。

不过 DiT 也有代价。Transformer 的自注意力计算量随 token 数量平方增长,视频生成的分辨率和帧数一上去,长序列问题就变得突出。这也是为什么 2025–2026 年很多工作在做"如何降低视频 DiT 的计算量"——窗口注意力、线性注意力、Mamba 状态空间模型都被尝试用来替代全自注意力。


8. 相邻概念

DiT 站在扩散模型和 Transformer 的交汇点上。顺着这几个方向可以深入:

  • 扩散模型(Diffusion):DiT 的生成范式基础,理解前向加噪和反向去噪的过程是理解 DiT 的前提。
  • 视频扩散模型:DiT 从图像推广到视频的关键背景,空间-时间建模的核心挑战。
  • 时序注意力:DiT 在视频中处理跨帧依赖的核心机制,空间注意力和时间注意力的拆分设计。
  • Transformer:DiT 的模型骨架,自注意力、patch 化的设计直接继承自 ViT。
概念解析 · 人工智能ABC