AI图片
概念解析——变分自编码器(VAE)
变分自编码器(Variational Autoencoder,简称 VAE)是一种生成模型,它学的是"压缩——还原"这个老手艺,但在中间加了一个关键约束:让压缩结果服从一个连续、规则的概率分布。这个看似微小的改动,让 VAE 成为今天文生图模型——尤其是 Stable Diffusion——不可或缺的底层组件。
1. 自编码器:压缩与还原
先聊自编码器(Autoencoder,AE)。自编码器的思路很简单:造一个网络,让它学会把输入压扁再复原。压扁的部分叫"编码器"(encoder),复原的部分叫"解码器"(decoder),中间那个被压扁的紧凑表示叫"潜变量"(latent variable)或"潜码"。
训练自编码器不需要任何标注——你给它一张图片,让它输出同一张图片。如果复原成功,说明中间那个潜码保留了足够的信息。换句话说,自编码器学会了"无损地丢东西":它把冗余的像素信息丢掉,只保留最本质的结构。一张 256x256 的图片有 196,608 个像素值,但潜码可以只有几百个数。
但经典自编码器有个致命问题:它的潜空间是"乱的"。编码器把每张输入图片映射到潜空间里的一个点,但这些点之间没有平滑过渡——两张相似图片的潜码可能在空间中相隔很远,中间区域映射到什么图片也不可知。你没法在潜空间里随便挑一个点,让解码器生成一张合理的图片。
2. VAE 的改进:从点变成分布
VAE 的关键改动听起来很简单:编码器不再输出一个具体的点,而是输出一个概率分布——确切地说,它输出分布的参数(均值和方差)。解码器从这个分布里采样,再用采样值还原图片。
这个改动迫使潜空间"规整"起来。因为编码器输出的是一个区域而非一个点,而且训练强迫不同样本的分布区域彼此重叠,潜空间就变成了一个连续、光滑的流形。你在两个分布之间插值,解码器会生成一张平滑过渡的图像——这在经典自编码器上做不到。
重参数化技巧
采样操作不可求导,梯度无法回传。VAE 用了一个巧招:让网络输出平均值 μ 和对数方差 log(σ²),然后从标准正态分布中采样一个随机噪声 ε,用 z = μ + σ·ε 作为潜码。这样随机性来自外部的 ε,网络本身的输出仍然是可微的——梯度可以正常回流。
3. 损失函数:两股力的平衡
VAE 的训练损失包含两项,互相拉锯。
重建损失(Reconstruction Loss)。衡量解码器输出和原始输入的差距。图片任务通常用 MSE(均方误差)或 L1 损失。这一项要求潜码必须保留足够的细节,否则还原不出来。
KL 散度(KL Divergence)。衡量编码器输出的分布和标准正态分布之间的差距。这一项要求潜码的分布不要偏离 N(0,1) 太远——它让不同类的样本在潜空间里"挤在一起",形成连续覆盖。
两股力是矛盾的:重建损失让潜码"精确",KL 散度让潜码"规整"。训练的目的就是在这两者之间找到平衡。如果重建损失占主导,VAE 退化为普通自编码器;如果 KL 散度占主导,所有图片的潜码都挤到原点附近,解码器分不清谁是谁。
4. 潜空间:VAE 的心脏
VAE 训练好之后,潜空间具备两个关键性质。
连续性。潜空间中相邻的点解码后对应视觉上相似的图像。你在两个猫图片的潜码之间走一条直线,中间每一步解码出来还是猫——只是从第一只逐渐变成第二只。这个性质使潜空间成为一种"可导航"的表示空间,你可以在里面做语义编辑。
完备性。从标准正态分布中任意采样一个潜码,解码器大概率输出一张"说得过去"的图片——虽然可能模糊,但不是噪声。这是因为 KL 散度强迫编码器的输出分布与标准正态分布对齐,使得标准正态分布里的每个点都在解码器的"舒适区"内。
这两个性质听上去抽象,但它们在文生图模型中起了决定性作用。扩散模型之所以能在潜空间里高效运行,正是因为 VAE 提供了这个连续、规则的低维空间。
5. VAE 与扩散模型的联姻
为什么 Stable Diffusion 这类模型要装一个 VAE?直接对像素做扩散不行吗?技术上可以,但成本太高。一张 512x512 的 RGB 图片有 786,432 个值。扩散模型要在每一步预测这些值上的噪声——计算量巨大,而且很多像素是冗余的(大片的天空、纯色背景)。
Stable Diffusion 的解决方案是:先用一个 VAE 的编码器把图片压缩到潜空间,在潜空间里跑扩散过程,最后用 VAE 的解码器把潜变量还原回像素。VAE 在这里充当了"压缩——解压缩"的桥梁。
VAE 的"丢弃"在这里其实是优点:它把不重要的纹理细节丢掉,保留语义层级的结构——而扩散模型恰好擅长从模糊到清晰的语义生成。两者配合默契。
6. VAE vs 经典 AE vs GAN
经典自编码器
潜空间是散点,不可插值。能做数据压缩和特征提取,但不能做生成。解码器只在训练集出现的潜码点上表现良好,其他地方输出的是噪声。
变分自编码器
潜空间连续规整,可插值。能做生成。损失函数天然平衡重建质量和潜空间规则性。缺点是生成的图片偏模糊——因为 KL 散度在"惩罚过于精确的匹配",导致模型倾向于输出均值附近的安全结果。
生成对抗网络
生成器和判别器对抗训练,可以产生非常锐利的高质量图像。但训练不稳定(模式崩塌),潜空间不如 VAE 规整。GAN 擅长"精"但不容易"全"——它倾向于只学会数据分布中的一部分模式。
实际工程中,VAE 和扩散模型的组合(VAE 做压缩,扩散模型做生成)已经成为文生图的主流路线。纯 GAN 的方案(如 StyleGAN)在特定领域仍然领先,但通用性和训练稳定性不及 VAE + 扩散的架构。
7. Stable Diffusion 中的 VAE
Stable Diffusion 使用的 VAE 并非普通的 VAE,而是经过特殊设计和训练的。它的编码器将图像下采样到 1/8 分辨率,通道数压缩到 4。这个 4 通道的潜变量不是 RGB 的简单数学变换——网络在训练中自己学到了哪种压缩方式最有利于后面的扩散模型。
原始 Stable Diffusion(SD 1.x / 2.x)的 VAE 由 Stability AI 基于公开的 KL-f8 架构训练。后续 SDXL 使用了更大的 VAE(通道数不变,但解码器容量增加),生成的图片细节更丰富。最新的 SD3 开始尝试用 DiT 替换 U-Net,但 VAE 模块仍然保留——压缩到潜空间是必经之路。
VAE 也是不同文生图模型的"兼容层"。一个在 SD 1.5 上训练的 LoRA,只要 VAE 不变,就可以直接加载到 SDXL 的精调模型上用。反过来,换一个改进的 VAE(如无损 VAE、Temporal VAE),可以显著提升出图质量而不用改扩散模型本身。VAE 的独立性让它成了整个文生图生态里的一个可插拔组件。
8. 相邻概念
VAE 不是孤立的概念。顺着下面的链接,可以拼出文生图的全景:
- 扩散模型(Diffusion):在潜空间里运行的去噪生成过程,VAE 提供了它运行的"场地"。
- Stable Diffusion:VAE + U-Net + CLIP 三件套构成的完整文生图管线,VAE 是入口和出口。
- 嵌入(Embedding):潜变量本质上就是一种数据嵌入——数据在压缩空间中的坐标表示。
- 表示空间(Representation Space):潜空间是表示空间的典型实例,连续、规则、可导航是它的目标属性。
9. 参考资料
- Kingma, D.P. & Welling, M. Auto-Encoding Variational Bayes. ICLR, 2014.
- Rombach, R. et al. High-Resolution Image Synthesis with Latent Diffusion Models. CVPR, 2022.
- Doersch, C. Tutorial on Variational Autoencoders. arXiv:1606.05908, 2016.
- Stability AI. Stable Diffusion 2.0 Release Notes. 2022.