AI图片

概念解析——Stable Diffusion

Stable Diffusion 不是某个实验室的产物。它的背后是一条清晰的脉络:慕尼黑大学的 CompVis 小组提出了潜扩散模型(Latent Diffusion Model),Stability AI 将其规模化并开源,从此改变了文生图领域的格局。核心贡献很明确——把扩散过程从像素空间搬进了潜空间。这个决定让文生图从需要超算变成了消费级 GPU 上就能跑。


1

Stable Diffusion 是什么

Stable Diffusion 是一个"潜扩散模型"(Latent Diffusion Model)。"扩散"说的是它的生成方式——从一张纯噪声图开始,一步步去噪,最终露出清晰的图像。"潜"说的是它做这件事的位置——不是在原始像素上操作,而是在一个被压缩过的"潜空间"里操作。

整套流程分三步走:首先,一个编码器(VAE Encoder)把输入图像压缩成潜空间中的紧凑表示;然后,扩散过程在这片潜空间里完成去噪;最后,一个解码器(VAE Decoder)把处理好的潜变量还原回像素图。Stable Diffusion 只管中间那一段,前后两头由 VAE 负责。

模型由 CompVis(慕尼黑大学)的研究团队在 2022 年提出,Stability AI 提供算力支持并主导了后续的开源发布。2022 年 8 月首次公开,模型权重以开放许可证发布,任何人都可以下载、运行、修改。

2

潜空间:核心创新

在 Stable Diffusion 出现之前,扩散模型直接在像素空间里做生成。一张 512×512 的 RGB 图像,像素空间是 512×512×3 = 786,432 维。每一步去噪都要在这个近 80 万维的空间里计算,模型尺寸和推理成本都很高。

Stable Diffusion 的做法是在训练好的 VAE 的潜空间里做扩散。VAE 把图像压缩到 64×64×4 = 16,384 维——只有像素空间的约 48 分之一。维度低了,计算量自然就降下来了。这个压缩不是简单缩略图,而是 VAE 学到的语义压缩:它保留了图像的核心结构,过滤掉了高频像素细节。

潜空间让扩散模型的计算量降到约 1/48,这是 Stable Diffusion 能在消费级显卡上运行的根本原因。

代价呢?VAE 的压缩是有损的。但实际效果表明,潜空间的信息损失对最终生成质量的影响很小,而效率的提升是决定性的。这个"先压缩、再生成"的思路后来被几乎所有的文生图模型继承。

3

三大组件

Stable Diffusion 的核心管线由三个模型协作完成:

文本编码器(CLIP)。负责把用户输入的自然语言描述转换成向量。CLIP 是 OpenAI 发布的图文对比学习模型,它的文本编码器输出的是一个 768 维(ViT-L 版本)或 1024 维的语义向量,交给 U-Net 作为条件信号。文本理解得对不对,很大程度上取决于 CLIP 的能力。

U-Net。Stable Diffusion 真正的主力。它在潜空间里做迭代去噪,每一步根据当前的潜变量和 CLIP 传过来的文本条件,预测噪声残差。U-Net 的独特设计是"跳跃连接"——下采样路径和上采样路径之间直接相连,让模型在生成时既能捕获全局结构又能保留局部细节。

VAE(变分自编码器)。由编码器和解码器两部分组成。编码器把像素图压缩进潜空间,解码器把处理后的潜变量还原成像素图。VAE 本质上是扩散过程的"交通枢纽"——输入端和输出端都经过它。

流程示意:
文字描述 "a cat sitting on a windowsill"
→ CLIP 编码为语义向量
→ U-Net 在潜空间中根据语义向量逐步去噪(约 50 步)
→ VAE 解码器将潜变量还原为像素图像
4

为什么高效

直接比较一下两种方案的计算量:

  • 像素空间扩散:输入维度 512×512×3 = 786,432。每一步 U-Net 在这个维度上做预测,50 步迭代就是 50 次大规模计算。
  • 潜空间扩散(SD):输入维度 64×64×4 = 16,384。同样的 50 步,在不到 1/48 的维度上操作。

维度降到 1/48 意味着 U-Net 的参数规模可以大大缩小,同时每一步的计算量也成比例减少。最终效果是:一张 512×512 的图像生成,在 2022 年的消费级 GPU(如 NVIDIA RTX 2060)上只需要几秒钟——这在之前是不可想象的。同期 Imagen、DALL-E 2 等像素空间模型需要 TPU 或大量高端 GPU。

效率还体现在显存占用上。潜空间的低维度让批处理、图像放大、视频生成等扩展应用变得可行。这也是为什么后来的图像扩散模型几乎都采用了潜空间方案。

5

版本与时间线

Stable Diffusion 自 2022 年 8 月首次发布以来,经历了数次重要迭代:

v1.4 / v1.5(2022.8–10)。初代版本,基于 LAION-2B(en) 数据集训练。v1.4 是首发版,v1.5 由 RunwayML 发布,微调了超参数,成为社区最广泛使用的基础版本。时至今日,CivitAI 上大部分早期 LoRA 和模型仍然基于 v1.5。

v2.0 / v2.1(2022.11–12)。改用 OpenCLIP 训练,文本理解能力更强。但移除了 NSFW 过滤器,且由于训练集过滤策略变化,生成人物细节的能力不如 v1.5,被社区评价为"倒退",导致大部分用户继续停留在 v1.5。

SDXL(2023.7)。Stability AI 发布的重大升级。基础分辨率从 512×512 提升到 1024×1024,参数量从约 900M 增加到约 3.5B(含一个额外的 Refiner 模型)。同时引入了两个 CLIP 模型(OpenCLIP ViT-bigG + CLIP ViT-L),文本理解和构图能力显著提升。SDXL 是迄今为止社区采用最广泛的最新版本。

SDXL Turbo(2023.11)。通过蒸馏技术把推理步数从 50 步降到 1–4 步,实现实时生成。但图像质量和多样性有所下降。

SD3(2024.6)。架构重大变化:用 Diffusion Transformer(DiT)替代了 U-Net,使用全新的文本编码组合(T5 + CLIP)。参数规模达到 8B。生成质量大幅提升,但对硬件要求也更高。

6

开源生态

Stable Diffusion 的影响力不止于模型本身。它开放的权重催生了一个庞大的创作生态:

LoRA(Low-Rank Adaptation)。一种轻量级微调方法,只训练少量参数就能让模型学会新的风格、角色或物体。一个 LoRA 文件通常只有几 MB 到几十 MB,社区分享了数十万个 LoRA,覆盖几乎所有你能想到的视觉风格。

ControlNet。由张吕敏(Lvmin Zhang)提出的空间条件控制技术。它可以对扩散模型施加额外输入(如边缘图、深度图、姿态骨架),精确控制生成图像的布局和姿态。ControlNet 让文生图从"完全随机"走向"可控制",是 SD 生态中最重要的技术突破之一。

CivitAI。最大的 Stable Diffusion 模型社区,托管了数十万个微调模型、LoRA、Embedding。用户可以在上面浏览、下载、分享模型,形成了 SD 独特的"模型集市"文化。这个生态是 Stable Diffusion 独有的——闭源模型如 DALL-E 或 Midjourney 无法复现这种开源社区驱动的创新。

WebUI(AUTOMATIC1111)和 ComfyUI。两个主流的图形化操作界面。WebUI 功能全面,适合快速上手;ComfyUI 采用节点式工作流,适合复杂管线。它们让不懂编程的人也能使用和控制 Stable Diffusion。

Stable Diffusion 的开源生态让它不只是一个模型,而是一个生成平台。LoRA 和 ControlNet 把 SD 推到了"可定制"的高度——这是闭源 API 做不到的。


相邻概念

要深入理解 Stable Diffusion,这几个概念是关键:

  • 扩散模型(Diffusion):Stable Diffusion 的底层生成范式。先理解正向加噪和逆向去噪的基本原理,再理解潜扩散就容易多了。
  • CLIP:Stable Diffusion 的"翻译官"。它把文字描述转成 U-Net 能理解的条件信号。CLIP 的能力上限直接影响生成结果对提示词的遵从度。
  • VAE(变分自编码器):潜空间的"交通枢纽"。理解 VAE 的编码-解码结构,就理解了 SD 为什么能在潜空间里工作。
  • ControlNet:SD 生态最重要的扩展技术。它把"可控生成"变成了现实,是用户从"靠运气出图"到"精确控制画面"的分水岭。
  • LoRA:支撑 SD 模型定制化的轻量技术。没有 LoRA,SD 的社区生态不会有今天的规模。
概念解析 · 人工智能ABC