学习路径 · 用好 AI

文生图是什么?

每天有上亿张图片通过 AI 生成。Midjourney、Stable Diffusion、DALL-E——这些名字正在进入日常对话。文生图,就是输入一句文字描述,AI 直接生成一张图像。像素级原创,这张图历史上从未存在过。以前写一千字才配一张图,现在说一句话就出一张图。


一句话出图

文生图工具长得像个聊天框。写"一只橘猫戴着墨镜坐在沙滩椅上喝椰子水",半秒后回来一张图。不是从素材库里搜,是从噪声里凭空生成。

这个能力依赖一个叫"扩散模型"的核心技术。


扩散模型:从噪声里洗出图像

扩散模型的核心动作不是"画",而是"去噪"。训练时,模型看大量图片,学习把图片逐步加噪到完全随机,再反向学习:从纯噪声一步步还原出清晰图像。生成时,模型拿到文字描述,从一个随机噪声点出发,像洗照片一样,几十步之内把影像洗出来。

2022 年 Stable Diffusion 把这件事搬到了潜空间——图片压缩成小尺寸向量再扩散,普通显卡也能跑。加上文本编码器 CLIP,每次去噪前先看一遍文字描述,确保生成的画面跟描述对得上。这套流程跑通了,文生图才算真正可用。


主流工具

到 2026 年,市面上十几个文生图产品,分三条路:

Midjourney——闭源,跑在 Discord 里。审美最强,油画质感和光影最突出。不适合批量工作,但单张出图的"好看率"最高。

DALL-E 3——OpenAI 的闭源方案,跟 ChatGPT 深度整合。文字描述还原度好,对复杂句子的理解明显优于其他工具。

Stable Diffusion——开源生态的代表。本地部署、自定义模型、精确控制(ControlNet、LoRA)。灵活性碾压同行,但需要动手能力。

国产工具也在追赶。字节的即梦、阿里的通义万相,都支持中文提示词,理解本土语境比海外工具更自然。


能做什么,不能做什么

文生图在创意阶段极强。头脑风暴、概念设计、情绪板、插画草稿——三分钟出几十个方案供挑选。人类画师一周的活,它几分钟能铺出方向。

但缺陷同样突出。第一,手指画不对。扩散模型对精确结构天生弱,手指五根怎么摆、关节怎么弯,经常出错。第二,文字写不对。想在图上写招牌、标签、书名——模型基本在乱写,字母变形或字序颠倒。第三,一致性差。同一个人物两帧之间容易走形,角色一致性是文生图做故事板的最大障碍。

这些局限正在被逐个修复:DALL-E 3 的文字准确率比前代大幅提升;Sora 的视频模型间接推动了对角色一致性的研究。但到 2026 年年中,手和字仍然是文生图的送分题软肋。


相邻概念

  • 扩散模型:文生图的核心引擎。从噪声到图像,通过反向去噪生成图片。Stable Diffusion 是这个方向最有影响力的开源实现。
  • CLIP:OpenAI 的图文对齐模型。扩散模型用它来理解文字描述,确保生成结果符合提示词。
  • ControlNet:对扩散模型添加额外条件控制,比如用一张骨架图控制人的姿势。
  • LoRA:轻量级微调技术。在文生图领域用来固定某个角色或某种风格,不用重新训练整个模型。
  • 潜空间:Stable Diffusion 把图像压缩成小尺寸表示后再做扩散,避免在巨大像素空间直接跑。这是消费级 GPU 能跑文生图的关键。

参考

  1. Ho et al. Denoising Diffusion Probabilistic Models. NeurIPS, 2020.
  2. Rombach et al. High-Resolution Image Synthesis with Latent Diffusion Models. CVPR, 2022.
  3. Radford et al. Learning Transferable Visual Models From Natural Language Supervision. ICML, 2021.
  4. Zhang et al. Adding Conditional Control to Text-to-Image Diffusion Models. ICCV, 2023.
极简入门 · 人工智能ABC