AI图片

概念解析——CLIP 图文对比学习

如果文生图模型是画家,CLIP 就是画家的眼睛——它告诉模型画出来的东西像不像描述的那样。CLIP(Contrastive Language-Image Pre-training)是 OpenAI 2021 年发布的图文对比预训练模型,核心贡献是把图像和文本映射到同一个向量空间,让模型能直接比较一张图和一段话的匹配程度。


1. 问题:图文之间缺一架桥

在 CLIP 出现之前,计算机视觉和自然语言处理是两条线。视觉模型(比如 ResNet)擅长给图片分类,但分类标签需要提前定好——训练时见过"猫"和"狗",它就只会分猫和狗。想让模型理解"一只橘猫趴在窗台上晒太阳"这种描述式的内容,没门。NLP 模型反之,擅长处理文字但看不懂图像。

两条线之间没有一座可以打通的桥。图像检索要么靠图片文件名里的文字匹配,要么靠图片本身的视觉相似度——没有一个办法能把"一只橘猫"这种文字描述直接拿去比对图库里的照片。CLIP 就是 OpenAI 架的那座桥。

关键洞察

不要分类,要对比

前人做图文匹配时习惯一个图片对应一个固定标签,CLIP 换了个思路:不让你说这张图属于哪一类的,而是让你判断一张图和一段描述是否配对。这个转变看起来小,但效果巨大——模型不用再局限于固定的类别体系,任何文字描述都可以拿来比。


2. 架构:双编码器设计

CLIP 由两套独立的编码器组成:文本编码器(Text Encoder)和图像编码器(Image Encoder)。训练时两张同时工作,结果各输出一个向量,然后被拉到同一个向量空间里做比较。

文本编码器是 Transformer(类似 GPT 的架构),吃进去一段话,吐出一个向量;图像编码器最初是 ResNet,后来换成 Vision Transformer(ViT),吃进去一张图,也吐出一个向量。两个向量的维度一样,所以可以直接计算它们的余弦相似度。

例子:一段文本"一只橘猫趴在窗台上"经过文本编码器变成向量 A;一张橘猫照片经过图像编码器变成向量 B。如果图文匹配,A 和 B 在向量空间中夹角小(余弦相似度高);如果不匹配,夹角大(余弦相似度低)。

3. 训练:对比学习目标

CLIP 的训练数据是 4 亿个(图像,文本)配对——OpenAI 从互联网上收集的图片及其 alt 文本、描述文字。4 亿看起来很大,但对于这个任务是必要的。

训练时每次喂入一个 batch(比如 32768 对),每个 batch 构造一个相似度矩阵:

  • 矩阵的行是图像编码器输出的图片向量
  • 矩阵的列是文本编码器输出的文本向量
  • 对角线位置是正确配对(正样本),非对角线位置是错误配对(负样本)

CLIP 要学的目标很简单:让对角线位置上的相似度尽可能大,让其他位置上的相似度尽可能小。这就是"对比学习"——不是学图片是什么,而是学哪些图片和哪些文字是一对。

"对比"的意思就是"区分":给一堆图文对,你要找出哪张图对应哪段话,找对了就加分,找错了就更新。

这个训练方式的好处是数据太好找了——网上每张图片的 alt 文本天然就是一个训练样本。4 亿对图文配对,互联网管够。


4. 为什么重要:零样本分类与多模态桥梁

突破一

零样本图像分类

传统图像分类模型训练前需要先定好类别列表,每类准备成百上千张图。CLIP 不需要。你想分类一张图,只需准备若干个候选标签文本(比如"猫""狗""鸟""鱼"),分别输入文本编码器得到向量,然后把图片向量和每一个标签向量做相似度比较——相似度最高的那个就是答案。全程零样本,即零额外训练样本。

例子:给 CLIP 一张从未见过的企鹅照片。候选标签:["bird", "fish", "mammal"]。CLIP 把三者转成向量与图片比,"bird" 得分最高,分类正确。整个过程中没有人为企鹅这个类别专门准备过一张训练图。

OpenAI 的论文在 27 个零样本分类基准测试上验证了这个能力:CLIP 在 ImageNet 零样本准确率达到 76.2%(当年的 ResNet-50 监督学习也就这个水平)。

突破二

图文语义桥梁

CLIP 把图像和文本拉到同一个向量空间之后,大量跨模态任务变得可行:用文字搜索图片("找一张夕阳下的沙滩"),用图片搜索文字(给一张截图找文中的对应段落),或是做图像描述生成——这些在 CLIP 之前都不好做。


5. 应用:远不止分类

CLIP 的向量空间中,图像和文本共享语义,这让它成了很多 AI 系统的基础组件。

Stable Diffusion 的文本编码器。SD 不是直接用扩散模型去理解文字,而是先用 CLIP 的文本编码器把提示词变成向量,再把这个向量作为条件输入扩散模型。你可以把 CLIP 看成 SD 的"翻译官"——把用户的人话翻译成模型能理解的向量。改了 CLIP,整个出图的风格也会跟着变。

图像搜索。把图库中所有图片预计算 CLIP 向量,建一个向量索引。搜索时把用户的文字描述转为向量,在索引里找最近的邻居。比传统的关键词匹配灵活得多。

多模态理解。给 CLIP 一张图和一串候选文字,它能判断哪个描述最贴切。很多多模态大模型(如 GPT-4V)的内部模块中也用到了类似 CLIP 的图文对齐技术。

CLIP 检索。做 RAG 或多模态搜索时,CLIP 嵌入可以作为检索特征——在向量数据库中同时存入文本和图片的 CLIP 向量,实现跨模态搜索。


6. 局限:不是万能的

CLIP 强在跨模态匹配,弱在细粒度理解。

计数和空间关系。"两把椅子和一张桌子"——CLIP 分不清图片里到底有几把椅子,它只在乎整体的视觉氛围和文字描述的似然匹配。给它一张两把椅子的图配"一把椅子"的文字,它可能也判成配对,因为整体上"椅子"出现了。

抽象概念和动作。"反思""讽刺"这类抽象概念,CLIP 很难从图片中准确对应。动作类描述("一个人正在把球扔出去")也经常出错,因为它缺乏对时序和因果的理解。

数据偏见。4 亿配对来自互联网,互联网上自然有互联网的偏见。"CEO"关联男性,"护士"关联女性——CLIP 继承并放大了这些社会偏见。

不是生成模型。CLIP 只做匹配和比较,不生成图像也不生成文字。它本身不绘图,但它是绘图系统的重要组件。

CLIP 能告诉你一张图像不像一段描述,但它不知道这张图是怎么画出来的,也不知道描述里每个字对应图片中哪个区域。

7. 相邻概念

这里有几个和 CLIP 紧密相关的概念,可以顺着继续看:

  • 扩散模型(Diffusion):CLIP 为扩散模型提供文本理解能力,扩散模型负责实际生成图像。
  • Stable Diffusion:CLIP 文本编码器是 SD 的标配组件,理解 SD 必须理解 CLIP。
  • 多模态:CLIP 是图文多模态的代表模型,它证明了跨模态对齐是可行的。
  • 嵌入(Embedding):CLIP 的核心就是为图像和文本计算高质量的嵌入向量。
概念解析 · 人工智能ABC