AI音乐

概念解析——音频分词

文本分词大家容易理解——把句子切成词或子词。音频怎么分词?声音是连续的波形,没有空格、没有标点。要让大模型处理音频,第一步就是把连续波形变成一串离散的"音频词"。这就是音频分词(Audio Tokenization)要做的事。


1. 为什么需要音频分词

大语言模型天然处理离散 token。文本是离散的——字符和词天然就是一个个单元。图像经过 VAE 编码后也可以变成潜空间中的离散网格。但音频是连续的:每秒几万个采样点,直接喂给 Transformer 会撑爆上下文窗口,而且模型学不到有用的结构。

音频分词的作用就是一个"压缩器+量化器":把原始音频波形(44.1kHz 采样率下每秒 44100 个浮点数)压缩成每秒几十到几百个离散 token。压缩倍率通常在上百倍。这些 token 保留了音频的感知信息——人耳能听出来的区别——去掉了那些人类听觉不敏感的细节。

音频分词把"听得见"的信号变成"可计算"的序列。没有这一步,大模型就没办法像写文章一样"写音频"。

2. 核心架构:编码器-量化器-解码器

几乎所有现代神经音频编解码器都遵循三段式结构:

编码器(Encoder):把原始波形映射到一个低维潜空间表示。编码器通常由多层卷积或 Transformer 构成,对信号做时间维度上的下采样——把 1 秒音频的数千个采样点压缩为几十个潜向量。每个潜向量携带一小段时间的声学信息。

量化器(Quantizer):把连续的潜向量映射到离散的码本索引。这是音频分词最关键的一步:从连续到离散。量化器维护一个"码本"——一组可学习的向量,每个向量对应一个整数索引。潜向量进来,找到码本中最近的那个向量,记下它的索引号。这样一段音频就变成了一串整数序列。

解码器(Decoder):把量化后的 token 序列重建回波形。解码器与编码器对称,做上采样和反卷积,还原出原始长度的音频信号。训练目标是让重建的音频尽可能接近原始输入。


3. RVQ:残差向量量化

简单地把每个潜向量量化到最近的一个码本向量,精度损失太大——重建的音频听起来失真、有噪声。残差向量量化(Residual Vector Quantization,RVQ)解决了这个问题。

RVQ 的做法是多层量化,逐级逼近:

  • 第一层量化:把潜向量量化到最近码本向量,记下索引,算残差(原始向量 - 量化向量)。
  • 第二层量化:在另一个独立的码本中对残差做量化。
  • 第三层、第四层……每层量化前一步剩下的残差。

解码时,把各层的量化结果加起来,得到一个比单层精确得多的重建。层数越多,重建质量越高,但 token 数量也线性增加——每层产生一个 token 序列。典型的配置是 4 到 16 层 RVQ。

示例:EnCodec 以 24kHz 输入、每秒下采样 320 倍,产生每秒 75 个潜向量。
启用 8 层 RVQ 后,每秒音频产生 75 x 8 = 600 个 token。
其中前几层(粗层)保留主要结构信息,后几层(细层)补充细节。
不同层的 token 重要性不同——这在训练生成模型时可以派上用场。

4. 主要模型与技术

音频分词领域在 2023-2026 年间快速迭代,以下是最具影响的几个模型:

EnCodec(Meta,2023):Meta 发布的神经音频编解码器,支持多种采样率和比特率。采用 LSTM 编码器 + RVQ + LSTM 解码器架构。训练时使用了对抗损失和语音活动检测等技巧。成为 MusicGen 和 AudioCraft 套件的底层分词器。

SoundStream(Google,2021):更早的神经音频编解码器,同样使用 RVQ。它的架构是全卷积的,编码器-量化器-解码器端到端训练,支持可变的比特率。为后来的 EnCodec 等模型奠定了基础。

DAC(Descript Audio Codec,2024):在 EnCodec 基础上做了多项改进:用改进的 Snake 激活函数、改进的量化器训练(Grouped RVQ)、更大的感受野。2024 年发布后在音质重建指标上全面超过 EnCodec,成为开源社区的新宠。

SpeechTokenizer(2023):专门为语音设计的分词器,在 RVQ 的基础上引入了语义-声学分离:低层 token 主要编码语义内容("说了什么"),高层 token 编码声学细节("谁在说、怎么说的")。这种分离对语音理解和生成任务非常有用。


5. 采样率与比特率的权衡

音频分词的核心工程问题是在 token 数量和重建质量之间找平衡。

采样率:输入采样率决定了可表示的频率上限(奈奎斯特采样定理)。44.1kHz 可以覆盖人耳全频段(20-20kHz),但每秒要处理 44100 个原始采样点。下采样倍率决定了压缩强度——从 320 倍到 1024 倍不等。下采样越激进,每秒 token 越少,但重建时高频细节越容易丢失。

比特率:由下采样率和 RVQ 层数共同决定。24kHz 输入、320 倍下采样、8 层 RVQ 的比特率约为 24kbps(千比特每秒)。相比之下,MP3 的典型比特率是 128-320kbps。音频分词用低得多的比特率实现了可接受的感知质量。

2026 年的趋势:模型体积在变大——为了捕获更丰富的音频细节,码本大小从 1024 扩展到 4096 甚至 8192。同时,研究者也在探索"语义感知"的量化策略,让 token 不只是重建音频,还能保留语言意义。


6. 为什么音频分词重要

音频分词让很多东西变成了可能:

  • LLM 处理音频:把音频变成 token 序列后,大语言模型可以直接在其上做理解(音频问答)和生成(音频续写)。AudioLM 和 GPT-4o 的音频能力都依赖这一步。
  • 多模态统一:当文本、图像、音频都表示为 token 时,一个模型可以同时处理多种模态。这是迈向通用多模态模型的关键基础设施。
  • 高效传输和存储:神经编解码器在极低比特率下提供可接受的重建质量,适合网络传输和边缘设备。
  • 可控生成:通过操纵不同层级的 token(语义层 vs 声学层),可以分别控制生成内容的"说了什么"和"怎么说的"。
音频分词的成熟度决定了音频生成的天花板。编解码器重建不出来的细节,生成模型也没办法学习。从这个角度看,EnCodec 和 DAC 的出现比 MusicGen 本身更重要。

7. 相邻概念

音频分词不是孤立领域。你接下来可以顺着这些概念深入:

  • 音频生成:音频分词的下游——编解码器产出的 token 可以直接作为生成模型的输入。
  • 音乐生成:音频分词在音乐场景中的特殊挑战:音乐有更宽的频带、更复杂的谐波结构。
  • Token:文本分词是理解音频分词的最佳起点——两者的核心逻辑一致。
  • 模态编码:把不同模态编码为统一表示的方法论,音频分词是其中的一个实例。
概念解析 · 人工智能ABC