AI音乐

概念解析——音频生成

音频生成是 AI 让人"听得见"的那一面。从语音助手说出的每一句话,到 AI 配乐、音效合成、甚至克隆你的声音——这些背后是一套从文本或音频信号到可听波形的技术栈。它比文本生成多了一个维度:时间上的连续性。


1. 音频生成要解决的四个任务

音频是个大类。不同任务用的模型和技术路径可能完全不同。大体分四类:

  • 语音合成(TTS):把文字念出来。这是最成熟的音频生成方向,从早年的拼接合成、参数合成,到今天基于神经网络的端到端 TTS,效果已经接近真人录音。
  • 音效生成:生成脚步声、开门声、雨声、引擎轰鸣——游戏和影视制作中需求巨大。传统上靠录音库,现在可以"打字出音效"。
  • 音乐生成:生成旋律、和弦、编曲乃至完整的歌曲。这是难度最高的方向——音乐不只是"声音",还有结构、情感、风格。
  • 声音克隆:用几秒钟的音频样本复制一个人的声音特征,然后让这个"虚拟声音"说任何话。应用场景包括配音、有声书、视障辅助。

2. 两条技术路线

当前音频生成大致走两条路,各有长短。

路线一

潜扩散模型

把音频信号压缩到低维潜空间,然后在潜空间上做扩散去噪,最后解码回波形。代表模型是 Stable Audio(Stability AI)和 AudioLDM。这种路线的优势是生成质量高、连贯性好,尤其适合长音频和音乐。劣势是推理速度相对较慢,需要多步去噪。

路线二

基于 token 的自回归模型

先通过音频编解码器(如 EnCodec)把音频转为离散 token,然后用大语言模型的方式做自回归预测——预测下一个音频 token 是什么。代表是 AudioLM(Google)和 MusicGen(Meta)的早期版本。优势是架构可以与文本 LLM 共享,天然支持多模态。劣势是长音频的一致性不太好,可能出现"跑偏"。

2025-2026 年的趋势是两条路线走向融合:扩散模型里加入 token 级条件控制,自回归模型里引入扩散解码器。边界正在模糊。

3. 关键模型一览

ElevenLabs:语音合成方向的标杆。2023 年以超高拟真度的 TTS 引爆市场,支持多语言、声音克隆、情绪调节。其核心技术是端到端神经网络 TTS 加上大规模多说话人训练。

AudioLDM:香港理工大学团队提出,基于潜在扩散的文本到音频生成框架。用 CLAP 模型把文本和音频对齐到同一表示空间,然后用 Latent Diffusion 生成音频。开源且支持 TTS、音效、音乐多种任务。

Stable Audio:Stability AI 出品,用扩散模型在潜空间生成音频,支持文本到音频和音频到音频(如风格迁移)。2024 年发布 2.0 版本,生成质量显著提升。

AudioCraft:Meta 2023 年开源的音频生成套件,包含三个模型:MusicGen(音乐生成)、AudioGen(音效生成)、EnCodec(音频编解码器)。三者共享音频分词底层,是这个领域重要的开源基座。


4. 文本到音频 vs 音频到音频

音频生成的输入可以是文本,也可以是另一段音频。

文本到音频(Text-to-Audio):最直观的方式——输入描述,得到音频。例如"雨打窗户的声音""咖啡馆里有人低声交谈"。模型需要把文本语义映射到声学特征空间。挑战在于文本的描述往往太模糊——"悲伤的音乐"可以有无数种编曲方式。

音频到音频(Audio-to-Audio):给一段音频,做变换或延续。场景包括:伴奏分离(去人声)、音色转换、音频修复、给定前几秒让模型续写。这种方式比文本到音频多了"参考信号",生成结果的风格可控性更强。

实践中许多模型同时支持两种输入。Stable Audio 的"音频到音频"模式可以加载一段参考音频作为风格条件,然后基于文本提示生成与之匹配的新内容。


5. 应用场景

音频生成正在快速渗透内容创作的全链条:

  • 内容创作:播客制作、视频配音、有声书录制。以前需要录音棚和配音员,现在一个人加一台电脑就能完成。
  • 游戏开发:动态音效生成。游戏场景中的脚步声、环境音可以根据角色位置实时变化,不必捆绑固定的音效文件。
  • 影视制作:拟音(Foley)自动化。AI 可以看视频画面自动生成匹配的音效,大幅降低后期音效师的重复劳动。
  • 无障碍:为视障用户将屏幕文字转为语音,为发声障碍者提供个性化的语音替代方案。
  • 教育:语言学习中的发音示范、外语听力材料自动生成、虚拟教师的实时语音回应。

6. 相邻概念

音频生成不是孤立领域。你接下来可以顺着这些概念深入:

  • 音频分词:把连续音频转为离散 token 的技术,是自回归音频生成的基础。
  • 音乐生成:音频生成中最困难也最受关注的分支,有自己独特的技术挑战。
  • 多模态:音频生成常与文本、图像、视频模型联动,构成多模态生成系统。
  • 模态编码:将不同模态的信息统一编码为模型能处理的表示,是跨模态生成的前提。
概念解析 · 人工智能ABC