VoxCPM2

VoxCPM2 支持声音设计、声音克隆和音频续写三种生成模式：可根据文本中的声音描述生成语音；可使用参考音频生成具有相近音色的语音，并通过控制指令调节语速、情绪或风格；也可同时提供参考音频及对应转录文本进行音频续写。该模型支持流式音频生成。

核心亮点

• 支持 30 种语言，开箱即用：基于 200 万+ 小时多语言语音训练，直接输入任意 30 种支持语言之一的文本即可合成，无需语言标签。在内部 30 语言 × 500 样本可懂度基准（Gemini 3.1 Flash Lite 评测）上平均 WER/CER 低至 1.68%，并能根据文本内容自动推断合适的韵律与表现力。
• 全方位语音设计与克隆：声音设计：根据自然语言描述（性别、年龄、音调、情感、语速）生成语音，不需要参考音频； 声音克隆：从短音频片段生成具有相近音色的语音，可通过控制指令调节情感、语速与表达； 音频续写：同时提供参考音频与对应转录文本，从参考音频继续生成，保持音色、节奏、情感与风格。
• 48kHz 录音室级音质 · 实时流式 · 开源可商用：AudioVAE V2 非对称编解码接受 16kHz 参考音频，直接输出 48kHz 录音室级音质，内置超分辨率模块，无需外部升采样器。 NVIDIA RTX 4090 上 RTF 低至约 0.3，经 Nano-vLLM / vLLM-Omni 加速可达约 0.13（支持 PagedAttention 与 OpenAI 兼容 API）。 权重与代码以 Apache-2.0 许可证发布，可免费用于商业用途。

技术亮点

• 无分词器扩散自回归架构：VoxCPM2 基于无分词器、扩散自回归范式构建，完全在 AudioVAE V2 的潜在空间中运行，遵循 LocEnc → TSLM → RALM → LocDiT 四阶段流水线，实现丰富的表现力并原生输出 48kHz 音频。
• 非对称音频编解码与实时流式：AudioVAE V2 采用非对称编解码设计，16kHz 输入直接输出 48kHz，内置超分辨率模块，无需外部升采样器。标准 PyTorch 实现 RTF ~0.30（RTX 4090），Nano-vLLM 加速可达 RTF ~0.13 并支持批量并发；官方 vLLM-Omni 全模态服务提供 PagedAttention、连续批处理与 OpenAI 兼容 API。
• 声音设计 / 声音克隆 / 音频续写：声音设计：以自然语言描述生成语音；声音克隆：参考音频 + 控制指令，调节情感、语速与表达；音频续写：参考音频 + 对应转录文本，以音频延续方式继续生成。

模型表现

• Seed-TTS-eval（零样本 TTS）
• CV3-eval（多语种可懂度 WER/CER↓）
• MiniMax-MLS（多语种 WER↓）
• MiniMax-MLS（多语种音色相似度 SIM↑）
• InstructTTSEval（语音设计）

↓ 越低越好，↑ 越高越好；数据取自官方报告或本地复现。