VoxCPM 2 技术报告发布：训练音频总时长达 200 万小时，一个模型搞定多个应用场景

2026-06-09

距今年 4 月面壁智能联合清华大学、OpenBMB 发布并开源 VoxCPM2 后，VoxCPM2 作为国产语音大模型的一股新势力，迅速在海内外引起了广泛关注。

截至目前，VoxCPM2 的总开源下载量已超过 40w，位居小尺寸语音模型的性能前列，预计为每位开发者用户节省年费 264 美元（ElevenLabs 年费，接近 1800 元人民币）！

近日，VoxCPM2 技术报告发布，公开了其四大功能亮点（30 国语言+ 9 大中国方言、音色设计、通用音色可控与影视级高音质）背后的底层技术思路。

➤ VoxCPM2 技术报告链接

🔗 https://arxiv.org/pdf/2606.06928

作为一款参数规模仅 2B（20 亿）的全开源、多语种、生成可控语音基座模型，VoxCPM2 凭借其创新的 分层连续潜空间建模范式，绕过了传统方案中对「离散语音分词器」的依赖，用高达 48kHz 的超高音质保真度，为 AI 语音领域的开发者与用户提供了一种更加心想事成的声音生成体验。

三大技术突破

在技术报告中，VoxCPM2 介绍了其强大性能背后的三大重点技术突破。

01 另辟蹊径，打破「离散」限制

传统以大语言模型为基座的 TTS 语音系统，多将语音转换为像文字一样的「离散Token」（离散语音分词器）。这种做法虽然能直接套用大模型的预测能力，但量化过程会产生声学细节（如呼吸声、颤音、情感起伏）被抹去的问题。

为了弥补这一缺陷，许多语音模型的解法是采用复杂的「两阶段」架构：先让大模型预测粗糙的 Token，再用另一个扩散模型去「脑补」声学细节。这就像是先画好简笔画，再交给另一个人去上色，不仅流程繁琐，还容易产生「画风不一致」的电音与伪影。

而 VoxCPM2 选择了一条 更难、但更优雅 的技术路线：分层连续潜空间建模（Hierarchical Continuous-Latent Modeling）。

VoxCPM2 不使用任何外部离散语音分词器，而是直接在连续的声学潜空间中进行端到端训练。这意味着，声音在传输和处理过程中，那些微小的颤动、情绪的渐变，都能以「模拟信号」般的细腻度被完整保留，从而最大程度地还原声音背后的情感色彩。

为了兼顾计算效率与极致音质，VoxCPM2 引入了非对称音频自编码器（AudioVAE V2）：

高效编码： 在输入端（Encoder），在 16kHz 采样率下工作，将冗余的音频信息压缩，使得大模型底座的推理序列极度紧凑（自回归 token 速率仅为极低的 6.25 Hz）。

极致还原： 在输出端（Decoder），通过加深的因果 CNN 堆栈与更宽的通道，直接重建出 48kHz 的超高保真音频。

通俗点说，这就像是「用1080P的超轻量格式传输，却能直接在 4K 巨幕上无损放映」。

这种隐式超分辨率（Implicit Super-Resolution）设计，既保证了大模型推理的丝滑与高效，又赋予了最终声音无与伦比的清透与实体感。

此外，相较于 VoxCPM 一代，VoxCPM2 对模型内部的「管道」进行了全方位的拓宽：

RALM 融合升级： 将 FSQ 语义状态与局部编码器嵌入从简单的「元素相加」升级为可学习的拼接投影（Concatenation-Projection），让模型自己去感悟语义与声学的最佳结合点。

LocDiT 前缀优化： 扩散模块（LocDiT）接收到更高带宽的条件信号，有效避免了早期信息坍塌。

去处 RALM 的位置编码（NoPE）： 这一精妙的改动，显著降低了模型在长文本生成时的过拟合风险，大幅提升了长音频生成的稳定性。

02 三段式训练长达 200 万小时的音频数据

VoxCPM2 所用到的训练音频时长达到了 200 万小时。

200万小时是什么概念？这相当于一个人类不吃不喝、连续说话 228 年！

为了在庞杂的数据洪流中不迷失方向，团队设计了精妙的三段式渐进课程训练：

阶段 1：多语言预训练

快速建立起 30 种语言、9大中国方言的基础发音与抑扬顿挫。

阶段 2：联合可控预训练

引入带有自然语言描述的控制数据，训练声音设计与参考克隆。为了防止文本内容与语调风格“死绑定”（例如欢快的词语总是对应欢快的声音），团队还用模型自身生成了 内容解耦的克隆样本 进行逆向训练，极大增强了风格控制的纯粹度。

阶段 3：高质量退火精调（SFT）

使用最干净、最富情感的精选数据集进行最后的雕琢，完成浴火重生。

03 一个模型，搞定所有场景

大多数语音模型在面对方言克隆、声音设计、续播克隆等不同任务时，往往需要调用不同的小模块或微调模型。而 VoxCPM2 改变了这一技术惯性，展现出了极强的 架构通用性。

VoxCPM2 引入了「统一序列组织」设计，不管是基础的文本转语音、音色设计、风格可控克隆，还是高保真续播，在底层都使用 同一套参数、同一个目标函数和同一个推理管线。

它们唯一的区别，仅仅在于输入序列的「排兵布阵」方式（如技术报告中的表 2 所示）：

基础 TTS： 文本 ➡️ 目标音频

声音设计：语音描述文本 ➡️ 目标音频，比如输入「一个欢快的年轻男声说……」，模型就会凭空创造出符合这一特征的全新声音。

参考克隆：参考音频/文本 ➡️ 目标音频——既给它一段参考声音克隆音色，又用文字指示它按照用户自己的想法来生成目标音频（如「用极其愤怒的语气说话」）。

可控克隆：参考音频/风格描述文本 ➡️ 目标音频

续写克隆：提示词文本+目标文本/提示音频 ➡️ 目标音频

这种设计彻底告别了架构的碎片化，让 VoxCPM2 成为了一把声音的「瑞士军刀」，可以按照用户的想法创造任意声音。

多项任务表现突出

在零样本声音克隆评测集 Seed-TTS-Eval 上，VoxCPM2 展现出了与闭源商业模型并驾齐驱的统治力：

英文测试集上，WER（词错率）低至 1.84%，说话人相似度（SIM）高达 75.3%。中文测试集上，CER（字错率）低至极佳的 0.97%，相似度达到 79.5%；即使在公认极其困难的中文 Hard 测试集上，其表现也优于绝大多数开源和闭源方案。

在指令遵循评测集 InstructTTSEval（包含声学参数控制、描述性风格指令和角色扮演三个维度）上，VoxCPM2 在英文子集上斩获了 84.2 / 83.2 / 71.4 的优异成绩，超越了 GPT-4o-mini-TTS 和开源界的同类模型，证明了其听懂「人话」并按要求调整声音的强大交互能力：

对于多语种和跨语言合成，数据分布的不均匀一直是行业的痛点。VoxCPM2 不仅支持英语、日语、韩语、法语等 30 种世界主流语言，还深度融合了粤语、四川话、上海话、闽南话等 9 种中国方言。

在多语言评测集 MiniMax-MLS-Test 上，VoxCPM2 在 24 种语言的「声音相似度」上取得了 22 个第一、打败了 MiniMax 与 Qwen3-TTS 等知名语音模型，展现出令人惊叹的跨语言声音特征保持能力：

即使面对训练中从未出现过的冷门语种（如捷克语、罗马尼亚语），它也表现出了涌现性的零样本迁移能力：

极佳推理效率：单张 RTX 4090 即可运行

得益于自回归侧极低（6.25 Hz）的 Token 速率，VoxCPM2 在硬件条件上也展现出了极佳的亲和力：

超低延迟与显存占用：在单张消费级显卡 NVIDIA RTX 4090（24 GB） 上，标准 PyTorch 实现下的 RTF（实时率）为 0.30，峰值显存占用仅为 ~8 GB。

极致加速：配合专门优化的 Nano-vLLM 推理引擎，RTF 直接飙升至惊人的 0.13。这意味着，生成 10 秒的高保真语音，仅需 1.3 秒。

原生支持流式输出： TSLM、RALM 的因果结构以及 LocDiT 的局部块设计，天然适配「一边生成一边播放」的低延迟交互场景，是智能客服和即时翻译等语音应用的优质语音基座。

在技术报告中，VoxCPM 2 不仅开放了全部技术细节，并决定将模型权重、微调代码和推理工具全部在 Apache 2.0 协议下公开。

声音是人类情感的延伸。VoxCPM2 的开源，正是希望在不久的将来，人机交互的温度将不再由冷冰冰的数字决定，而是承载于那一句句自然、温暖、带着呼吸声的细腻低语中。

👉 项目地址与开源链接：

➤ 技术报告

🔗 https://arxiv.org/pdf/2606.06928

➤ GitHub

🔗 https://github.com/OpenBMB/VoxCPM/

➤ HuggingFace

🔗 https://huggingface.openbmb.com/model/openbmb/VoxCPM2

➤ 在线体验

🔗 https://voxcpm.modelbest.cn/