VoxCPM 语音系列
VoxCPM 语音系列是 OpenBMB 开源社区的无离散音频分词器文本转语音模型家族🧑🧑🧒。模型以扩散自回归方式直接建模连续语音表征,覆盖文本转语音(TTS)、零样本声音克隆、流式合成与个性化微调。当前推荐新项目使用 VoxCPM2;VoxCPM1.5 与 VoxCPM-0.5B 保留为中英双语的历史版本与兼容入口~
系列概览
| 模型 | 参数量 | 语言 | 输出采样率 | 克隆方式 | 版本定位 |
|---|---|---|---|---|---|
| VoxCPM2 | 2B | 30 种语言,另含 9 种中文方言 | 48kHz | 隔离参考音频克隆;也支持提示音频续写 | 最新版本默认选择 |
| VoxCPM1.5 | 800M | 中文、英文 | 44.1kHz | 提示音频续写,需要参考文本 | 中英旧工程升级与兼容 |
| VoxCPM-0.5B | 640M | 中文、英文 | 16kHz | 提示音频续写,需要参考文本 | 初代基线与历史兼容 |
推荐选型
| 使用目标 | 推荐模型 | 选择理由 |
|---|---|---|
| 多语言生成、音色设计、可控声音克隆 | VoxCPM2 | 这是唯一支持 30 种语言、隔离参考音频通道、Voice Design 与 Style Control 的版本。 |
| 中英项目,已有 1.x 工程或 LoRA 资产 | VoxCPM1.5 | 在 1.x 架构内升级到 44.1kHz 输出和 6.25Hz LM token 速率,迁移路径较平滑。 |
| 复现初代行为或验证最小历史 checkpoint | VoxCPM-0.5B | 保留原始 1.0 架构与 16kHz 输出,不应代表 VoxCPM2 的多语言、可控性或音质能力。 |
能力边界
VoxCPM2 的声音设计是在目标文本开头加入括号中的自然语言描述;其可控声音克隆可只提供参考音频,并可叠加控制描述。VoxCPM1.5 与 VoxCPM-0.5B 的克隆路径是提示音频续写:必须同时提供 prompt_wav_path 与该音频的准确转写 prompt_text。不要把两类接口、所需输入或效果预期混用。
请注意声音权益与安全。 声音克隆、微调和公开发布前必须确认说话人授权与合法使用边界。不得用于冒充、欺诈或虚假信息传播;公开传播的合成音频应明确标注为 AI 生成~
相关资源
| 主题 | 入口 |
|---|---|
| 代码仓库与发布说明 | OpenBMB/VoxCPM |
| VoxCPM2 模型权重 | Hugging Face / ModelScope |
| 官方网站 | voxcpm.com |
| 模型文档 | VoxCPM 2 / VoxCPM 1.5 / VoxCPM-0.5B |
| 完整文档 | VoxCPM ReadTheDocs |
| 在线体验(国内) | VoxCPM Demo |
| 在线体验(海外) | Hugging Face Spaces |
| 技术报告 | VoxCPM2 Technical Report |
| Demo Page 与音频示例 | VoxCPM2 Demo Page |
| VoxCPM2 技术交流群 | 欢迎加入 VoxCPM2 官方技术交流群~ |
开发者精选
查看全部 →ESP32 塔台雷达:AI 语音播报航班圆屏塔台雷达,用克隆管制员音色播报航班VoxWeft:Mac 端侧同声传译VoxCPM2 移植 MLX,本机流式同传,首包音频约 170 msKahya TTS:土耳其语声音克隆基于 VoxCPM2 微调的土耳其语 TTS,支持参考音色克隆VoiceMem:流式双脑语音记忆流式双脑记忆架构,为语音模型提供低延迟情感记忆YouDub:开源视频本地化工作台视频识别、翻译、逐句原声克隆,一键生成字幕与配音CoreAI Model Zoo:MiniCPM 原生上 iPhoneMiniCPM5、MiniCPM-V 4.6 转换为 Core AI 原生运行baby mynah:9 种英语口音变形每种口音一个 LoRA,权重空间插值混合口音Talk to 峰哥:实时语音 AI 分身和峰哥 AI 分身实时语音通话,音色与性格高度还原Whispera:Windows 本地实时语音对话VAD、SenseVoice、本地 LLM 与 VoxCPM 流式 TTS 全本地对话开源 300G 猫娘音频数据集:NekoAudio-80K快让你的猫娘开口吧!TTS 训练走起!VoxCPM CLI:本地语音合成命令行OpenVINO 本地推理,JSON 输出,附 Agent Skill