YouDub Desktop 是一个开源的视频本地化工作台：导入视频，它负责识别、翻译、逐句克隆原声，最后给出字幕和配音成片。项目内置的模型清单里，声音克隆用的是 VoxCPM2。
效果示例
默认演示是 2026-10-09 生成的黄仁勋采访：逐句克隆原声、中文字幕、背景音保留，全长约 59 秒。源视频链接只是用来说明样例出处，工作台本身支持视频链接和本地文件导入。
| 样例 | 原始英文 | 中文配音版 |
|---|---|---|
| 黄仁勋采访 · 最新效果（YouTube Shorts，英文 → 中文） | 观看 | 观看 |
| 历史样例：How much YT paid me for 129 million shorts views（横屏长视频，开头 40 秒切片） | 观看 | 观看 |
历史样例的完整版可以在 demo-assets Release 下载。第三个样例 Me at the zoo（英文 → 中文，19 秒）可以在官网切换中英文试听。
能做什么
| 输出模式 | 生成内容 |
|---|---|
| 原声 + 字幕 | 保留原始音轨，生成目标语言字幕并压进画面 |
| 配音 | 生成目标语言配音，可以保留分离出来的背景音 |
| 字幕 + 配音 | 输出带字幕的配音视频，可选语音强制对齐 |
- 逐句原声克隆：每句译文都拿对应原文句子的音频片段当参考，句子和参考音频一一对应。
- 字幕显示：按逗号、顿号、中文破折号等拆分显示，过短的片段会合并，片段末尾的分隔标点会藏起来。
- 任务管理：能看封面、步骤进度、错误和产物，也能取消、重试、重新生成、播放和下载。
在工作台里选视频和工作流，界面会显示节点声明的快捷设置。语言、模型、设备、声音和字幕参数都保存在工作流节点里；模型供应商、本地环境和模型安装则在设置里管理。
用 VoxCPM2 做声音克隆
README 里没有单独介绍 TTS 模型。仓库的模型清单 packages/builtin/src/setup-models.json 把 VoxCPM2 登记为“声音克隆”模型，会从 Hugging Face openbmb/VoxCPM2（镜像 ModelScope OpenBMB/VoxCPM2）下载到 voxcpm/VoxCPM2 目录，位置也可以用环境变量 YOUDUB_VOXCPM_MODEL_DIR 指定。
界面预览
工作台：导入视频，选语言和要输出的内容。
任务库：视频封面、处理状态和历史任务。
任务详情：成片预览、处理步骤、配音音频和字幕下载。
下载与使用
Windows EXE 安装包 · macOS DMG · 版本说明与便携包
首次启动会准备基础运行环境；模型和推理依赖按工作流准备。安装要求和升级方法见安装指南。
- 首次配置时，或者到“设置 → 模型”里，添加供应商、密钥和翻译模型。
- 在“工作台”导入视频，选工作流、调整节点选项，按提示准备好资源后创建任务。
- 到“任务库”看进度，播放或下载结果。
从源码运行
YouDub 做的是视频翻译、配音、工作流编排和人工审核，技术栈是 Electron 加裁剪过的 DeepSeek Harness 框架。开发前建议先看文档索引、架构说明和本地运行。
需要 Node.js ^22.19.0 || >=24.0.0、npm、Git 和平台构建工具，首次检出时初始化子模块。在仓库根目录执行：
npm ci --registry=https://registry.npmmirror.com
npm --prefix apps/web ci --registry=https://registry.npmmirror.com
npm --prefix apps/harness ci --registry=https://registry.npmmirror.com
npm run build:framework
npm run build:youdub
npm start
npm start 和 npm run dev 启动的是同一个 Electron 产品；npm run build:desktop 是 build:youdub 的别名，生成开发产物。npm run package:desktop -- --dir 生成独立应用。正式安装包、签名和发布见发行流程。
首次启动时选界面语言和数据安装目录，然后在页面里准备运行资源、配置翻译模型。应用有自己的 Python 环境、模型和配置；翻译走 Harness 模型服务，用你配好的提供商协议和模型参数。基础环境和各工作流所需资源的准备状态会分开显示。
一切都是插件
YouDub 用 Cordis 插件运行时把任务、工作流、字幕、配音、资源和业务页面装配起来。桌面窗口、连接、模型配置、LLM、子进程、Jobs 和插件管理沿用框架里保留的代码；应用有自己的启动入口和运行目录。
YouDub Electron → Desktop Host ← Connection ← YouDub 页面
↓
YouDub 工作流与任务插件
↓
LLM / Subprocess / Jobs
↓
翻译 / Python 媒体处理
前端用 Harness 的 Renderer、Slots、Layout、Store、主题、语言和通用控件，接上原来 YouDub 的业务组件、React Flow 画布和首屏动效。插件在应用的“扩展”页面管理，安装、启停、卸载交给 Harness PluginManager。目前没有已发布的 YouDub 在线插件市场。
当前范围
- 英文分句：Whisper 识别后用 NLTK Punkt 整理成完整句子，再用词级时间戳确定原声范围；原始识别结果保留。
- 默认流程接收本地视频，由 FFmpeg 检查并处理实际音视频流，不限制时长、文件大小、分辨率或帧率。
- 语言目录目前有英文、中文、日文，具体能做到什么取决于提供商；可选的 Qwen 对齐支持英文和中文。
- 节点工作流支持分叉、汇合和人工订正，单槽串行执行，等人工确认时会释放执行槽。插件的启停重启后才生效。
- 本地 workflow、Client 和 Python 插件已经验证过；GitHub/npm 远端插件还没验收。
- HTTP 接口是
/api/v2，支持从指定步骤重新生成任务。链接下载支持 YouTube、Shorts、B 站和 b23.tv 的单视频链接，底层用 yt-dlp、Node.js 和 FFmpeg，保留源视频质量。
开发与测试
npm run typecheck
npm test
npm run test:backend
npm --prefix apps/web test
npm run lint:web
npm run build:youdub
npm --prefix apps/harness test
开源许可
本项目使用 Apache License 2.0。
相关链接
- GitHub 仓库：liuzhao1225/YouDub-webui
- 国内镜像：AtomGit
- 官网与试听：liuzhao1225.github.io/YouDub-webui
- 社区交流：QQ 交流群
618246010 - 作者：刘朝 Zhao Liu · GitHub · Bilibili 黑纹白斑马
感谢刘朝 Zhao Liu 开源 YouDub，并在视频本地化场景里使用 VoxCPM2。