让摄像头写日报，让机器人唱 RAP：端侧模型被开发者玩出了新花样｜火种计划 S1 正式收官
让摄像头自动整理值得关注的画面，把视频配音逐句改到满意，让桌上的迷你塔台播报航班。这一季，开发者把端侧模型接进了一个个具体场景。
8 月 26 日，OpenBMB 开源社区发起 MiniCPM 火种计划 S1，邀请海内外开发者分享模型调用、端云协同和推理部署中的优化实践。现在，S1 命题赛道正式收官。
本期命题赛道共评出 16 项获奖作品，参与者来自中国、西班牙、意大利、澳大利亚和美国等地。作品里既有家庭助手和语音互动设备，也有量化工具、移动端模型包与训练实验记录。
从解决身边的具体问题，到公开工具、代码和实验记录，这些作品也给后来者留下了继续动手的起点。先来看看其中几份代表作品。
端侧模型，先把身边的事做好：家里的摄像头，有了会整理画面的助手
家里的摄像头全天都在录，但真正值得点开看的画面其实没多少。国内开发者韦东东在 Mac mini M4 上搭了一套本地服务，给家中的两台摄像头配上了视觉助手，自动把每天值得关注的画面整理成动图和日报推送出来。
如果把抓拍画面全部直接塞给视觉大模型，会产生大量无效的推理开销。为减少不必要的推理，作者先用轻量目标检测筛选画面，再将需要进一步理解的内容交给 MiniCPM-V。按作者记录，视觉模型调用从每天约 720 次降至 60—70 次。
除了模型串联，作者还详细记录了怎么处理传统帧差检测的误触发、怎么卡准录像时机，以及如何合并重复通知。想在本地安防或日常记录场景里压降推理开销的开发者，可以顺着他的输入筛选条件与触发逻辑逐项参考。
家庭视觉助手的日报节选，来自作者公开实践
➤ 阅读完整实践
🔗 https://mp.weixin.qq.com/s/p2AEerVqPNte6Z3OB0xRTQ
一块小屏，变成会播报的桌面塔台
国内开发者 电磁波Studio 用一块 ESP32-S3 开发板，做出了一台摆在桌面上的迷你航空雷达。小屏幕上实时绘出 120 海里内的航班与航向，设备里同步传出带有无线电台质感的塔台语音，把一块普通的微控制器变成了沉浸感十足的桌面摆件。
塔台雷达作者仓库中的演示动图
这套系统采用了软硬件分离的联动方式，硬件端调用模型 API，取回文案与合成语音后本地播放（演示项目默认内置了模拟航班数据）。
开发板负责航班画面显示与音频播放，通过 API 调用 MiniCPM5-2B 生成塔台文案，再由 VoxCPM2 合成语音。演示默认使用模拟航班数据，作者也公开了硬件选型、固件与构建说明，为类似的定制播报设备提供参考。
➤ 查看项目与构建说明
🔗 https://github.com/emwstudio/esp32-radar
一面 AI 魔镜，能看到你，也能接着聊
同样来自电磁波 Studio 的 AI 魔镜，让用户能对着摄像头，与屏幕里的数字人聊聊眼前的事。作者把视觉理解、语音识别、语音合成和数字人渲染部署在 AutoDL 的同一张 RTX 4090 上，按其记录占用约 21.7GB 显存，对话决策则调用 DeepSeek API。用户开口提问后，系统会按需获取画面信息，再让数字人用声音和相应的口型作出回应。
本文含视频，请前往微信公众号原文观看。
要让这几种能力接成一次完整的互动，还需要处理好模型之间的调用与衔接。项目里，DeepSeek 负责对话，并在需要查看画面时调用 MiniCPM-V；VoxCPM2 将回复合成为语音，数字人组件再根据音频呈现表情与口型。
多模型串联最怕延迟高、各说各话。为了让面对面聊天更自然，作者还处理了多轮音色一致性、长回复音画同步和用户插话时的播放中断，让几种能力更顺畅地配合起来。相关实现已在代码库公开。
➤ 查看实现代码
🔗 https://github.com/emwstudio/VoxEMW/tree/v1.10.0
一台 Reachy Mini，三种相处方式
同一台桌面机器人，能否在陪聊、讲解和表演之间切换？Jimmy 为 Reachy Mini Lite 编写了 Conversation App，在 NVIDIA GB10 上运行一个 MiniCPM-o 4.5 量化模型实例，由应用管理角色设定与预设音色，支撑三种交互模式。
围绕这一个全模态模型实例，作者在演示里设计了三个性格与职责截然不同的角色：
陪伴模式（Mia）：调用模型的视觉理解与日常对话能力，能一眼认出用户手里拿着的螺丝刀，顺着画面内容自然闲聊；
讲解模式（Ray 老师）：结合导入的产品资料回答问题。在演示中，被问到资料未提及的电池容量时，会说明没有相关信息；
表演模式（Gee 哥）：化身唱跳 RAP 选手。只要用户说出“表演主题曲”，机器人就会识别口令、响起伴奏并配合肢体动作，完成一段 25 秒的完整演出。
为了让机器人动作更可控，Jimmy 把动作编排逻辑留在了应用层：底层模型专注负责多模态理解与语音表达，上层应用负责捕捉特定口令、播放音乐并调度机械动作。
这份实践清晰展示了如何用同一个本地模型底座支撑多种任务，同时也坦诚记录了实际测试中短口令识别与知识库边界控制的局限。该项目目前暂未开源，可以通过作者发布的演示视频查看实际交互效果。
用得起来，也让别人更容易接着做
作品能用起来之后，还有一些问题值得继续追问：长文本任务是否稳定，训练结果如何核对，生成内容能否方便地修改？下面几份实践，把这些问题和探索过程一起留了下来。
个人行政 Agent，把测试放进自己的工作流
公开榜单上的跑分，往往很难反映模型接进实际业务后的真实表现。海外开发者 Paul Guglielmino 直接把 MiniCPM5 放进了自己的个人行政助手场景中，用来处理日常的信息整理与多步工具调用。
Paul 在早期云端 beta 测试中，通过增加上下文长度、调整关键信息的位置，观察 MiniCPM5 能否找到所需信息，并另外检查工具调用和任务完成情况。后续，他又分享了在 M2 MacBook Air（16GB）上本地运行 Hermes Agent 的体验，按其记录，MiniCPM5-2B 的生成速度约为每秒 20 至 24 token。
想搭建类似本地助手的开发者，可以参考作者的测试思路，用自己的实际任务检查模型表现。
➤ 阅读作者的测评与运行记录
🔗 https://x.com/PaulGugAI/status/2099644400674701652
Neko-OPSD，把训练过程和对照一起留下
让端侧模型提升数学推理能力，一定要靠外部大模型来“喂”吗？国内开发者 MindsRiverPonder 在 Neko-OPSD 项目中，围绕轻量级的 MiniCPM5-2B 开展了一组透明的数学推理训练实验。
项目采用同策略自蒸馏（OPSD）的任务适配实现：学生与冻结教师从同一个检查点初始化，学生根据题目生成回答，教师额外读取参考解析，在学生生成的回答位置提供概率分布指导，用于更新学生模型。
由于在线采样训练很容易受随机因素影响，单次跑分很难说明问题。作者从同一个模型检查点出发，对比不同训练方式，并用三组随机种子重复自蒸馏实验，观察结果的波动。
作者保留了五组实验的完整评测回答，每组针对同一批 620 条题目记录各作答四次，共计 12,400 条回答，训练数据、方法说明和汇总脚本也一并公开。其他开发者可以逐条查看模型在不同训练设置下的作答，沿着脚本核对结果，再决定怎样开展自己的后续实验。
➤ 查看实验代码与完整记录
🔗 https://github.com/mindsRiverPonder/NekoLLM-practice/tree/main/NekoMath-OPSD
Dubedo，配音之后，还能逐句修改
在视频配音或译制场景里，配音生成后，往往还要调整台词、语气和时间点。如果每次修改都要重做整段素材，返工会很繁琐。
海外开发者 Niklas Brandin 在 Dubedo 项目中，把语音模型 VoxCPM2 接进了浏览器端的配音工作台。用户上传音视频后，可以在可视化时间轴上核对转写文本和说话人，按句子直接修改台词。
遇到不满意的片段，创作者只需要选中单句重新生成，试听合适后就能直接导出，省去了从头处理整段素材的麻烦。此外，工作台还提供了保留原视频背景声的处理方式，把生成、试听、单句重做和混音导出放在同一个界面里完成，让模型生成的声音能一直被编辑微调，直到真正适合放回原作品。
➤ 进入 Dubedo 工作台
🔗 https://dev.dubedo.com/
获奖作品揭晓
本次评审从模型相关性、成熟度与质量、传播价值和创新性四个维度考察作品。同一开发者的不同作品可以分别入选。
以上仅为部分代表作品，下面是本期命题赛道的完整获奖名单，同一奖项内排名不分先后。
特别奖
Dubedo 多语言配音工作台 · Niklas Brandin
ESP32 会说话的塔台雷达 · 电磁波Studio
个人行政 Agent 测评 · Paul Guglielmino
燎原案例奖
家庭视觉助手降本实践 · 韦东东
AI 魔镜 · 电磁波Studio
Dubedo 多语言配音工作台 · Niklas Brandin
ESP32 会说话的塔台雷达 · 电磁波Studio
飞机姿态仪 · 电磁波Studio
Neko-OPSD 自蒸馏推理 · MindsRiverPonder
星火案例奖
FIT-GGUF 精确体积量化 · Scorpio-117（SC117）
Presidio + MiniCPM PII 检测 · Luis Poveda Valdivia
个人行政 Agent 测评 · Paul Guglielmino
Reachy Mini，一台机器三个角色 · Jimmy
火种案例奖
sharky-0.5B 网络流量分诊 · Luis Poveda Valdivia
MiniCPM-o 机器人改造 · Alessandro Bonomo
MiniCPM News Desk · Mark Fenner
MiniCPM5-1B / 2B LiteRT-LM 转换 · Luis Poveda Valdivia
西班牙多语言零样本评测 · Luis Poveda Valdivia
恭喜以上获奖开发者，也感谢每一位在 S1 期间把作品、代码和踩坑经验拿出来分享的朋友。
S1 命题赛道告一段落，新的实践还在继续。如果你也在用 MiniCPM 做有趣的尝试，欢迎分享给 OpenBMB 开源社区。无论是完成的作品，还是一次值得记录的优化，都可能成为下一位开发者的起点。我们下个赛季见！