火种计划|一块巴掌大的 ESP32 小屏幕,遇上 MiniCPM 能解锁多少种新玩法?
「塔台,电磁波 001 号请求降落。」
按住机身按键说出这句话时,你手里捏着的不是真正的飞机操纵杆,而是一块巴掌大的 ESP32 开发板。
松开按键,一段带着无线电质感的塔台通话从开发板里传出来 —— 那是 AI 扮演的塔台管制员。它不仅听懂了你的请求,还结合了你当前的飞行高度、空速和俯仰角,用塔台通话的口吻提醒你:「注意坡度过大。」
另一块带摄像头的开发板,正蹲在猫碗旁边,记录家里四只猫各自的饮水情况。咖啡机上,还有一块亮着黄色进度环的小屏幕,提醒你今天的热量预算快超标了。
这些看起来有意思的小玩意儿,都来自本期的 火种开发者「电磁波 Studio」的 MiniCPM × ESP32 开源实验 。在大多数人还把大模型当成「高级搜索框」或者「写周报工具」的时候,电磁波 Studio 把大模型从电脑和手机的聊天窗口里拉出来,接入到一块块真正能看、能听、能把玩的实体小硬件。
系好安全带,AI 要「逃出聊天框」了。
从ESP32开始,他尝试把大模型接入身边的小设备
在硬件圈子里,ESP32 是个老熟人。它价格低、带 Wi-Fi 和蓝牙,常被用来做智能家居和桌面小玩具。
但对于长期做软件和 AI 语音应用开发的电磁波 Studio 来说,硬件原本是陌生领域。直到一个月前,他在浏览海外一个开源 AI 硬件项目时,第一次注意到了「ESP32」这个词。一查才发现,这颗来自国内芯片厂商的微控制器成本不过几块钱。
那时他通过 VoxCPM2 的声音克隆接触到面壁的 MiniCPM 系列模型,于是开始琢磨:能不能把这块小开发板和端侧大模型连起来,做一个拿在手里就能直接对话的设备?
但把「ESP32」和「大模型」放在一起,很多人都会有疑问:芯片这么小,内存只有几MB,怎么运行动辄几十亿参数的模型?
电磁波 Studio很快发现,问题不在于想办法把模型塞进ESP32, 而在于把两边的工作分开。 算力有限的微控制器负责连接设备和采集数据,模型放在更合适它的Mac或云端。
他们先把工作分开。
ESP32 负责连接现实世界:接入摄像头和麦克风,采集画面与声音;读取传感器数据,驱动屏幕、播放音频;也可以通过按键、触摸和无线通信与人交互。
画面识别、语音理解和回应生成,则交给局域网另一端的模型。对实时性、隐私或成本有要求的环节,使用在 Mac 上本地运行的 MiniCPM;需要更强识别能力时,再调用面壁官方 API 平台的模型。
这样一来,开发板仍然按照固定逻辑工作,同时可以根据看到的画面和听到的声音作出更具体的反馈。硬件负责采集和呈现,模型负责理解和生成,两边通过网络连起来。
从雷达到姿态仪:2B 模型如何播报塔台信息
电磁波 Studio 的第一个实验 「esp32-radar」,是把一块圆形 AMOLED 屏幕变成了一座桌面上的 「机场塔台雷达」 。
屏幕上,扫描线带着衰减余晖一圈圈转动,距离环、罗盘刻度和跑道方向线都显示在画面中。接入飞常准数据后,系统可以显示雷达中心周围 120 海里内的航班,飞机图标随航向旋转,旁边跟着航班号、高度和速度。航班进入 30 公里范围时,系统会自动触发播报。项目也提供本地模拟航班的演示模式,方便离线体验。
小硬件怎样说出像样的塔台用语?
如果把航班数据直接交给通用大模型,它可能会平铺直叙地说:「您好,有一架飞机正在靠近。」 信息没错,却不像塔台通话。
为了让播报更接近真实塔台通话,电磁波 Studio 把流程拆成了三步:
第一步,生成。 MiniCPM5-2B 根据飞机是进场、离场还是过路,以塔台管制员的角色组织措辞,生成播报文案。
第二步,读法转换。 在真实的陆空通话里,为了避免听错,数字有着严格的读法:1 要读成「幺」,2 读成「两」,7 是「拐」,0 是「洞」。大模型的优势在于生成自然、多变的文本,而数字读法属于零容错的确定性规则。因此,项目没有把这项规则交给大模型自由发挥,而是采用了 「生成归模型,规则归程序」 的做法 —— 在 MiniCPM 生成文案后,用一段程序代码完成航空读法的确定性转换。这样既保证了每次播报的文案鲜活多变,又确保了数字读法绝对稳定。
第三步,配音。 他找来一段真实塔台的通话录音作为参考,用 VoxCPM2 克隆出塔台管制员的音色并合成语音,再经过降速、带通滤波和软削波处理,让声音更接近无线电信道里的通话。最后由 ESP32 播放,屏幕上的 TX(发射)状态同步点亮。
模型生成内容,程序处理固定规则,ESP32把声音和画面呈现出来。
当这台桌面雷达第一次运转起来、播报出头顶掠过的真实航班时,它很快吸引了不少航空爱好者,甚至有许多孩子透过屏幕迷上了这台「能听见真实飞机的设备」。
有了雷达的成功,他很快推进了进阶版项目 「esp32-attitude」:把同款屏幕做成了 「仿真飞机地平姿态仪」,让塔台从单向播报升级为双向实时对话 。
这一次,开发板里的 QMI8658 六轴传感器派上了用场。你拿着屏幕左右倾斜、前后俯仰,设备会实时解算横滚和俯仰,并估计相对航向;一套演示飞行模型则根据姿态生成空速、高度和升降速度,让屏幕上的仪表跟着手里的动作一起变化。
当你按住按键向塔台呼叫时,设备不仅会将语音通过 Wi-Fi 传到 Mac 端(经 Qwen3-ASR 识别后交给 MiniCPM5-2B),还会在发送语音前将当前那一帧的「实时飞行状态」同步加入模型的上下文中。于是,塔台听到的不再是一句孤立的「请求降落」,而是能结合仪表状态作出判断:如果请求与当前飞行状态矛盾,MiniCPM5-2B 会直接指出问题;如果传感器显示飞机正在猛爬升、猛下降或处于大坡度状态,模型也会给出相应的安全提醒。
大模型不再是一个只会接话的聊天机器人,它能够「感觉」到你手里的动作,与你实时交互。
抓出哪只小猫没喝水:1B 先筛选,35B 再确认
前两个项目跑通了「听」与「说」的闭环,也让原本零硬件基础的电磁波 Studio跑通了一条可复用的路径:即便没有深厚的硬件功底,借助开源开发板与大模型,普通人也能针对身边的具体需求搭出趁手的小工具。
当技术不再是门槛,造物的起点就回归到了最真实的生活痛点上。到了第三个项目「esp32-eye」,电磁波 Studio 把视线从桌面的虚拟仪表移开,落在了家里的四只猫身上——三只相伴五六年的猫猫们「电磁波」「充电宝」「闪电」,以及刚来不到一年的「咖啡豆」。
饮水是很多猫主人格外关心的日常指标,但没有人能整天守在碗边。尤其当家中有多只猫咪时,轮流来到同一个猫碗前,如何准确记录「哪只猫、在什么时候、喝了几次水」 就成了一道难题。
电磁波 Studio 用两块 ESP32-S3 、一台 MacBook 和 MiniCPM-V 视觉模型做了一套自动的 「猫咪喝水计数器」 —— 一块带 OV5640 摄像头的开发板蹲守在猫碗旁,负责采集画面和声音;另一块屏幕放在办公桌手边,实时显示画面、四只猫的头像和当天的喝水次数。
起初,他打算直接调用 MiniCPM-V 4.7 35B-A3B 来处理所有画面。但在实际测试中,问题很快暴露了出来:一方面,35B 模型虽然准确,但推理需要一定时间,难以做到毫秒级的实时响应;另一方面,猫咪在房间里走动时,常常只是路过水碗区域而非真正饮水。如果猫每一次经过都通过云端 API 调用 MiniCPM-V 4.7 35B-A3B 进行识别,就会频繁产生网络请求和推理开销;持续将家庭画面上传云端,也会带来隐私顾虑。
这时候, 本地轻量筛选与云端模型复核的协同价值 就显现了出来。他设计了一条 「分级识别链路」 :
第一关(算法过滤): 用传统的背景差分算法判断画面是否出现足够大的变化。画面没变化时不启动模型,过滤掉大部分空镜头。
第二关(本地 1B 筛选): 画面有变化后,唤醒运行在 MacBook 上的端侧模型 MiniCPM-V 4.7 1B。它只负责判断「有没有猫」,不承担最终的身份确认。
第三关(云端 35B 复核): 只有当本地 1B 模型连续多次判断「有猫」,且画面变化达到阈值,系统才会形成一次候选事件,抽取相关画面,通过云端 API 调用 MiniCPM-V 4.7 35B-A3B,复核「到底是不是在喝水」,并对照每只猫的参考照片确认身份。
这种分工来自真实的测试反馈:家里的四只猫中有三只都是外观接近的浅色猫,本地 1B 模型非常适合承担高频的轻量门控,但在四只猫之间做高精度区分并不理想;将最终的认猫环节交给识别能力更强的 35B 模型,刚好 在成本与准确率之间取得了平衡 。
更体现工程成熟度的,是这套系统对「不确定性」的克制处理。 受限于光线或拍摄角度,当模型对猫咪身份的置信度不够高时,系统会直接保留为「unknown」,而不是强行猜测一只猫来凑数;如果网络暂时不可用,事件会进入重试流程,绝不会拿本地 1B 的初步结果去冒充最终确认。
在人工核对的 14 次真实喝水样本里,该系统不仅 14 次全部成功触发记录、准确识别出猫咪身份,还在 35B 复核阶段成功过滤掉了一次「猫在碗边但并未喝水」的画面。
没有盲目追求虚假的「100% 识别率」,而是划清能力边界,让系统知道自己什么时候不该下结论 —— 这种工程上的克制,恰恰是一个技术 Demo 走向真正可用系统的分水岭。
至于下一步?他已经把目光投向了家里的几个猫砂盆,准备把同一套分级识别方案搬过去,解开「到底是哪只小猫上了哪个厕所」的日常谜题。
咖啡机上的卡路里环:AI 估算,人来决定
在调试猫咪项目的过程中,MiniCPM-V 4.7 的视觉表现给了电磁波 Studio 不少启发:既然模型能分辨出毛色相近的猫,那么面对日常餐桌上的食物,它能否直接识别出菜品并估算热量?
于是他作出了第四个项目「esp32-intake」。与前几个需要处理复杂音视频流的项目不同, 这一次他给出了另一种更轻量的思路: 手机拍照、 模型 识别,再由桌面上的小屏幕持续提醒 。
每次吃饭前,用手机 iOS App 拍一下食物,系统会调用 MiniCPM-V 4.7 35B-A3B 识别出菜品并估算热量。识别结果不会立刻被记入账本,App 会先展示「吃下这顿饭对今日目标的影响」,把最终决定权留在人手里 —— 你可以点「加入记录」、「重新测量」,或者选择「不吃了」。
「因为很多时候人拍照只是想先做个评估,」电磁波 Studio 解释道,「硬件和 AI 的作用是提供决策参考,但吃与不吃最终还是由人自己拍板。」
确认之后,App 在本地保存当天的摄入、算出剩余额度,再通过局域网 HTTP 把完整状态推送到咖啡机上的 ESP32 屏幕。ESP32 屏幕中央会显示今日剩余热量,外圈的进度环则顺时针增长:摄入低于目标 70% 时显示绿色,70%–99% 变为黄色,一旦达标或超标则变为醒目的红色。
ESP32 不自己累加数据,也不负责理解食物。它只接收 App 推送的状态,然后稳定地显示出来。这个项目把职责划分得非常清楚: AI 负责估算,人负责决定,硬件负责持续提醒 。从一个创意到一件可以在真实生活里长期使用的产品,这些边界同样重要。
当 AI 走出聊天框之后
过去两年,我们见过了太多惊艳的大模型对话框。你在键盘上敲下一行字,屏幕那头涌出几百字华丽的回答。
但生活不是在聊天框里度过的。
回看这一个月里的四次尝试,电磁波 Studio 觉得底层的逻辑其实始终如一:「技术最终还是要服务于人的真实需求 —— 无论是帮人做日常决策,还是给人提供情绪价值,AI 在背后负责思考与生成,而硬件则负责把这一切直观地呈现在你手边。」
当 MiniCPM 与 ESP32 连接起来,大模型就像水、电和 Wi-Fi 一样, 变成了一种可以被随时接入各类硬件的基础能力 。它不需要把庞大的参数硬塞进每一块微小的芯片里,而是 通过合理的分工,让每一部分做自己最擅长的事 : ESP32 负责连接物理现实, 本地运行的模型负责高频、轻量的感知筛选,通过云端 API 调用的模型负责更复杂的理解与复核 ,语音模型则赋予硬件鲜活的角色表达。
于是,在电磁波 Studio 的手里,AI 变成了一架飞机进入空域时自动响起的塔台播报,变成了结合陀螺仪状态给出的语音提醒,变成了桌面上实时更新的猫咪喝水卡片,也变成了咖啡机旁那条悄悄变黄、变红的热量进度环。
他的脚步还没停下,现在他正计划把 ESP32 摄像头和 MiniCPM-V 4.7 塞进桌面小机器人里,做一个在你做俯卧撑时用各地方言吆喝加油的「健身搭子」。换成不同的传感器、显示屏和角色设定,同一套架构还能长出无数种现在还没有名字的小设备。
模型从来不是终点,而是起点。当模型能力被接入一块真正可以触摸、可以观察、可以放在手边的硬件,下一个惊喜,也许就在你手中。