OpenSQZ Glass Harness × MiniCPM-o：让端侧全模态模型在第一视角世界中更可控、更定制、更流畅

2026-10-20

➤ 论文链接

🔗 https://aclanthology.org/2026.acl-demo.82/

➤ 开源代码仓库

🔗 hhttps://github.com/OpenSQZ/OpenGlass

当 AI 眼镜从一次性的「拍照—提问—回答」走向持续的第一视角交互，系统面对的已不只是模型能否看懂一张图片。用户可能在播报过程中改变意图，从普通聊天切换到找物、读字等专项任务；不同任务需要不同的上下文，也可能需要调用目标检测、OCR 等专用能力。此时，单一模型的能力再强，也需要一层运行时来管理它何时说、何时停、何时重新开始，以及当前任务应该激活哪一组能力。

在今年 7 月的 WAIC 2026 世界人工智能大会上，上海期智研究院 OpenSQZ 团队展示了基于面壁智能 MiniCPM-o 4.5 开发的 OpenSQZ Glass，让低成本第一视角眼镜与端侧计算设备形成实时全模态交互闭环。在 WAIC 之后，团队进一步开发 OpenSQZ Omni Harness 让端侧全模态模型在眼镜系统里更可控、定制和流畅：它不替代 MiniCPM-o，而是在模型之外增加播报控制、Session 管理、Skill 路由和视觉旁路，使端侧全模态 AI 眼镜从「能够持续交互」，继续走向「可以被控制、被定制和被扩展」。

OpenSQZ Glass 使用了 MiniCPM-o 4.5 作为端侧全模态模型底座。将视觉理解、语音理解与语音生成融入统一的端到端模型。其全双工多模态流式交互能力，让模型能够在持续接收实时视频和音频的同时生成文本与语音，实现「边看、边听、边说」，并在交互过程中感知用户插话与环境变化。在主动感知与交互方面，模型可以根据对实时场景的持续理解主动发起提醒或评论，无需每次都等待用户提出新的问题。这些能力结合本地部署，为 AI 眼镜的连续环境理解、实时讲解与自然语音交互提供了基础。OpenSQZ Omni Harness 则在此基础上进一步管理播报时机、会话边界与专项任务，让模型能力更好地适配第一视角下的实际使用需求。

在 WAIC 的典型场景演示中，OpenSQZ Glass 展示了 MiniCPM-o 持续接收眼镜画面、边看边说，以及根据场景变化主动提醒的能力。

边看边说｜持续接收眼镜画面，并进行语音回应

主动提醒｜根据用户关注的场景变化，主动发起提醒。

从 WAIC 样机到 UbiComp/ISWC 可复现研究工件

WAIC 2026 展示的 OpenSQZ Glass 采用「感知—计算分离」架构：眼镜负责第一视角图像与语音采集，附近 PC 或边缘主机运行 MiniCPM-o，完成模型推理与语音生成。在模型与相关服务均完成本地部署的配置下，数据通过本地网络传输，无需上传云端。

OpenSQZ Glass 将 3D 打印硬件与本地交互链路进一步整理为 OmniGlass-Edge，并被 UbiComp/ISWC 2026 Posters & Demos 接收。系统使用 ESP32-S3 与 OV5640-AF 构成感知前端，3D 打印镜架为摄像头、主控板、电源和走线预留空间，保留外部可访问的 Type-C 接口，并为 ToF、红外和 IMU 等后续传感器预留扩展位置。

OmniGlass-Edge 强调「可打印、可装配、可复现和可继续修改」。仓库已经开放可编辑镜架文件、打印摆盘、物料清单和中英文制作教程，并整合采集固件、本地主机桥接与后端运行代码。开发者可以在已有链路上替换硬件组件、调整模型后端，或验证新的交互机制。

这套研究工件既提供可复现的硬件基础，也支持记录和观察本地交互过程。OpenSQZ Omni Harness 在此基础上进一步管理任务、会话与输出，使不同交互机制能够在同一平台上继续迭代。

图1｜从 WAIC 原型、OmniGlass-Edge 到 OpenSQZ Omni Harness 与 MiniCPM-o 4.5 的演进图

架构升级：在端侧模型之外增加一层 Harness

MiniCPM-o 为 AI 眼镜提供视觉、语音和语言的统一理解与生成能力。但模型能力并不自动等于完整的可穿戴交互能力。模型正在播报时，Runtime 需要响应用户的暂停与恢复指令；普通聊天切换到找物或读字时，系统需要建立新的会话边界，避免沿用旧任务的上下文；接入 YOLO 等轻量视觉模型时，也需要独立的调度和扩展接口。对于基于现有模型能力的任务，开发者可以通过配置与专项提示词进行扩展，无需重新训练模型或改写整个主程序。

OpenSQZ Omni Harness 被设计为模型与第一视角设备之间的运行时控制层，负责这些操作的识别与执行。MiniCPM-o 负责理解、推理和生成，Harness管理任务路由、会话生命周期与输出控制。从实现职责看，这一层分为五部分：

语音输出控制（Speech Controller）：执行暂停与继续，管理待输出音频，并在任务切换期间阻止旧会话的回答继续输出。

会话管理（Session Controller）：结束旧会话、等待后端清理确认，并以新的任务提示词建立会话，隔离不同任务的上下文。

意图与任务路由（Intent / Skill Router）：通过本地 FunASR 获取语音转写，匹配可配置口令，并提取找物目标等任务参数。

任务加载（Skill Loader）：为对应会话加载专项 System Prompt，明确任务目标、关注信息和回答方式。

视觉扩展接口：支持接入独立视觉组件。当前 YOLO ONNX 旁路采用 shadow 观测模式，记录检测结果；ESP32 输入链路另有图像质量筛选和基于 PaddleOCR 的文字方向判断。

一次典型任务切换中，用户音频同时进入模型输入链路与本地 ASR。Harness 匹配到任务口令后，阻止旧会话继续输出，完成旧会话清理，再以对应 Skill 的提示词初始化新会话。这一过程保留已加载的模型，通过会话热重置完成任务切换。当前 YOLO 旁路仅用于观测与记录，尚未接入自动回答或播报。

设备接入也可以共用这套 PC 本地后端。除 ESP32 自制眼镜外，OpenSQZ Glass 已支持商业智能眼镜接入，例如通过开发者模式接入乐奇（Rokid）眼镜。开发者可以根据手头的设备选择起点，使用同一套任务与交互控制。

图2｜OpenSQZ Omni Harness 总体架构

更可控、更流畅：让模型能够暂停、继续，也能够重新开始

MiniCPM-o 的全双工能力使模型可以持续接收视觉与语音并进行响应，但「模型能够感知用户插话」与「Runtime 能够明确控制已经生成的语音」并不是同一件事。对于眼镜系统，播报控制需要成为一项独立、可观察的运行时能力。

在当前基于 MiniCPM-o 4.5 的实现中，OpenSQZ Omni Harness 已经可以控制模型自身的 TTS。当用户或系统发出指令时，Harness 可以暂停正在播放的回答，为新任务、系统提示或专用模型结果让出播报窗口；之后再从原有音频位置继续播放。用户不必等待较长回答完整结束，也能在任务完成后继续收听先前内容。

除了控制语音，Harness 还要真正清理上一项任务留下的上下文。当前 MiniCPM-o 4.5 链路区分三种恢复方式：(1) 「软恢复 (Soft Session Reset)」：只解除输出拦截，仍保留原 Session 与 KV；(2) 「冷恢复 (Cold Session Reset)」：会完整重建模型链路；(3) 「热恢复 (Hot Session Reset)」：更换 Session ID、清空 KV，并通过 duplex_cleanup 进行轻量清理，而不重新加载整个模型。OpenSQZ Glass Harness 选择热恢复的方式，这为每项任务建立了明确边界。用户从普通聊天进入找物时，系统创建新的找物 Session 并加载专项 System Prompt；当用户想回到和 omni 聊天的对话时，Harness 可以通过相关的口令再建立新的通用 Session。这样，任务开始、结束和恢复由此成为可检查的 Runtime 事件，而不只是一句软性的 Prompt 约束。

下面是流畅的OpenSQZ Omni Harness第一视角演示效果：

本文含视频，请前往微信公众号原文观看。

更定制：每个人都可以为眼镜编写自己的 Skill

一副面向真实用户的 AI 眼镜，不应该只有开发者预先写死的少数功能而是提供更多定制化的选项：有人希望寻找物品，有人希望阅读药盒或快递标签，也有人可能需要展品讲解、设备巡检或商品识别。不同场景需要不同的触发方式、回答风格和安全边界，但这并不一定需要重新训练模型。

OpenSQZ Omni Harness 将专项任务组织为可配置的 Skills：阅读文字、寻找物品、描述场景、室内领路和普通对话，分别使用对应的任务提示词，明确模型的目标、关注点与回答方式；触发口令与提示词均向开发者开放。

Skill 配置统一写在 YAML 中，专项 System Prompt 由独立文件维护。配置将触发规则、任务参数和会话行为关联起来，例如找物任务既需要识别口令，也需要提取用户指定的物体名称。相关文件组织如下：

extensions/assistive_harness/├── config/│ └── skills.example.yaml # 任务声明与运行配置示例└── prompts/ ├── find_object_zh.txt # 找物任务 System Prompt ├── read_text_zh.txt # 文字阅读 System Prompt └── ...```

例如，当用户说「帮我找一下水杯」「开始读字」或「回到普通聊天」时，本地的 ASR 首先转写语音，Harness 随后在口令表中匹配任务。Session Controller 清理旧上下文，Skill Loader 将新的 System Prompt 写入新 Session；如果 Skill 绑定了专用模型，CV Sidecar Controller 也会同步启动旁路。

这一机制的重点是有效果、低门槛和可解释。我们在实际测试时发现特定任务的 system prompt 或 skill 可以显著提升系统的表现。此外，开发者还可以直接看到哪些词会触发任务、模型受到哪些约束、何时调用外部能力，以及如何退出。对于停止播报、重新开始和返回普通聊天等关键操作，确定性关键词也比完全依赖模型自由理解更容易调试和复现。

由此，开发者可以复制一个 Skill 目录，修改口令词和 System Prompt，形成适合自己的任务组合。不需要外部模型的 Skill 无需重新训练 MiniCPM-o；需要新 CV 模型或传感器时，则可以在统一接口下增加 Adapter，而不必改写整条交互链路。

更安全：为专项任务增加可扩展的视觉旁路

MiniCPM-o 统一承担场景理解与自然交互，眼镜系统还需要处理两个具体问题：送入模型的画面是否清晰，以及当前任务是否需要专用视觉组件补充信息。OpenSQZ Glass 将图像质量筛选与视觉旁路接口结合起来，分别处理输入质量和任务所需的视觉信息。

首先是适配眼镜采集形态，改善送入模型的画面。摄像头随头部运动，转头、走动或观察不同距离的物体，都可能带来晃动、运动模糊和对焦变化。MiniCPM-o 按秒接收输入，系统利用这一秒内的多张候选画面，由 PC 端进行质量判断，并与 ESP32 摄像头的自动对焦控制配合，优先将更清晰的画面送入模型。

图像筛选还引入基于 PaddleOCR 的轻量文字方向分类器，用于判断画面中文字的方向。质量判断和方向信息使筛选过程有据可查，也为后续专用组件处理画面提供依据。下方演示展示了候选画面的选取、质量判断与拒绝过程。

图 3｜图像漏斗演示：候选画面的质量判断

在输入处理之后，视觉旁路为专项任务提供另一条可检查的信息通道。目标位置、文字区域等信息，可以由专用组件以结构化结果输出。Harness 预留 CV/OCR 接口，使开发者能够按任务接入目标检测、文字识别等能力，记录结果来源、置信度与位置等信息。

图像筛选与视觉旁路可以沿这些接口协同：前者改善输入画面，后者补充任务所需的专用结果；当后续组件需要画面质量、文字方向或检测置信度时，运行时可以据此设计处理条件和失败反馈，并记录对应画面与处理结果，便于验证和复查。

一次连续交互，从聊天切换到专项任务再回到聊天

例如，用户正在让眼镜描述环境，MiniCPM-o 已经开始回答。此时用户说「暂停」，Harness 暂停模型回应，但保留当前会话与上下文，模型继续倾听。用户可以继续表达需求，并通过恢复口令在原会话中继续交流。

当用户转而说「帮我找一下水杯」时，本地 FunASR 转写语音，Harness 识别找物口令并提取目标，执行 Hot Session Reset，加载 find_object Skill 的 System Prompt，建立新的找物会话。模型根据当前画面和任务提示词寻找指定物体；如该 Skill 配置了视觉旁路，系统也可以同步开展相应观测，记录专用组件的结果。

随后，用户请求阅读杯子上的文字。Harness 再次切换会话，进入 read_text Skill，由 MiniCPM-o 在文字阅读提示词下执行任务。完成后，用户说「回到普通聊天」，系统清理专项任务上下文，重新建立通用会话。

在这个过程中，模型无需完整重新加载，用户也无需打开菜单逐层选择功能。普通聊天、找物和读字由同一套设备与本地后端完成，不同任务使用各自的会话与专项提示词。对用户而言，这是一次连续的语音交互；对开发者而言，每次切换都有明确的触发规则、任务参数、会话状态和日志记录。

这也对应本次升级的三个目标：（1）通过会话与交互控制管理任务切换，（2）通过开放式 Skills 定制任务，（3）通过图像漏斗与视觉扩展接口处理输入质量和专用视觉信息。暂停后继续交流沿用原上下文，切换任务则建立新的上下文，两类操作在同一套控制机制下分别执行。

图 4｜任务模式与双工交互控制。暂停与继续沿用同一会话；切换任务时，旧会话上下文由新任务上下文替换

关于联合团队与开源的下一步

上海期智研究院 OpenSQZ 开源平台致力于构建开放、可复现和可持续演进的技术生态。OpenSQZ Glass 是平台面向第一视角端侧全模态交互的开源研究项目，相关硬件、运行时、实验工具和研究材料将持续在公开仓库中更新。

OpenSQZ Omni Harness 的代码、示例 Skills、3D 打印硬件和复现文档将继续统一维护在 OpenSQZ Glass 仓库中。正式版本计划包括 Harness 使用说明、可编辑口令词与 System Prompt 示例、CV Sidecar 接口、已验证的上游版本信息，以及用于复查任务切换过程的日志和演示材料。

从「感知—计算分离」，到 OmniGlass-Edge 的可复现 3D 打印硬件，再到 OpenSQZ Omni Harness，OpenSQZ Glass 希望提供的不只是一副预设功能的 AI 眼镜，而是一个能够持续接入新模型、新任务和新传感器的开放端侧平台。MiniCPM-o 4.5 提供新一代端侧全模态智能底座，Harness 则让这份智能在第一视角世界中拥有更清晰的控制边界和扩展方式。

当 AI 的交互入口从屏幕走向真实环境，决定体验的不只是模型回答得多聪明，还包括系统能否及时停下来、切换到正确任务、使用合适的工具，并在不确定时给出受控反馈。OpenSQZ Glass 将继续沿着这条路线推进：让端侧全模态模型不仅会看、会听、会说，也能够被控制、被定制，并由开源社区共同扩展。

➤ OpenSQZ Glass 开源仓库

🔗 https://github.com/OpenSQZ/OpenGlass