AI Jarvis（AI 贾维斯）是一个面向 Windows 的桌宠式助手。它用本地运行的 MiniCPM-o 4.5 一直看着桌面画面、听着系统播放的声音，再按当前场景用桌宠气泡、游戏弹幕或课程笔记帮你一把。屏幕和音频的感知、核心推理都在本机完成，数据默认不上传云端。

功能

能力	说明
桌面陪伴	结合实时屏幕和系统声音判断你在做什么，在合适的时候给一句提醒或点评。
主动对话	按 Ctrl+M 在桌宠旁打开对话框，直接问本地模型。
游戏陪伴	识别实时游戏场景，用不挡操作的透明弹幕给提示、做互动；不同游戏可以配不同的陪伴方案。
网课记录	上课时提醒内容，结束后生成 Markdown 课程笔记，包含关键画面和知识点总结。
本地记忆	从稳定的场景感知结果里整理活动时间线和每日总结；原始屏幕画面和音频不写入长期记忆。
日程图	配好兼容的图像生成 API 后，可以把当天总结画成日程图。
隐私模式	双击桌宠暂停或恢复屏幕与音频感知；暂停之后，模型拿不到画面和声音。

与 AI 贾维斯对话

按 Ctrl+M 打开或关闭对话窗口，AI 贾维斯会看着当前画面跟你聊。

可视化日程

日程图把当天的活动时间线整理成一张图，方便回头翻。这个功能默认关闭，只有你自己配好图像生成 API 并主动生成时才会联网。

工作原理

项目用的是 MiniCPM-o 4.5 的 GGUF 模型，语言模型（LLM）、视觉模型（VPM）和音频模型（APM）分别处理文字、屏幕和声音。

模型大约每秒接收一帧画面和最近一秒的系统音频，然后持续做选择：

• LISTEN：继续看，不打扰你；
• SPEAK：说一句有当前画面或声音依据的短话。

这不是传统的“一问一答”。输入流一直在往前走，模型可以等到真该开口的时候再说话。

结构化场景判断和全双工对话用的是两套彼此隔离的模型上下文：

Plain Text

DXGI 屏幕画面 + WASAPI 系统音频
                 |
                 +-- 结构化感知上下文 -> 场景 / 游戏 / 课程 / 记忆
                 |
                 +-- 全双工上下文     -> LISTEN / SPEAK -> 模型回复

当前版本以文字交互为主，没有语音播报，也不能实时语音对话；游戏陪伴只负责观察、提示和互动，不会直接操作游戏，也不会替你打。

隐私与数据

• 即时推理： 屏幕画面和系统音频只用于当前这一次推理，正常运行时不会长期保存原始采集数据。
• 课程记录： 课程模式只保存选中的关键画面、整理后的知识点和画面说明。
• 可选联网： 只有你主动生成可视化日程时，当日回顾和项目角色参考图才会发给你配置的图像 API。

快速开始

环境要求

• 64 位 Windows 10/11；
• 支持 AVX2 的 x64 处理器；
• 至少 12 GiB 可用磁盘空间；
• 首次启动能联网，用于下载约 6.32 GiB 的模型文件。

用安装包（推荐）

1. 从项目发布页下载 AI-Jarvis-Setup-0.1.2-x64.exe。
2. 运行安装程序，装完。
3. 启动 AI Jarvis，点“启动 AI 贾维斯”。

安装包里已经带好 Python 后端和编译好的 C++ 推理运行时，不用再装 Python、Git、CMake、Visual Studio 或 CUDA。模型权重不在安装包内：首次启动会自动下载，支持断点续传和校验，下完就能直接跑。

GPU 加速说明

安装版会优先用随包携带的 NVIDIA CUDA 推理运行时，再按可用显存决定放多少层到 GPU 上。CUDA 初始化失败，或者机器上没有兼容的 NVIDIA 显卡时，程序会自动退回 CPU，并通过桌宠提示你；这时文字生成和持续感知都会明显变慢。

启动不了怎么办

一般装完直接启动就行。只有启动失败、CUDA 退回 CPU，或者日志明确说缺 DLL 时，再看下面的排查步骤。

所有 Windows 用户

1. 确认系统是 64 位 Windows 10/11，处理器支持 AVX2，磁盘至少留 12 GiB。
2. 装微软官方的 Visual C++ 2015-2022 x64 运行库。
3. 装完重启 Windows，再启动 AI Jarvis。
4. 首次启动要下载约 6.32 GiB 的模型，存在 %LOCALAPPDATA%\AIJarvis\models\MiniCPM-o-4_5-gguf，下载和校验期间别强行结束程序。

NVIDIA 显卡用户

1. 从 NVIDIA 驱动下载页 或 NVIDIA App 装最新驱动，装完重启 Windows。
2. 打开 PowerShell 运行 nvidia-smi。能看到显卡名称、驱动版本和显存容量，说明驱动正常；命令不存在或报错，先修驱动。
3. 再启动 AI Jarvis。程序会先试 CUDA，成功时运行日志里会出现“NVIDIA CUDA 加速已启用”。
4. 如果日志提示缺 cudart64_*.dll、cublas64_*.dll，或者 CUDA 初始化失败，可以装 CUDA Toolkit 13.x（默认装 Runtime 和 Development 组件即可），装完重启 Windows。
5. 如果 CUDA 还是起不来，程序会自动改用 CPU，并用桌宠气泡提示。功能照常可用，但首帧感知和文字生成可能慢几十秒到几分钟。

RTX 50 系列建议用 CUDA 13.x 和最新驱动。8 GiB 显存不要强行全量加载模型，AI Jarvis 会按当前可用显存自动决定 GPU 层数。浏览器、游戏或其他 AI 程序占着大量显存时，先关掉再试。

怎么确认真的用上了 GPU

1. 启动 AI Jarvis，等界面显示“环境感知已就绪”。
2. 在任务管理器的“性能 -> GPU”里看“CUDA”计算图和“专用 GPU 内存”，别只看默认的“3D”曲线。
3. 也可以在运行期间执行 nvidia-smi。如果只有 CPU 使用率升高、GPU 显存没怎么涨，桌宠还显示 CPU 提示，那就是退回 CPU 了。

一直停在“正在检查本地模型”

1. 首次下载时先等模型下载和哈希校验跑完；机械硬盘或安全软件的实时扫描会明显拖长校验时间。
2. 确认 %LOCALAPPDATA%\AIJarvis 所在磁盘至少还剩 8 GiB。
3. 完全退出 AI Jarvis，在任务管理器里确认没有残留的 AI Jarvis、jarvis-launcher 或 jarvis-native-worker 进程，然后重新启动。
4. 看 %LOCALAPPDATA%\AIJarvis\runtime\native-worker.log，常见情况这样处理：

日志或现象	处理方式
CUDA initialization failed、显存不足	关掉占显存的程序再重启；还是失败就让程序走 CPU
缺少 cudart / cublas DLL	更新 NVIDIA 驱动，必要时装 CUDA Toolkit 13.x
缺少 VCRUNTIME140.dll / MSVCP140.dll	装 Visual C++ 2015-2022 x64 运行库
模型校验失败	退出程序，删掉不完整的模型目录，重新下载
日志长时间停在视觉或音频编码	通常是退回了 CPU；先修 CUDA，或者等这次推理跑完

从源码启动

源码运行需要 Python 3.12+、Git、CMake 3.24+、Visual Studio C++ Build Tools、Node.js 当前 LTS 版本和 npm。构建 Windows 安装包还需要 CUDA Toolkit 13.1 或更新版本；CUDA 运行库会被复制进安装包，最终用户不用装 Toolkit。

在项目根目录执行：

PowerShell

cd desktop
npm run deps:install
cd ..
.\start-real.cmd

桌面端打开后，点“启动 AI 贾维斯”。服务就绪后可以拖着桌宠换位置，按 Ctrl+M 开关对话框。

开发与构建

构建 Windows 安装包

发布构建需要 Python 和 C++ 工具链。下面这组命令会构建静态 MSVC/CPU 原生运行时、冻结 Python 后端，再生成 NSIS 安装程序：

PowerShell

cd desktop
npm run deps:install
npm run build

产物在 desktop/dist/AI-Jarvis-Setup-<版本>-x64.exe。发布构建不会把源码、编译器或本地运行数据打进安装包。

构建完成后可以跑一次隔离安装验证。它会把程序装到临时目录，清掉 Python、虚拟环境和构建工具相关的环境变量，再检查自包含运行时，最后自动卸载：

PowerShell

npm run verify:installer

如果要连首次模型下载、原生推理进程和后端健康状态一起验证：

PowerShell

npm run verify:installer -- -FullStartup

项目结构

Plain Text

AIJarvis/
├── desktop/             Electron 桌面端、桌宠、弹幕与系统托盘
├── src/jarvis_backend/  FastAPI 编排、场景策略、课程与本地记忆
├── native/              C++20 屏幕/音频采集、调度与本地推理
├── config/              默认配置
├── docs/                项目文档与展示图片
└── tests/               Python 测试

架构、数据流和能力边界的完整说明见项目说明。

相关链接

• GitHub：LYiHub/pub-local-jarvis
• 本地推理运行时：tc-mb/llama.cpp-omni

项目作者：LYiHub。本地推理基于 tc-mb/llama.cpp-omni（在 llama.cpp / ggml 上做 MiniCPM-o GGUF 推理，项目锁定了上游版本，以关闭语音输出的方式接入 LLM、VPM 和 APM），模型能力来自 OpenBMB/MiniCPM-V 的 MiniCPM-o 4.5。源代码采用 MIT License。