跳到主要内容
返回开发者精选

榨干 NAS!接入 WorkBuddy,N150 CPU 跑本地 AI,分享一些真实用法

作者:可爱的小Cherry模型:MiniCPM5-1B

N150 CPU 跑本地 AI,分享一些真实用法和踩坑经验

你一定和我一样,经常会思考现如今的 NAS 到底还能怎么玩。虚拟机、docker、影音、相册,这些几年前风靡的东西,现在似乎都无让你提起精神来。 你的日常似乎只剩下 AI 资讯、NAS 自媒体,每天看看有什么新工具、新玩法,接着打开 NAS 操作页面随便点几下,盯会路由器网络监控。 最后索然无味,关掉浏览器?我懂,我也经历过。但我想说的是,并不是 NAS 不好玩了,而是你、我,都从小白变成了 NAS 高手,似乎已经没有什么东西能让你我看得上,去折腾了。

这几天,我跑了一些真实的 AI + NAS 的场景,包括有 知识库、本地模型、MCP、Agent 协作 等等, 竟发现 AI + NAS 的几个组合,可以创造出很有深度的用法。而且基本不调性能,哪怕是最常见的 N150 处理器也可以做到。

威联通 Qu605-N150-16G 不仅拥有 Qts/Quts Hero 双系统,而且内置了很多 AI 应用,搭配 N150 处理器 和 16G DDR5 内存,可以完成很多 AI + NAS 的使用场景。

一、N150 轻松跑的本地 LLMs 和 RAG​

经常有粉丝会问我,NAS 到底可以跑哪些本地模型,用来作向量检索和 LLMs 性能有几何。

我实际跑了一下。MiniCPM5-1b 小钢炮,内存占用不超过 2G。作为 ollama 本地模型接入 CherryStudio 跑,首字时延 7430ms,每秒 16 tokens。

图片展示了在CherryStudio中接入ollama本地模型的界面。左侧为模型列表,选中“默认助手”;右侧是模型配置界面,显示“minicpm5-1b-qlb”版本,模块有“go.mod”“go get”等。下方有“我这要输入问题,按 Enter 发送”提示,以及输入框和发送按钮。右下角显示“首字时延7400 ms”“每秒16 tokens”等信息。该图与文档中介绍ollama本地模型接入CherryStudio跑本地LLMs和RAG的内容相关,直观呈现了��操作界面。

威联通 NAS 内置有一个 Container Station 容器工作站,专门用来跑 docker 应用。

部署方式很简单,本地跑一个 ollama 容器,然后将 MiniCPM5-1b 小钢炮 接入 ollama。除了文本LLMs 之外,还可以加入一个 bge-m3-q4 的 Embedding 模型。

图片展示了Container Station中创建应用程序的界面。左侧导航栏选中“Application”选项。右侧是“Create Application”窗口,显示了使用Docker Compose部署多容器应用的配置界面,包括Application name(ollama)、YAML code区域(包含ollama服务配置等代码)、以及Create和Cancel按钮。该图片与文档中将docker-compose.yaml文件填入Container Station应用程序中部署的内容相关,直观呈现了操作步骤。

将下方的 docker-compose.yaml 文件填入 Container Station 的应用程序中部署。

YAML
services:
ollama:
image: docker.1ms.run/ollama/ollama
container_name: ollama
ports:
- "11434:11434"
volumes:
- ollama:/root/.ollama
- /share/Container/ai/models:/models:ro
- /share/Container/ai/Modelfiles:/Modelfiles:ro
environment:
- OLLAMA_KEEP_ALIVE=-1
restart: unless-stopped

chroma:
image: docker.1ms.run/chromadb/chroma:1.5.10.dev92
container_name: rag-chroma
ports:
- "18000:8000"
volumes:
- /share/Container/ai/chroma:/chroma/chroma
environment:
- IS_PERSISTENT=TRUE
- PERSIST_DIRECTORY=/chroma/chroma
- ANONYMIZED_TELEMETRY=FALSE
restart: unless-stopped

volumes:
ollama:

部署的时候,如果你想要限制 ollama 的 CPU/内存 使用量,那么点开下方的「高级配置 - 资源」里进行配置。

容器启动以后,通过 SSH 界面切换到 root 权限,然后分别执行下面指令来注册两个模型到Ollama。

Bash
docker compose exec ollama ollama create minicpm5-1b-q8 -f /Modelfiles/Modelfile-minicpm5

docker compose exec ollama ollama create bge-m3-q4 -f /Modelfiles/Modelfile-bge-m3

回到 Cherry Studio 等第三方模型里,就可以通过部署在威联通的 Ollama 来执行两个模型了。

这是Cherry Studio的设置界面截图,用于对接威联通部署的Ollama服务。界面左侧是包含模型服务、默认模型、显示设置等选项的设置菜单,中间是可添加的模型平台列表,右侧为Ollama的配置区域,已填写Ollama的API密钥、API地址,同时显示了已注册的两个模型bge-m3-q4和minipm5-1b-q8。该界面对应文档中提到的,在容器部署完成后,通过第三方模型工具接入本地部署的Ollama模型的操作环节。

二、把 NAS 接入 WorkBuddy,NAS 又活了​

说完了 N150 NAS 如何跑本地模型。再来说一说如何将 NAS 接入到 WorkBuddy 这个腾讯龙虾里。

大家都知道,Agent 有三大法宝:SKILL、MCP、CLI。

目前 CLI 是一切的基础,SKILL 是经验的总结,而 MCP 则是 Agent 联通万物的标准。

在 WorkBuddy 中,这个 MCP 被叫做连接器,支持自定义。

图片展示的是WorkBuddy软件的“连接器”界面。界面上方有导航栏,显示“专家”等选项。中间部分是连接器列表,包括通达信、乐享知识库、腾讯会议等10个连接器,每个连接器有名称、描述、图标及“+”号。右侧有“+”号标识的“自定义连接器”选项。该图片与上下文紧密相关,上下文提到要给WorkBuddy创建一个授权,此图展示了创建授权时可选择的连接器类型,辅助说明授权创建操作。

回到威联通 Qu605-N150-16G 这里来。威联通是目前唯一一个官方提供了 MCP 服务的 NAS 产品,叫做 MCP Assistant,它内部提供了 NAS状态、用户/组管理、共享文件夹管理、文件管理、Qsirch API 等数十个 MCP Tools,允许外部 Agent 直接操控 NAS 设备。

我们先来给 WorkBuddy 创建一个授权,一般建议选择 Token 模式,并且勾选上对应的权限。

图片展示的是威联通MCP Assistant中创建Credential的界面。界面中“Name”处输入“workbuddy”,“Type”选择“Token”,“User”为“cherry”,“Permissions”下多项权限均勾选。该图片与上下文紧密相关,上下文提到先给WorkBuddy创建一个授权,一般建议选择Token模式并勾选对应权限,此图直观呈现了创建授权时的设置界面及具体操作选项。

创建完成后,点选这个授权右侧的下载,可以获取一个 Configure MCP Host 的配置项,里面包含了威联通 NAS 的 IP、MCP 端口、密钥等等。

图片展示的是WorkBuddy中配置MCP服务的界面。左侧为MCP Assistant的授权界面,右侧是“Use Token to Enable MCP Server”窗口。窗口中“Step 3: Configure MCP Host”部分,有红色箭头指向的“Authorization”字段,提示使用Token模式授权。下方示例代码中,“mcpServers”数组下“QBAP NAS”对象的“url”字段被红色框突出显示,其值为“http://192.168.2.136:8442/ces”。该图片与上下文紧密相关,用于指导用户在WorkBuddy中配置MCP服务时,正确获取并填写相关配置项。

把这段内容直接复制到 WorkBuddy 的自定义 MCP 服务里保存。我们就可以通过网络永久操控这台 NAS。

可以粗粗看一下这些 Tools,一共是 24 个。这里最值得提的其实就是 Qsirch 应用的权限。

威联通不仅是第一个提供 MCP 协议的 NAS,更是第一个把自家应用通过 MCP 权限放出去的NAS,这种开放程度,着实令人惊叹。

具体效果如何,我们回到 WorkBuddy 里构建一个对话。直接问:

查询下威联通 NAS 里现在的文件夹有哪些。

可以看到 WorkBuddy 几乎瞬间就通过 List 工具把共享文件夹的列表打印出来。

云端 API + 本地 Agent + 远端 NAS ,这一套基于 AI 的文件协作系统就这样搭建起来了。

下面再来一个更夸张的。我先是通过 MCP 创建了一个新的管理组账号,然后把账号密码提供个WorkBuddy 作为局域网访问授权。

接着让它帮我干一件事儿:

在我的威联通里搜索一下,有几份一年级的课本。都存在哪里?如果有数学的,想办法给我发一份,有些寸的比较深的,可以用 RAG 检索下看看。

好了,授权 sandbox 外运行。

看结果。WorkBuddy 把 NAS 里所有的一年级课本,一共五份的存储位置全部给了我。并且告诉我数学只有上册没有下册。

然后,然后! 直接在 WorkBuddy 的客户端里,把这份我存在 NAS 里的《数学一年级下册.pdf》发送给了我!我直接就可以打开访问。

夸张吗?我觉得很夸张。


三、依托 NAS 的本地 AI 知识库​

既然外部 Agent 都可以通过威联通 NAS 的 MCP 服务来访问资料。威联通本身是否也提供了相应的服务呢?

有的,包有的朋友,全新的 Qsirch 智能 AI 搜索应用。

但其实我觉得威联通取名取的并不好,因为粗一看你会觉得它就是一个搜索工具么,大不了加一个全文检索。我认为它是一个 NAS 本地知识库,一个采集了 NAS 全部资料的超级个人知识库。

先看表面上的​

Qsirch 支持颜色搜索、图像语义搜索、OCR 文字搜索(多语言)。

内部又支持图片、影片、音乐、文件、PDF、电子邮件等多种类型的分类检索。类型 + 关键词 + 全文检索 的组合,让 Qsirch 一跃成为 Qnap 里最强大的应用之一。

我可以简单的搜索文字名称,来查看有哪些关键词资料。每一份资料你可以看到右侧的智能关键词,比如教科书、义务教育 等等,这些是威联通 NAS Qsirch 应用对其的资料定义。

我也可以通过 图片+自然语言 检索的方式,来搜索所有相关的照片、图片。这些图片支持按日期、

大小、实物类型来进一步细化检索。

还有全文关键词检索,Qnap 利用内置的 RAG ,对每一份文档都建立了索引。所以整个检索过程非常的快,基本是秒级就完成了。

再来看里子​

Qsirch 应用的 RAG 搜索,支持导入云端、本地 LLMs 服务。这里我们选择 OpenAI 兼容的 Provider,就可以自由配置模型种类。

可以选择刚才本地搭建的 Ollama 来提供 LLMs。

也可以选择将云端更强大的 DeepSeek-V4 连接到 NAS 里来,一切都由你做主。

但是比较可惜的是,嵌入式模型还不支持自定义,因此不考虑云端的话,只能使用 Qnap 内置的向量模型。

正戏开始。点击搜索框边上的 RAG 搜索进入里模式 —— NAS 超级个人知识库。

RAG 搜索,其实本质上是一个基于 RAG 数据的智能回答系统,也可以认为是知识库回答系统。 你 NAS 里的资料都被 RAG 检索成了知识信息,存在本地,安全系数满分。然后 LLMs 对话模型,通过 RAG 的索引,来回答你的各种问题。

比如我问:

小学语文一年级下册第一单元的教学内容。

这是一个对全文内容的深度理解。但 LLMs 很快就回答了上来,和教程题纲分毫不差。

而且在知识库的回答最后,还增加了来源展示,提供了具体的信息来源。这就很棒了,你可以知道这些答案究竟是 LLMs 的幻觉,还是的确是从你本地的资料里搜索出来的。

搭建什么本地知识库?NAS 自带的 RAG 检索 + 云端 API 组建的超级知识库,不比第三方的更强大?!

不仅于简单的对话。Qsirch RAG 搜索还提供了一个工作区的概念,很类似我们日常在用的 AgentWorkSpace 。

在这里我们可以导入特定的文件内容,之后所有的问答都会基于这些工作区内的文件资料来回答,

不会串内容。

如果 NAS 是共享的、团队的。根据不同项目组、不同项目进度分配不同的工作区,你的团队知识库又有了。

四、老生常谈的 AI Core​

在见识了威联通 Qu605-N150-16G 本身的 Ollama LLMs 能力、MCP Assistant 服务、Qsirch 超级知识库。

对日常更常用的 AI 相册我反而觉得不那么稀奇了。在 AI 影视方面,威联通提供了一个 AI Core 的应用,就是原来的 Multimedia Console。

在这里,可以配置生产 AI 图像识别,也可以配置 Qsrich 的可检索范围等等。

系统会基于默认的规则来生成缩略图、建立索引,提供格式转换功能。

所有的图片、视频,我们都可以在 QuMagie 这个全新的 AI 相册应用里查看。不仅支持图片,还支持视频的人脸识别、地点、实物检索等等。

写在最后​

NAS 作为我们 7*24 小时不间断开机的设备,是最最最最适合 AI 在本地落地,以及提供服务的产品。

关于 AI+ NAS 的玩法有很多。最早 DeepSeek 刚出的时候就是跑本地模型嘛,拿 NAS 当成 tokens输出机器。但是随着云端 API 越来越强,本地模型越来越弱,这种用有限的性能跑有限的能力,似乎意义并不大。

再后来,云端 API + NAS 本地资料整理的方式又出现了。把 NAS 挂载的 Windows 或者 Linux 上,然后通过 OpenClaw / Hermes 等直连 SSH、读取、操作。方便,但不安全。

而现在,威联通提出了全新的 AI + NAS 用法。NAS 负责存储数据,小型本地隐私模型服务,搭建本地知识库,提供 MCP 服务;外部 Agent 和云端 API 负责在权限内的文件读写、整理;这种将安全和便捷整合起来的模式,似乎更适合我们这些因为数据隐私才选择 NAS 的人。

但不管如何,AI + NAS 这个课题,我认为才刚刚起步。未来一定会有形态各异的 NAS 来提供数不胜数的服务。

项目信息

基于模型
MiniCPM5-1B
作者
可爱的小Cherry