OpenBMB 开源社区知识库上线:从选模型到跑通应用,一站找齐
从选对模型,到真正跑起来,开发者需要跨过的不只是一次下载。
模型能力是否匹配任务、设备能否承载、部署问题如何定位、应用路径是否已有实践 —— 这些关键答案,过去常常散落在模型仓库、技术文档与社区讨论之中。
现在,我们将它们汇集到了一起。
OpenBMB 开源社区知识库正式上线。
从模型资料、部署微调、显存性能,到开发者实践与常见问题,为每一次探索提供更清晰的起点。
从认识模型开始,找到属于自己的 MiniCPM
MiniCPM 已经形成覆盖文本、多模态、全模态和语音的模型体系。面对不同参数规模、输入模态和部署方式,新开发者首先需要解决的往往不是“怎么运行”,而是“应该选择哪一个”。
在「社区技术资料」中,我们为 MiniCPM 各模型与产品线整理了清晰、可直接上手的使用指南,覆盖:
MiniCPM 文本模型
MiniCPM-V 多模态模型
MiniCPM-o 全模态模型
VoxCPM 语音模型
Pilotdeck 智能体
你可以从任务、设备和交互方式出发,快速了解不同模型分别擅长什么、适合部署在哪里,又能用来构建怎样的应用。
跑得起来,也要算得明白
模型选好之后,设备能不能跑、能够跑到什么程度,往往取决于显存与性能。
「显存与性能」分区整理了各模型的显存速查表、设备适配参考,以及模型权重、KV Cache、上下文长度与推理显存之间的关系。
在这里,你可以快速判断:
不同精度和量化版本大约需要多少显存;
自己的设备适合运行哪个模型;
上下文长度为什么会影响显存占用;
遇到 OOM 时,可以优先调整哪些参数。
不必每次都从反复试错开始,先算清资源,再选择更合适的部署方案。
不止有教程,还有真实世界里的 MiniCPM
一个模型真正有意思的地方,永远在于它被开发者拿去做了什么。
因此,知识库也会持续收录来自社区的应用案例、部署实践和工程经验。例如:
用 Rust 为 1B 端侧模型构建可回放、可评测的本地控制链路;
在 N150 CPU 的 NAS 上运行本地 AI;
将 MiniCPM5-1B 微调成具有特定角色和交互方式的端侧模型,并部署到 Android 手机上。
这些内容不只是成果展示,也会尽可能保留模型选择、技术路径、运行环境和踩坑过程,让后来者能够真正复现和继续往前走。
遇到问题,可以先来这里找答案
围绕模型选择、下载、部署、显存、量化和长上下文,知识库已经整理了一套常见问题入口。
如果你没有找到答案,也可以进入对应的开发者交流群继续讨论,或者在知识库里留下你的问题,我们会在 3 个工作日内进行答复。
📌 提问小贴士:
建议同时提供模型版本、运行环境、GPU 与显存、启动命令、完整报错和最小复现步骤。信息越完整,社区伙伴就越容易帮你快速定位问题。
这个知识库,也期待由你共同完善
我们希望,这个知识库不仅由 OpenBMB 建设,也由所有使用 MiniCPM 的开发者共同完善。
你跑通的一个应用、写下的一份部署记录、解决的一个兼容问题,甚至一次没有成功的尝试,都可能正是其他开发者正在寻找的答案。
因此,我们也在通过 MiniCPM 火种计划 和 MiniCPM 全球大使计划,寻找三类同行者:
用 MiniCPM 构建真实应用的技术实践者;
愿意组织 Meetup、Workshop 和黑客松的社区建设者;
认同“把大模型放到离用户最近的地方”,愿意连接开发者与开源社区的使命倡导者。
知识库会持续更新模型资料、技术教程、性能数据、开发者案例、活动信息和常见问题,也欢迎大家带着代码、项目、Benchmark、复现记录、部署脚本和奇思妙想加入。
从这里开始,把模型真正跑起来
如果你刚刚认识 MiniCPM,可以把它当作一张上手地图;
如果你正在进行部署和应用开发,可以把它当作一份随时可查的工程手册;
如果你已经跑通了自己的项目,也欢迎把经验留在这里,成为后来者继续前进的一束火种。
We love developers.
这里不只存放答案,也期待记录每一个正在发生的创造。
➤ 知识库入口
🔗 https://modelbest.feishu.cn/wiki/UtWxwcERfiRIpIkBOjuc3h9tn1D