跳到主要内容

常见问题

这里汇总 OpenBMB 模型选型、部署、显存与社区使用中的高频问题。 遇到具体报错时,建议同时准备模型版本、运行环境、硬件配置、启动命令和完整日志,便于快速定位。

模型与资料​

我应该从哪个模型开始?​

先按任务模态和设备资源选择:

  • 文本生成、代码与工具调用:从 MiniCPM 文本系列开始。
  • 图像、视频理解:选择 MiniCPM-V 多模态系列。
  • 视觉、语音、文本实时交互:查看 MiniCPM-o 全模态系列。
  • 语音生成与音色克隆:查看 VoxCPM 语音系列。

不同版本的参数量、上下文长度、能力特点及部署入口,可在 全系列产品图鉴 中对比。

在哪里查看部署和微调教程?​

进入 文档中心,按 MiniCPM 文本、MiniCPM-V、MiniCPM-o、VoxCPM 或 PilotDeck 分类查找。全系列产品图鉴中也提供了对应的部署与微调入口。

想先体验一个完整应用,有推荐吗?​

可以从 MiniCPM Desk Pet 开始。该实践包含系统要求、下载安装、首次启动、模型管理与已知限制,适合快速体验本地模型应用。


部署与显存​

如何判断自己的设备能否运行某个模型?​

重点查看模型参数量、精度或量化方式、上下文长度,以及推理框架的额外开销。可先查阅 显存与性能 页面中的显存估算公式、模型速查表和设备适配建议。

简化估算:总推理显存 ≈ 模型权重显存 + KV Cache + 运行时开销。长上下文、多并发和多模态输入都会增加实际占用,建议预留余量。

显存不足或出现 OOM,应该先做什么?​

  1. 缩短上下文长度、降低批大小或并发数。
  2. 改用 INT8、INT4、AWQ、GPTQ 或 GGUF 等量化版本。
  3. 选择参数量更小的模型,或启用 CPU / GPU 混合卸载。
  4. 关闭其他占用显存的进程,并确认实际可用显存。
  5. 仍无法解决时,记录峰值占用、启动参数和完整报错后再求助。

为什么模型支持很长的上下文,但我的设备跑不起来?​

“支持的最大上下文”不等于所有设备都能直接使用。上下文越长,KV Cache 通常越大,同时还会增加计算耗时。实际可用长度取决于模型架构、KV 头数、精度、并发数和设备内存。建议从较短上下文开始,逐步增加并观察显存与速度。

量化会带来什么影响?​

量化通常可以显著降低显存和磁盘占用,并提高部分设备上的推理可用性;代价可能是生成质量、速度或框架兼容性的变化。优先使用目标模型官方提供或社区广泛验证的量化版本,并用自己的真实任务做效果评测。


排障与社区​

下载模型很慢或中途失败怎么办?​

  • 确认磁盘空间、网络连接和下载目录权限。
  • 检查仓库页面是否提供镜像、断点续传或手动下载说明。
  • 手动下载时,确认文件完整且目录结构符合教程要求。
  • 不要只提供“下载失败”,同时附上下载方式、目标仓库、文件名和完整错误信息。

安装或启动失败时,提问需要带哪些信息?​

信息示例内容
模型与版本模型名称、权重或量化版本、代码提交或发布版本
运行环境操作系统、Python、CUDA、PyTorch 及推理框架版本
硬件配置CPU、GPU 型号、显存与系统内存
复现步骤安装方式、启动命令、输入样例和最小复现代码
错误信息从异常开始到结束的完整日志,不只截取最后一行

在哪里查看社区案例或寻求交流?​

可在 开发者精选 查看真实项目与技术文章;知识库首页的“加入社区”区域提供 MiniCPM、MiniCPM-V、VoxCPM 和 PilotDeck 对应交流群入口。

如何贡献案例、教程或问题修复?​

欢迎分享完整项目、部署脚本、复现记录、benchmark、显存优化、失败案例或业务落地经验。投稿前建议写清适用模型、环境版本、复现步骤、结果与限制,方便社区验证和复用。

没有找到答案?​

如果上面的常见问题没有覆盖你的情况,欢迎提交一个开放问题。我们会定期整理并作答,具有共性的问题也可能补充到本知识库中。

提交你的问题(AMA|OpenBMB 开源社区)