MiniCPM-o 4.5

MiniCPM-o 全模态系列

把 PyTorch 权重转换为 GGUF 并做 INT4 量化，换取更低的显存与存储占用，产出可直接用于 llama.cpp 或 Ollama 本地运行。

全模态模型的转换由仓库内的 tools/omni/convert/run_convert.sh 一次性完成（视觉、语音与语言三部分），再用 llama-quantize 做 Q4_K_M 量化。源站目前仅提供 GGUF 一种量化路径。

GGUF

本指南将引导您完成将 MiniCPM-o 4.5 PyTorch 模型转换为 GGUF 格式并进行量化的过程。

本指南涉及的模型需要基于 llama.cpp/ollama 使用。

1. 下载 PyTorch 模型

首先，请从以下任一来源获取原始的 PyTorch 模型文件：

• HuggingFace: https://huggingface.co/openbmb/MiniCPM-o-4_5
• 魔搭社区: https://modelscope.cn/models/OpenBMB/MiniCPM-o-4_5

2. 将 PyTorch 模型转换为 GGUF 格式

请执行以下脚本，以完成模型结构调整和模型转换。

Bash

bash ./tools/omni/convert/run_convert.sh

# 需要修改脚本中的路径：
MODEL_DIR="/path/to/MiniCPM-o-4_5"  # 源模型
LLAMACPP_DIR="/path/to/llamacpp"    # llamacpp 目录
OUTPUT_DIR="${CONVERT_DIR}/gguf"    # 输出目录
PYTHON="/path/to/python"            # Python 路径

3. 执行 INT4 量化

转换完成后，使用 llama-quantize 工具对 F16 精度的 GGUF 模型进行 INT4 量化。

Bash

./llama-quantize ./tools/omni/convert/gguf/Llm-8.2B-F16.gguf ./tools/omni/convert/gguf/Llm-8.2B-Q4_K_M.gguf Q4_K_M