MiniCPM-OCR
MiniCPM-V 多模态系列
MiniCPM-OCR 1.0
根据推理后端选择权重格式,量化权重也需要配套支持该模型架构的后端版本。
模型权重
| 格式 | HuggingFace | ModelScope |
|---|---|---|
| BF16 | MiniCPM-OCR-1.0 | MiniCPM-OCR-1.0 |
| GGUF | MiniCPM-OCR-1.0-gguf | MiniCPM-OCR-1.0-gguf |
| AWQ | MiniCPM-OCR-1.0-AWQ | MiniCPM-OCR-1.0-AWQ |
| GPTQ | MiniCPM-OCR-1.0-GPTQ | MiniCPM-OCR-1.0-GPTQ |
DSpark
DSpark 是投机解码加速方案,需要额外的草稿模型。草稿模型应与识别模型的发布版本、后端格式配套。
| 格式 | HuggingFace | ModelScope |
|---|---|---|
| BF16 | MiniCPM-OCR-1.0-DSpark | MiniCPM-OCR-1.0-DSpark |
| GGUF | MiniCPM-OCR-1.0-DSpark-gguf | MiniCPM-OCR-1.0-DSpark-gguf |
BF16 + DSpark 的服务启动命令见部署,GGUF 的运行步骤见 llama.cpp 指南。切换格式后应使用实际文档检查识别质量与吞吐。
MiniCPM-OCR Jev
模型权重
| 格式 | HuggingFace | ModelScope |
|---|---|---|
| BF16 | MiniCPM-OCR-Jev | MiniCPM-OCR-Jev |
| GGUF | MiniCPM-OCR-Jev-gguf | MiniCPM-OCR-Jev-gguf |
| AWQ | MiniCPM-OCR-Jev-AWQ | MiniCPM-OCR-Jev-AWQ |
| GPTQ | MiniCPM-OCR-Jev-GPTQ | MiniCPM-OCR-Jev-GPTQ |