MiniCPM — 轻量高效的端侧多模态模型家族

OA0

OA0 是一个探索 AI 的社区

现在注册

已注册用户请登录

中文 | English

MiniCPM 论文 | MiniCPM Wiki (中文) | MiniCPM-V 仓库 | 加入我们的 Discord 和微信 | 加入我们

[!NOTE]

🏆 2026 稀疏算子加速竞赛 (SOAR) 现已启动！

MiniCPM-SALA 架构只是开始。要充分发挥其潜力，需要深度的系统级协同和跨层编译优化。

OpenBMB 联合 SGLang 和 NVIDIA，诚邀全球极客在专用的 NVIDIA 6000D 环境中，挑战 9B 规模、1M 上下文 推理的极限。

💰 奖金池： >$100,000 美元 (最高奖：$89,000)

🚀 目标： 通过跨层编译优化单批次和多批次性能。

👉 了解更多并注册

更新日志🔥

[2026.02.11] MiniCPM-SALA 发布！这是首个有效融合稀疏注意力与线性注意力、用于百万令牌上下文建模的大规模混合模型。🔥🔥🔥
[2025.09.29] InfLLM-V2 论文发布！ 我们仅用 5B 长文本令牌即可训练稀疏注意力模型。🔥🔥🔥
[2025.09.05] MiniCPM4.1 系列 发布！该系列是带有可训练稀疏注意力的混合推理模型，可在深度推理模式和非推理模式下使用。🔥🔥🔥
[2025.06.06] 发布 MiniCPM4！该模型在保持同规模最优性能的同时，实现了极致的效率提升！在典型端侧芯片上可实现超过 5 倍的生成加速！
[2024.09.05] 我们发布 MiniCPM3-4B！该模型性能超越 Phi-3.5-mini-instruct 和 GPT-3.5-Turbo-0125，并与 Llama3.1-8B-Instruct、Qwen2-7B-Instruct、GLM-4-9B-Chat 等 7B-9B 参数模型相当。
[2024.07.05] 发布 MiniCPM-S-1B！该模型在 FFN 层实现了 87.89% 的平均稀疏度，将 FFN FLOPs 降低了 84%，同时保持了下游任务性能。
[2024.04.11] 发布 MiniCPM-2B-128k、MiniCPM-MoE-8x2B 和 MiniCPM-1B！点击此处阅读我们的技术博客。
[2024.02.01] 发布 MiniCPM-2B！该模型在公开基准测试中表现与 Mistral-7B 相似（在中文、数学和代码能力上表现更佳），整体上优于 Llama2-13B、MPT-30B 和 Falcon-40B 等模型。

模型下载

HuggingFace	ModelScope
MiniCPM-SALA	MiniCPM-SALA
MiniCPM4.1-8B	MiniCPM4.1-8B
MiniCPM4.1-8B-GPTQ	MiniCPM4.1-8B-GPTQ
MiniCPM4.1-8B-AutoAWQ	MiniCPM4.1-8B-AutoAWQ
MiniCPM-4.1-8B-Marlin	MiniCPM-4.1-8B-Marlin
MiniCPM4.1-8B-GGUF	MiniCPM4.1-8B-GGUF
MiniCPM4.1-8B-MLX	MiniCPM4.1-8B-MLX
MiniCPM4.1-8B-Eagle3	MiniCPM4.1-8B-Eagle3
MiniCPM4-8B	MiniCPM4-8B
MiniCPM4-0.5B	MiniCPM4-0.5B
BitCPM4-1B	BitCPM4-1B
BitCPM4-0.5B	BitCPM4-0.5B
MiniCPM4-Survey	MiniCPM4-Survey
MiniCPM4-MCP	MiniCPM4-MCP

📋 点击查看所有 MiniCPM 系列模型

| HuggingFace | ModelScope | |-------------|------------| | [MiniCPM4-8B-Eagle-FRSpec](https://huggingface.co/openbmb/MiniCPM4-8B-Eagle-FRSpec) | [MiniCPM4-8B-Eagle-FRSpec](https://www.modelscope.cn/models/OpenBMB/MiniCPM4-8B-Eagle-FRSpec) | | [MiniCPM4-8B-Eagle-FRSpec-QAT](https://huggingface.co/openbmb/MiniCPM4-8B-Eagle-FRSpec-QAT) | [MiniCPM4-8B-Eagle-FRSpec-QAT](https://www.modelscope.cn/models/OpenBMB/MiniCPM4-8B-Eagle-FRSpec-QAT) | | [MiniCPM4-8B-Eagle-vLLM](https://huggingface.co/openbmb/MiniCPM4-8B-Eagle-vLLM) | [MiniCPM4-8B-Eagle-vLLM](https://www.modelscope.cn/models/OpenBMB/MiniCPM4-8B-Eagle-vLLM) | | [MiniCPM4-8B-marlin-Eagle-vLLM](https://huggingface.co/openbmb/MiniCPM4-8B-marlin-Eagle-vLLM) | [MiniCPM4-8B-marlin-Eagle-vLLM](https://www.modelscope.cn/models/OpenBMB/MiniCPM4-8B-marlin-Eagle-vLLM) | | [MiniCPM4-0.5B-QAT-Int4-unquantized](https://huggingface.co/openbmb/MiniCPM4-0.5B-QAT-Int4-unquantized) | [MiniCPM4-0.5B-QAT-Int4-unquantized](https://modelscope.cn/models/OpenBMB/MiniCPM4-0.5B-QAT-Int4-unquantized) | | [MiniCPM4-0.5B-QAT-Int4-GPTQ-format](https://huggingface.co/openbmb/MiniCPM4-0.5B-QAT-Int4-GPTQ-format) | [MiniCPM4-0.5B-QAT-Int4-GPTQ-format](https://modelscope.cn/models/OpenBMB/MiniCPM4-0.5B-QAT-Int4-GPTQ-format) | | [MiniCPM3-4B](https://huggingface.co/openbmb/MiniCPM3-4B) | [MiniCPM3-4B](https://www.modelscope.cn/models/OpenBMB/MiniCPM3-4B) | | [MiniCPM-2B-sft](https://huggingface.co/openbmb/MiniCPM-2B-sft-bf16) | [MiniCPM-2B-sft](https://modelscope.cn/models/OpenBMB/miniCPM-bf16)| | [MiniCPM-2B-dpo](https://huggingface.co/openbmb/MiniCPM-2B-dpo-bf16) | [MiniCPM-2B-dpo](https://modelscope.cn/models/OpenBMB/MiniCPM-2B-dpo-bf16/summary) | | [MiniCPM-2B-128k](https://huggingface.co/openbmb/MiniCPM-2B-128k) | [MiniCPM-2B-128k](https://modelscope.cn/models/openbmb/MiniCPM-2B-128k/summary) | | [MiniCPM-MoE-8x2B](https://huggingface.co/openbmb/MiniCPM-MoE-8x2B) | [MiniCPM-MoE-8x2B](https://modelscope.cn/models/OpenBMB/MiniCPM-MoE-8x2B) | | [MiniCPM-1B](https://huggingface.co/openbmb/MiniCPM-1B-sft-bf16) | [MiniCPM-1B](https://modelscope.cn/models/OpenBMB/MiniCPM-1B-sft-bf16) | | [MiniCPM-S-1B](https://huggingface.co/openbmb/MiniCPM-S-1B-sft) | [MiniCPM-S-1B](https://modelscope.cn/models/OpenBMB/MiniCPM-S-1B-sft) |

MiniCPM-SALA

亮点

MiniCPM-SALA（稀疏注意力与线性注意力）是首个

项目地址：https://github.com/OpenBMB/MiniCPM

4 次点击 ∙ 0 人收藏

登录后收藏

0 条回复