openbmb/MiniCPM4-8B
GitHub Repo | Technical Report | Join Us 👋 Contact us in Discord and WeChat What's New - 2025.06.06 MiniCPM4 series are released! This model achieves ultimate efficiency improvements while maintaining optimal performance at the same scale! It can a...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#3 Repository Của Tuần
#1 Repository Của Tuần
🚀 MiniCPM4-8B: LLM siêu hiệu quả dành cho thiết bị biên
MiniCPM4-8B đạt tốc độ tăng lên tới 5x trên các chip thiết bị cuối thông thường nhờ cải tiến toàn diện về kiến trúc, thuật toán, dữ liệu và hệ thống suy diễn.
MiniCPM4-8B là phiên bản tiêu chuẩn của dòng mô hình MiniCPM4 do OpenBMB phát triển, được thiết kế riêng cho các thiết bị biên (edge-side). Với 8 tỷ tham số và được huấn luyện trên 8 nghìn tỷ token, mô hình này đạt được hiệu suất tối ưu trong khi duy trì khả năng sinh ngôn ngữ mạnh mẽ. Đây là lựa chọn lý tưởng cho các ứng dụng cần chạy trên thiết bị cuối mà không cần phụ thuộc vào cỗ máy chủ đám mây.
✨ Điểm nổi bật
- InfLLM v2 — Cơ chế Attention thưa lượng có thể huấn luyện: Chỉ tính toán liên quan với dưới 5% token trong xử lý văn bản 128K, giảm đáng kể chi phí tính toán.
- Model Wind Tunnel 2.0 — Dự đoán quy mô có thế nào: Tối ưộc cấu hình huấn luyện dựa trên dự báo hiệu suất của các tác vụ phụ trợ.
- BitCPM — Mã hóa tối giản ba giá trị: Nén bit rộng tham số mô hình xuống còn 3 giá trị, giảm tới 90% độ rộng bit.
- Huấn luyện với FP8 & Multi-token Prediction: Áp dụng công nghệ tính toán độ chính xác thấp FP8 kết hợp chiến lược dự báo đa token.
- UltraClean — Lọc và sinh dữ liệu tiền huấn luyện chất lượng cao: Xây dựng chiến lược làm sạch dữ liệu lặp đi lặp lại, mở nguồn bộ dữ liệu tiếng Trung và tiếng Anh chất lượng cao.
- UltraChat v2 — Dữ liệu fine-tuning có giám sát chất lượng cao: Bao phủ nhiều chiều bao gồm dữ liệu kiến thức, lý luận, tuân chỉnh lệnh, hiểu văn bản dài và gọi công cụ.
- CPM.cu — Khung suy diễn CUDA nhẹ và hiệu quả: Tích hợp sparse attention, mã hóa mô hình và lấy mẫu dự đoán để tối ưu hiệu suất.
- ArkInfer — Hệ thống triển khai đa nền tảng: Hỗ trợ triển khai hiệu quả trên nhiều môi trường backend khác nhau.
💡 Vì sao đáng chú ý
MiniCPM4-8B không chỉ nổi bật với kích thước mô hình lớn mà còn thông qua bốn chiều đổi mới hệ thống gồm kiến trúc mô hình, thuật toán học, dữ liệu huấn luyện và hệ thống suy diễn. Điều này giúp mô hình đạt hiệu suất tối ưu trong khi vẫn duy trì khả năng xử lý ngôn ngữ tự nhiên mạnh mẽ, đặc biệt phù hợp với các ứng dụng chạy trên thiết bị biên như điện thoại, thiết bị IoT hoặc máy tính động lượt.
#MiniCPM4 #EdgeAI #LLM #OpenBMB #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
GLM-5.2 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.2 blog and GLM-5 Technical report. 📍 Use GLM-5.2 API services on Z.ai API Platform. 🔜 Try GLM-5.2 here. Paper GitHub Introduction We're introducing GLM-5.2, our latest flagshi...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...