AxionML/Gemma-4-12B-NVFP4
AxionML Gemma-4-12B-NVFP4 Developed by AxionML for open-source serving and deployment use cases. Part of AxionML's effort to provide ready-to-serve quantized models for the community. This is an NVFP4-quantized version of google/gemma-4-12B-it(https...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#5 Repository Của Tháng
#6 Repository Của Tháng
#6 Repository Của Tháng
🚀 Mô hình Gemma-4-12B-NVFP4 — Phiên bản lượt phát thông minh từ AxionML
Bản quantized NVFP4 giảm 50% dung lượng nhưng không mất độ chính xác, tối ưu cho GPU Blackwell.
Đây là phiên bản NVFP4 được tối ưu bởi AxionML, dựa trên mô hình gốc google/gemma-4-12B-it (11.95 tỷ tham số). Dự án này áp dụng công thức quantize theo đúng công thức của NVIDIA cho Gemma-4, trong đó các lớp MLP (feed-forward) được nén xuống NVFP4, trong khi các lớp attention vẫn giữ ở độ chính xác BF16. Điều này giúp tránh mất thông tin do các giá trị ngoại lệ lớn trong attention activations.
✨ Điểm nổi bật
- Quantize NVFP4 chỉ áp dụng cho MLP: Lớp feed-forward được nén W4A4, attention giữ nguyên BF16 để tránh mất chuẩn xác do outlier.
- KV-cache được nén FP8 (E4M3): Tối ưu bộ nhớ khi sinh sequence dài.
- Dung lượng giảm từ ~24GB xuống ~11GB: So với phiên bản BF16 gốc.
- Độ chính xác không mất: Mô hình duy trì hiệu suất trên bài toán GSM8K.
- Hỗ trợ triển khai với SGLang: Tích hợp sẵn trong lệnh
sglang servevới hỗ trợ--quantization modelopt_fp4. - Hỗ trợ speculative decoding (MTP/NEXTN): Tăng tốc sinh nội dung với mô hình hỗ trợ
google/gemma-4-12B-it-assistant. - Tối ưu cho GPU Blackwell: Hỗ trợ B100/B200/B300 với Tensor Cores hỗ trợ FP4 phần cứng.
- Công cụ hỗ trợ: Được quantize bởi NVIDIA TensorRT Model Optimizer.
💡 Vì sao đáng chú ý
Không giống như các mô hình Llama/Qwen (nơi NVIDIA quantize toàn bộ các lớp về NVFP4), Gemma-4 có đặc điểm các giá trị activations trong attention mang tính ngoại lệ lớn, khiến việc nén 4-bit sẽ làm mất chuẩn xác. Do đó, AxionML chỉ áp dụng NVFP4 cho các lớp MLP, giữ nguyên attention ở BF16 — đây chính là cách tiếp cận NVIDIA đề xuất. Kết quả, mô hình giảm được 50% dung lượng nhưng không mất độ chính xác trên bài toán GSM8K. Đây là lựa chọn thông minh khi cần triển khai trên phần cứng Blackwell mà không muốn hy sinh chất lượng sinh.
#AI #MachineLearning #Quantization #NVFP4 #Gemma4 #TiniX
Similar Projects
Discover other similar projects and AI models.
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...