google/gemma-4-12B-it-qat-q4_0-gguf
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind !Note This model card is for the new versions of the Gemma 4 family optimized with Quantization-Aware Training (QAT), which allows preserving similar...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Ngày
#1 Repository Của Tuần
#1 Repository Của Tháng
🧠 Gemma 4 12B-it QAT Q4_0 GGUF — Phiên bản đa phương thức được tối ưu cho triển khai thực tế
Mô hình Gemma 4 12B it phiên bản QAT Q4_0 định dạng GGUF từ Google DeepMind, tối ưu lượng tử hóa nhận biết (QAT) giúp giảm tiêu thụ bộ nhớ mạnh mẽ nhưng vẫn giữ chất lượng gần bằng bfloat16.
Đây là một phiên bản trong gia đình Gemma 4 — dãy mô hình mở do Google DeepMind phát triển, hỗ trợ đa phương thức (text, image, audio) và sinh ra text. Gemma 4 là mô hình multimodal any-to-any, phù hợp cho các tác vụ như sinh văn bản, lập trình, lý luận, và hiểu biết đa phương thức. Phiên bản này sử dụng kiến trúc GGUF với độ chính xác Q4_0, được thiết kế để triển khai trên thiết bị và môi trường phần cứng đa dạng từ điện thoại đến máy chủ.
✨ Điểm nổi bật
- Lượng tử hóa QAT Q4_0: Giảm tiêu thụ bộ nhớ đáng kể nhưng vẫn duy trì chất lượng gần bằng bfloat16.
- Định dạng GGUF: Hỗ trợ triển khai dễ dàng trên nền tảng và công cụ hỗ trợ GGUF.
- Hỗ trợ đa phương thức: Xử lý text, image, và audio (trên một số kích thước mô hình).
- Cửa sổ ngữ cảnh lớn: Hỗ trợ đến 256K token cho mô hình trung bình.
- Kiến trúc hybrid: Kết hợp sliding window attention và global attention để tối ưu tốc độ và bộ nhớ.
- Hỗ trợ Multilingual: Hỗ trợ hơn 140 ngôn ngữ.
- Tích hợp reasoning và agentic capabilities: Hỗ trợ chế độ suy nghĩ có thể cấu hình và gọi hàm.
- Native system prompt support: Hỗ trợ vai trò system cho cuộc trò chuyện có cấu trúc.
💡 Vì sao đáng chú ý
Gemma 4 12B-it QAT Q4_0 GGUF nổi bật nhờ sự kết hợp giữa lượng tử hóa thông minh và kiến trúc đa phương thức mạnh mẽ. Việc sử dụng Quantization-Aware Training (QAT) cho phép mô hình giảm kích thước bộ nhớ mà không đáng kể ảnh hưởng đến chất lượng đầu ra, khiến nó trở nên lý tưởng cho triển khai trên thiết bị với tài nguyên hạn chế. Phiên bản GGUF còn mở rộng khả năng tương thích với công cụ và nền tảng hiện có, giúp nhà phát triển dễ dàng tích hợp vào workflow của mình.
#Gemma4 #QuantizationAwareTraining #GGUF #MultimodalAI #OnDeviceAI #TiniX
Similar Projects
Discover other similar projects and AI models.
Read our How to Run Gemma 4 QAT Guide!(https://unsloth.ai/docs/models/gemma-4/qat) See Unsloth Dynamic 2.0 GGUFs for our quantization benchmarks. Jun 9 Update: Added MTP support. See our MTP Guide. Gemma 4 can now be run and fine-tuned in Unsloth St...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind !Note This model card is for the Gemma 4 12B Unified model, which is part of the Gemma 4 family of open models. Built with the same multimodal functio...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind !Note This model card is for the Gemma 4 12B Unified model, which is part of the Gemma 4 family of open models. Built with the same multimodal functio...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...