nota-ai/GLM-5.3-Nota-NVFP4-Global-Pruned-17.75
Nota Global-Pruned GLM-5.3 (17.75%) · NVFP4 Nota AI(https://www.nota.ai/) presents a 4-bit quantized and expert-pruned release of Z.ai(https://z.ai/)'s GLM-5.3(https://huggingface.co/zai-org/GLM-5.3-BF16) — a 753B-parameter Mixture-of-Experts model...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#2 Repository Của Tuần
#2 Repository Của Tuần
🚀 GLM-5.3 Nota NVFP4: 753B MoE siêu nhẹ chỉ với 2×B300
4-bit NVFP4 + cắt tỉa toàn mạng 17.75% giúp mô hình 753B tham số chạy trên 2 GPU Blackwell thay vì 8.
Nota AI phát hành phiên bản quantize 4-bit và cắt tỉa chuyên gia toàn mạng của GLM-5.3 (753B tham số, ~42B hoạt động mỗi token) của Z.ai. Phiên bản này dùng phương pháp quantize độc quyền của Nota AI dành cho MoE, kết hợp NVFP4 và cắt tỉa chuy gia theo điểm quan trọng toàn mạng để giảm bớt yêu cầu GPU mà vẫn giữ độ chính xác.
✨ Điểm nổi bật
- NVFP4 (W4A4): Quantize cả trọng số và activation xuống 4-bit float, dùng group_size=16, đóng gói compressed-tensors, chỉ chạy trên GPU Blackwell (B200/B300/GB200).
- Cắt tỉa toàn mạng: Dùng điểm số quan trọng toàn mạng để giữ lại chuyên gia quan trọng nhất ở mỗi lớp — không đồng đều như cắt tỉa truyền thống.
- 17.75% cắt tỉa: 15,792 chuyên gia giữ lại trong 75 lớp MoE (từ 19,200), số lượng mỗi lớp lưu trong config.json dưới trường
num_experts_per_layer. - Chạy trên 2×B300: Giảm từ 8×B300 so với bản BF16 gốc, vẫn hỗ trợ ngữ cảnh đầy đủ 1,048,576 token.
- Patch vLLM: Cần thay thế
deepseek_v2.pytrong vLLM bởi phiên bản trong repo để hỗ trợ cấu trúc chuyên gia biến đổi theo lớp. - Chỉ số hóa chuyên gia: MLA attention, DSA indexer, router, chuyên gia chia sẻ, MLP dẫn, norms, embeddings, khối MTP giữ nguyên BF16 — chỉ chuyên gia định tuyến mới được quantize.
💡 Vì sao đáng chú ý
Khác với cắt tỉa đồng đều (loại bỏ cùng số lượng chuyên gia ở mỗi lớp), phương pháp này đo lường độ quan trọng toàn mạng và giữ lại chuyên gia khác nhau ở từng lớp — giảm thiểu mất mát độ chính xác. Kết hợp với NVFP4, mô hình 753B trở thành nhẹ đủ để triển khai trên 2 GPU Blackwell, mở tiếp cận sẵn sàng cho inference hữu ích.
#NVFP4 #MoE #GLM53 #Quantization #ModelOptimization #TiniX
Similar Projects
Discover other similar projects and AI models.
GLM-5.2 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.2 blog and GLM-5 Technical report. 📍 Use GLM-5.2 API services on Z.ai API Platform. 🔜 Try GLM-5.2 here. Paper GitHub Introduction We're introducing GLM-5.2, our latest flagshi...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...