pfeifferj/GLM-5.3-Flash-GSQ-RCO-GGUF
TL;DR: GLM's 320B-parameter multimodal model in 118.6 to 138.2 GB including vision, compared with 328.3 GB for the FP8 checkpoint. GLM-5.3-Flash · GSQ-RCO GGUFs Non-uniform GGUF quantizations produced with GSQ and RCO, with a vision projector...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🧠 Bản quantization phi tuyến tính của GLM-5.3-Flash 320B từ cộng đồng
Bản sao độc lập từ cộng đồng: giảm 328.3 GB FP8 xuống còn 118.6–138.2 GB với chất lượng gần bằng gốc.
Đây là bản quantization GGUF không phải của nhà phát triển gốc, do một thành viên cộng đồng tạo ra bằng các phương pháp GSQ và RCO. Dựa trên mô hình đa phương thức zai-org/GLM-5.3-Flash (320 tỷ tham số) cùng bộ chiếu thị giác BF16, phù hợp cho xử lý hình ảnh và văn bản.
✨ Điểm nổi bật
- GSQ (Gumbel-Softmax Quantization): Tối ưu skalar sau huấn luyện, học phân bổ lưới và tỉ lệ nhóm thông qua Gumbel-Softmax.
- RCO (Riemannian Constrained Optimization): Gán loại quantization cho từng tensor dựa trên độ nhạy, trong ngân sách kích thước cụ thể.
- 3.5-bit: 137.07 GB, perplexity tốt hơn so với bản 3.0-bit.
- 3.0-bit: 117.48 GB, nhỏ gọn hơn.
- mmproj BF16: Bộ mã hoá và chiếu thị giác 1.16 GB.
- Đánh giá MMLU-Pro: Độ chính xác 60.55% (3.5-bit) và 60.00% (3.0-bit), so với 61.95% Q8_0.
- Perplexity: 3.5431 (3.5-bit), 3.6985 (3.0-bit), so với 3.3909 Q8_0.
- Phi giấy chứng nhận: Không được sự chấp thuận từ DASLab.
💡 Vì sao đáng chú ý
GSQ-RCO kết hợp hai kỹ thuật tiên tiến: GSQ tối ưu từng nhóm trọng số, RCO phân bổ kiểu quantization toàn bộ mô hình dựa trên ngân sách cứng. Kết quả: giảm 56–65% dung lượng so với FP8, giữ perplexity và độ chính xác đánh giá gần nguyên gốc. Phù hợp cho triển khai mô hình đa phương thức lớn trên GPU consumer.
#GLM53Flash #GSQ #RCO #GGUF #Quantization #Multimodal #TiniX
Similar Projects
Discover other similar projects and AI models.
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
.json, run python tools/makeplots.py tools/results/.json then paste the printed Markdown table into "Results". The header (banner + badges) is shared across all releases. NB: the YAML block must remain the very first bytes of the file (HF requirement...
Qwen3.8-Flash-Next · GSQ-RCO GGUFs Non-uniform GGUF quantizations of a 512-expert MoE, produced with GSQ and RCO, with a vision projector for multimodal use. !arXiv: GSQ(https://img.shields.io/badge/arXiv-GSQ2604.18556-b31b1b?logo=arxiv&logoC...
🚨 v2 released — please redownload the GGUFs The v2 GGUFs replace the original normal filenames and add explicit -MTP- variants. If you downloaded this repo before v2, please redownload your GGUF. Fixes in v2: - tokenizer metadata normalized for Qwe...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...