rdtand/Qwen3.6-27B-prismaquant-gridbook-5.5bit-vllm
Qwen3.6-27B — PrismaQuant gridbook 5.5-bit (gridbook formats, vLLM) 23.0 GB codebook-quantized Qwen3.6-27B (vision-language, MTP included) serving through stock vLLM with the open gridbook(https://github.com/RobTand/gridbook) plugin — no fork, no co...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🚀 Qwen3.6-27B 5.5-bit — Nén siêu mạnh với PrismaQuant + gridbook
23 GB codebook-quantized Qwen3.6-27B chạy trên stock vLLM, không cần fork hay patch nguồn.
Qwen3.6-27B (vision-language, MTP included) được nén xuống 23 GB bằng PrismaQuant — một phương pháp codebook-quantization đặt giá trị codebook ngay trên lưới phần cứng (FP8/NVFP4). Khi phục vụ, trọng số giải mã thành tensor FP8/NVFP4 chuẩn, chạy trên cùng đường GEMM tensor-core như checkpoint bình thường. Chỉ cần cài plugin gridbook và dùng vLLM gốc.
✨ Điểm nổi bật
- Codebook-quantization 5.5-bit: 504 Linear dùng FP8-CB K36–K47 + BF16, chọn rung cho từng Linear dựa trên lỗi đo được.
- Chạy trên stock vLLM: không fork, không patch core, chỉ cần plugin gridbook.
- Giải mã trên tensor-core chuẩn: trọng số nằm trên lưới FP8/NVFP4, dùng GEMM như checkpoint thường.
- Chất lượng cao: KL 0.0049 (all), 0.00295 (nửa tự tin), top-1 99.88% — thấp hơn 77% so với NVFP4+FP8 cùng size.
- Multimodal hỗ trợ: vision tower (110 Linear) dùng NVFP4 W4A16, MTP draft block + embeddings/lm_head giữ BF16.
- Phân bổ chi tiết: file allocation/ chứa phân bổ per-Linear, codebook chia sẻ theo role.
- Validator PASS: mean NLL 1.400/tok, p99 1.807 (ngưỡng 3.0/6.0).
- ToolEvalBench 87/100: đạt điểm cao trên bài hardmode seed 1234.
💡 Vì sao đáng chú ý
Không phải nén độc lập — PrismaQuant đo lỗi từng Linear, chọn format (K36–K47) sao cho vừa đủ byte budget, giữ K47 (5.88 bpw) ×175 Linear. Kết quả: 23 GB nhưng chất lượng gần BF16, thấp hơn 77% KL so với NVFP4+FP8 cùng size. Cách tiếp cận này mở ra khả năng triển khai mô hình lớn trên GPU tiêu dùng (RTX 5090 32GB) mà không cần Blackwell datacenter.
#Qwen3 #PrismaQuant #gridbook #vLLM #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Qwen3.5-9B !Qwen Chat(https://img.shields.io/badge/%F0%9F%92%9C%EF%B8%8F%20Qwen%20Chat%20-536af5)(https://chat.qwen.ai) !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers...