pfeifferj/Qwen3.8-Flash-Next-GSQ-RCO-GGUF
TL;DR: Run Qwen's 180B model on 2× RTX 3090s, with embeddings on disk and the KV cache in RAM. It scores 2.85 points above BF16 on MMLU-Pro, with 1.72% higher perplexity. Qwen3.8-Flash-Next · GSQ-RCO GGUFs Non-uniform GGUF quantization produc...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#3 Repository Của Tháng
#4 Repository Của Tháng
🚀 Chạy Qwen 180B trên 2× RTX 3090 nhờ GSQ-RCO
Bản quantization phi đồng nhất 3.5-bit từ Qwen3.8-Flash-Next, kết hợp projector thị giác multimodal.
Đây là bản cộng đồng tái tạo Qwen3.8-Flash-Next (180B tham số) bằng phương pháp GSQ-RCO từ DASLab. Nhờ gán từng tensor một kiểu quantization phù hợp và giữ embeddings ở BF16, mô hình chỉ cần 2× RTX 3090 để chạy — embeddings nằm trên đĩa, KV cache trong RAM.
✨ Điểm nổi bật
- GSQ-RCO phi đồng nhất: mỗi tensor được gán kiểu quantization riêng dựa trên độ nhạy, dưới ngân sách kích thước cố định.
- 3.5-bit trọng số chính: bản quantization hóa chính xác theo ngân sách, không phải cố định toàn bộ.
- Embeddings BF16 tách riêng: token và n-gram embeddings được lưu dưới dạng shard BF16 riêng biệt.
- Multimodal vision projector: hỗ trợ xử lý hình ảnh với projector thị giác mmproj.
- Kết quả MMLU-Pro tốt hơn 2.85%: so với đường chuẩn BF16, có ý nghĩa thống kê (p=0.0048).
- Perplexity mỏi nhẹ: 3.1058 so với 3.0533 của BF16 — chỉ tăng 1.72%.
- Chạy trên llama.cpp: hỗ trợ Qwen4Exp và Q2_0, build từ commit f3f1a8f.
💡 Vì sao đáng chú ý
Không phải là bản phát hành chính thức từ DASLab, nhưng đây là cách tiếp cận giảm ngân sách áp dụng GSQ-RCO về định dạng GGUF nguyên bản. Phương pháp gán kiểu quantization phi đồng nhất giúp tối ưu không gian lưu trữ mà vẫn duy trì độ chính xác — phù hợp cho môi trường cần chạy mô hình lớn với tài nguyên hạn chế.
#Qwen #GSQ #RCO #GGUF #Quantization #Multimodal #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen3.8-Flash-Next · GSQ-RCO GGUFs Non-uniform GGUF quantizations of a 512-expert MoE, produced with GSQ and RCO, with a vision projector for multimodal use. !arXiv: GSQ(https://img.shields.io/badge/arXiv-GSQ2604.18556-b31b1b?logo=arxiv&logoC...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
.json, run python tools/makeplots.py tools/results/.json then paste the printed Markdown table into "Results". The header (banner + badges) is shared across all releases. NB: the YAML block must remain the very first bytes of the file (HF requirement...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
🚨 v2 released — please redownload the GGUFs The v2 GGUFs replace the original normal filenames and add explicit -MTP- variants. If you downloaded this repo before v2, please redownload your GGUF. Fixes in v2: - tokenizer metadata normalized for Qwe...
Qwen3.8-Flash-Next · GSQ-RCO Coder A 512-expert mixture-of-experts model with half of its experts removed, targeted at code and retaining multimodal capability. 58.4 GB against 354 GB at BF16, an effective 1.89 bits per parameter of the origi...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...