ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF
Qwen3.8-Flash-Next · GSQ-RCO Coder A 512-expert mixture-of-experts model with half of its experts removed, targeted at code and retaining multimodal capability. 58.4 GB against 354 GB at BF16, an effective 1.89 bits per parameter of the origi...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Ngày
#1 Repository Của Tuần
#1 Repository Của Tuần
🔪 Nén chuyên gia Qwen3.8-Flash-Next: 1.89 bpw mà không bỏ cuộc coding
58.4 GB thay thế 354 GB, giữ 91.3% SWE-bench và 98.7% LiveCodeBench bằng cách xóa 50% experts.
Đây là bản nén hướng chức năng của Qwen3.8-Flash-Next từ ISTA-DASLab. Thay vì quantize toàn bộ, dự án này loại bỏ 50% routed experts (từ 512 xuống 256) và quantize phần còn lại ở 3.5 bpw. Kết quả: mô hình 176.9B tham số chiếm chỉ 58.4 GB, trong khi working set còại lại nhỏ đủ để chạy trên một accelerator 32 GB. Mô hình vẫn giữ khả năng xử lý ảnh và code, nhưng các experts bị xóa được chọn để ưu tiên code, agentic tool use, vision và spatial reasoning.
✨ Điểm nổi bật
- Expert pruning 50%: Xóa 256/512 experts thay vì quantize, giảm cả file size và memory.
- GSQ-RCO: Chọn experts bằng tối ưu KL divergence trên calibration data, không dùng heuristic.
- 3.5 bpw quantization: Phần còn lại được lưu ở độ chính xác cao qua GGUF.
- 58.4 GB tổng kích thước: Nhỏ hơn 83% so với bản gốc 354 GB BF16.
- 1.89 bpw hiệu lực: Tính toán trung bình toàn mô hình, bao gồm cả experts bị xóa.
- Multimodal giữ nguyên: Vẫn hỗ trợ image-text-to-text nhờ Flash-Next base.
- Coding benchmarks mạnh: 75.60 SWE-bench, 86.28 LiveCodeBench v6.
💡 Vì sao đáng chú ý
Phương pháp kết hợp pruning + quantization này khác biệt so với các bản nén thông thường. Quantization giữ lại mọi tham số nhưng giảm độ chính xác; pruning loại bỏ hoàn toàn một số tham số. Tại sao điều này hiệu quả? Vì experts trong MoE chuyên biệt — không phải expert nào cũng cần thiết cho code. RCO chọn experts dựa trên KL divergence, đảm bảo experts còn lại là những experts quan trọng nhất cho calibration data. Đây là lựa chọn cho developer muốn chạy mô hình lớn trên hardware hạn chế mà không đánh đổi quá nhiều hiệu năng coding.
#Qwen #MixtureOfExperts #Quantization #CodeLLM #GGUF #ISTADASLab #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen3.8-Flash-Next · GSQ-RCO GGUFs Non-uniform GGUF quantizations of a 512-expert MoE, produced with GSQ and RCO, with a vision projector for multimodal use. !arXiv: GSQ(https://img.shields.io/badge/arXiv-GSQ2604.18556-b31b1b?logo=arxiv&logoC...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
.json, run python tools/makeplots.py tools/results/.json then paste the printed Markdown table into "Results". The header (banner + badges) is shared across all releases. NB: the YAML block must remain the very first bytes of the file (HF requirement...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
GSQ-RCO upstream · layout preserved144 tensors transplantedIQ3S / IQ3XXS / IQ2XS / Q20per-tensor blake2b verified262K contextAPACHE-2.0 Qwen3.8-Flash-Next · GSQ-RCO-abliterated The refusal direction removed from an already-quantized GSQ-RCO model —...
TL;DR: Run Qwen's 180B model on 2× RTX 3090s, with embeddings on disk and the KV cache in RAM. It scores 2.85 points above BF16 on MMLU-Pro, with 1.72% higher perplexity. Qwen3.8-Flash-Next · GSQ-RCO GGUFs Non-uniform GGUF quantization produc...
DeepSeek-V4.1-Flash-1017 · GSQ-RCO GGUFs Non-uniform GGUF quantizations of a 763B-parameter, 384-expert MoE, produced with GSQ and RCO. !arXiv: GSQ(https://img.shields.io/badge/arXiv-GSQ2604.18556-b31b1b?logo=arxiv&logoColor=white)(https://ar...