ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF
DeepSeek-V4.1-Flash-1017 · GSQ-RCO GGUFs Non-uniform GGUF quantizations of a 763B-parameter, 384-expert MoE, produced with GSQ and RCO. !arXiv: GSQ(https://img.shields.io/badge/arXiv-GSQ2604.18556-b31b1b?logo=arxiv&logoColor=white)(https://ar...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Ngày
#1 Repository Của Ngày
#3 Repository Của Ngày
🚀 DeepSeek-V4.1-Flash-1017 GGUF: Quantization không đồng nhất bằng GSQ & RCO
Đây là lần đầu tiên một mô hình MoE khổng lồ 763B được量化 thành các file GGUF chuẩn, mỗi tensor có độ phân giải riêng, mà vẫn chạy được trên một card GPU 12 GB.
Dự án này mang đến các bản量化 GGUF không đồng nhất (non-uniform) cho mô hình DeepSeek-V4.1-Flash-1017 — một mô hình hỗn hợp chuyên gia (MoE) với 763.2B tham số, gồm 384 expert mỗi lớp và cửa số ngữ cảnh lên đến 1M token. Thay vì áp dụng cùng một phương pháp量化 cho toàn bộ các trọng số, dự án này kết hợp hai kỹ thuật tiên tiến từ IST-DASLab:
✨ Điểm nổi bật
- GSQ (Gumbel-Softmax Quantization): Scalar quantization được cải tiến, học đồng thời vị trí lưới và hệ số theo từng nhóm thông qua Gumbel-Softmax, khép kín khoảng trống giữa量化 vector và scalar ở mức 2-3 bit.
- RCO (Riemannian Constrained Optimization): Phân bổ loại量化 cho từng tensor dưới một tổng dung lượng giới hạn, biến ràng buộc thành bài toán trên đa tạp Riemann để tối ưu trực tiếp trên loss-task.
- Ba bản build linh hoạt: IQ1_M (1.75 bpw, 231 GB), IQ2_XXS (2.00 bpw, 248 GB — được khuyến nghị), IQ2_XS (2.25 bpw, 265 GB).
- Tối ưu theo sensitivity: Các expert routing (chiếm phần lớn tham số) được ưu tiên phân bổ độ chính xác cao hơn, mỗi lớp một loại量化, thay vì mỗi expert (GGUF không hỗ trợ).
- Hoạt động trên GPU 12 GB: Kết hợp với công cụ Strata, chỉ cần một card GPU 12 GB để chạy toàn bộ mô hình.
- File Engram riêng biệt: Bảng tra cứu Engram (196.6B tham số) được量化 ở IQ4_NL, chỉ cần tải một lần và dùng chung cho tất cả các bản build.
💡 Vì sao值得关注
Điểm khác biệt lớn nhất là tiếp cận "mỗi tensor một loại量化" — điều này giúp dự án tối ưu hiệu năng năng suất giữa dung lượng và độ chính xác một cách thông minh hơn so với量化 đồng đều thông thường. Phiên bản IQ2_XXS đạt 100% hiệu suất tương đương mô hình gốc trên các bộ dữ liệu AIME25, GPQA-Diamond và LiveCodeBench v6, trong khi giảm đáng kể dung lượng. Đây là lựa chọn lý tưởng cho các ứng dụng cần mô hình mạnh mẽ nhưng có giới hạn phần cứng.
#GGUF #Quantization #DeepSeek #MoE #GSQ #RCO #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen3.8-Flash-Next · GSQ-RCO GGUFs Non-uniform GGUF quantizations of a 512-expert MoE, produced with GSQ and RCO, with a vision projector for multimodal use. !arXiv: GSQ(https://img.shields.io/badge/arXiv-GSQ2604.18556-b31b1b?logo=arxiv&logoC...
.json, run python tools/makeplots.py tools/results/.json then paste the printed Markdown table into "Results". The header (banner + badges) is shared across all releases. NB: the YAML block must remain the very first bytes of the file (HF requirement...
Qwen3.8-Flash-Next · GSQ-RCO Coder A 512-expert mixture-of-experts model with half of its experts removed, targeted at code and retaining multimodal capability. 58.4 GB against 354 GB at BF16, an effective 1.89 bits per parameter of the origi...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...