mudler/Qwen3.6-35B-A3B-APEX-GGUF
⚡ Each donation = another big MoE quantized I host 25+ free APEX MoE quantizations as independent research. My only local hardware is an NVIDIA DGX Spark (122 GB unified memory) — enough for ~30-50B-class MoEs, but bigger ones (200B+) require rented...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#3 Repository Của Tháng
#3 Repository Của Tháng
#4 Repository Của Tháng
⚡ Quantization APEX cho Qwen3.6 35B-A3B — MoE nén mạnh, chất lượng vẫn cao
Bản quantization APEX (Adaptive Precision for EXpert Models) cho Qwen3.6 35B-A3B, tối ưu riêng cho kiến trúc Mixture-of-Experts.
Đây là bản quantization APEX (Adaptive Precision for EXpert Models) của mô hình Qwen3.6 35B-A3B do nhóm LocalAI phát triển. Dự án này áp dụng chiến lược nén tinh vi cho mô hình MoE, đạt kích thước nhỏ hơn từ 14 GB đến 24 GB so với bản gốc ~65 GB, đồng thời duy trì chất lượng gần bằng bản BF16 nhờ kỹ thuật gradient độ chính xác theo layer.
✨ Điểm nổi bật
- APEX I-Balanced (24 GB): Đạt KL max thấp nhất (4.53) so với mọi bản quantization khác, thấp hơn cả Q8_0 (9.72).
- APEX I-Compact (17 GB): Vượt trội hằn UD-Q3_K_M (16 GB) về PPL (6.857 vs 6.883) và HellaSwag (83.5% vs 82.8%).
- imatrix giảm đáng kể KL max: I-Balanced 4.53 so với Balanced 14.14, I-Quality 5.69 so với Quality 13.01.
- APEX I-Mini (14 GB): Gói nhỏ nhất nhưng vẫn duy trì chất lượng khả dụng (PPL 7.24, HellaSwag 82.8%).
- 5+5 symmetric edge gradient: Bảo toàn độ chính xác ở các lớp biên (5 đầu, 5 đuôi) trong khi nén mạnh ở lớp giữa.
- mmproj.gguf đi kèm: Hỗ trợ hiểu hình ảnh (vision encoder tích hợp sẵn).
- Miễn phí và nghiên cứu độc lập: Phần lớn hosted trên NVIDIA DGX Spark (122 GB), một số bản lớn hơn cần thuê compute H100/H200/Blackwell.
- Tuỳ chọn đa dạng: 8 bản quantization khác nhau từ I-Mini đến I-Balanced, đáp ứng nhu cầu từ GPU tiêu dùng đến server.
💡 Vì sao đáng chú ý
APEX khác biệt từ các phương pháp quantization thông thường bằng cách phân loại tensor theo vai trò (routed expert, shared expert, attention) và áp dụng gradient độ chính xác theo layer — các lớp biên giữ độ chính xác cao, lớp giữa nén mạnh. Trong mô hình MoE, expert FFN chiếm phần lớn trọng số nhưng chỉ kích hoạt ~8/256 expert mỗi token, do đó nén mạnh lớp giữa không ảnh hưởng lớn đến kết quả. Kết hợp với imatrix đa dạng (chat, code, reasoning, tool-calling, agentic traces, Wikipedia), các bản I-variant giảm đáng kể sai số tối đa.
Thích hợp cho người dùng muốn chạy Qwen3.6 35B-A3B trên phần cứng giới hạn (GPU tiêu dùng) mà không hy sinh quá nhiều chất lượng — đặc biệt APEX I-Compact và I-Mini là lựa chọn cân bằng giữa kích thước và hiệu năng.
#APEX #Qwen3 #MoE #Quantization #GGUF #TiniX }
Similar Projects
Discover other similar projects and AI models.
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Read our How to Run Qwen3.8-27B Guide!(https://unsloth.ai/docs/models/qwen3.8) This GGUF uses Unsloth Dynamic V3.0 (preview) for SOTA quantization performance. Developer Role Support so Qwen3.8 can work in agentic tools like Codex and more! MTP for...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
🚨 v2 released — please redownload the GGUFs The v2 GGUFs replace the original normal filenames and add explicit -MTP- variants. If you downloaded this repo before v2, please redownload your GGUF. Fixes in v2: - tokenizer metadata normalized for Qwe...