mudler/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-MTP-GGUF
⚡ Each donation = another big MoE quantized I host 30+ free APEX MoE quantizations as independent research. My only local hardware is an NVIDIA DGX Spark (122 GB unified memory) — enough for ~30-50B-class MoEs, but bigger ones (200B+) require rented...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#2 Repository Của Tháng
🚀 Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled — APEX-MTP GGUF
Quantization APEX cho mô hình MoE Qwen3.6, tích hợp sẵn đầu MTP hỗ trợ self-speculative decoding chỉ với một file GGUF.
Đây là bản quantization APEX (Adaptive Precision for EXpert Models) của mô hình lordx64/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled, được thực hiện bởi nhóm phát triển LocalAI. Khác biệt ở đây là đầu MTP (multi-token prediction) được đóng gói cùng trunk trong một file GGUF duy nhất, cho phép bật self-speculative decoding ngay lập tức mà không cần mô hình draft riêng.
✨ Điểm nổi bật
- APEX quantization: chiến lược mixed-precision tối ưu cho MoE, nén expert càng mạnh, giữ shared/attention ở độ chính xác cao.
- Tích hợp MTP head: đầu dự báo đa token được gộp trực tiếp vào file GGUF, hỗ trợ self-speculative decoding.
- Self-spec decoding: chỉ cần một file GGUF và
--draft-mtp, không cần mô hình draft phụ. - Hỗ trợ llama.cpp: yêu cầu phiên bản >= commit
255582687, dựa trên PR #22673. - Độ chính xác cao: MTP head được quantize bằng Q8_0 (gần như không mất thông tin), ngoại trừ I-Nano.
- Kích thước tăng nhẹ: chỉ ~2.5% so với bản không có MTP, nhờ chia sẻ embedding.
💡 Vì sao đáng chú ý
APEX không đơn thuần là quantization thông thường — nó áp dụng chiến lược mixed-precision dựa trên vai trò của từng thành phần (routed experts, shared experts, attention…), giúp nén mô hình MoE lớn một cách thông minh. Đặc biệt, việc tích hợp sẵn MTP head trong một file GGUF giúp người dùng dễ dàng bật self-speculative decoding mà không cần cấu hình phức tạp. Đây là lựa chọn tiết kiệm tài nguyên và tối ưu hiệu năng cho các bước inference trên phần cứng giới hạn.
#APEX #Qwen36 #MoE #SpeculativeDecoding #GGUF #MTP #LocalAI #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
⚡ Each donation = another big MoE quantized I host 30+ free APEX MoE quantizations as independent research. My only local hardware is an NVIDIA DGX Spark (122 GB unified memory), enough for ~30-50B-class MoEs, but bigger ones (200B+) require rented...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Read our How to Run Qwen3.8-27B Guide!(https://unsloth.ai/docs/models/qwen3.8) This GGUF uses Unsloth Dynamic V3.0 (preview) for SOTA quantization performance. Developer Role Support so Qwen3.8 can work in agentic tools like Codex and more! MTP for...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...