mudler/Ornith-1.5-35B-A3B-APEX-MTP-GGUF
⚡ Each donation = another big MoE quantized I host 30+ free APEX MoE quantizations as independent research. My only local hardware is an NVIDIA DGX Spark (122 GB unified memory), enough for ~30-50B-class MoEs, but bigger ones (200B+) require rented...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#4 Repository Của Tuần
⚡ Ornith-1.5-35B-A3B APEX MTP GGUF — Bản đối chứng MoE nhanh tốc độ cao
Bản quantize APEX của Ornith-1.5-35B-A3B với đầu MTP tích hợp, tối ưu MoE và giảm thời gian sinh tham số.
Đây là bản quantize GGUF của mô hình Ornith-1.5-35B-A3B — một mô hình Mixture-of-Experts (MoE) 36 tỷ tham số từ nhóm phát triển LocalAI. Bản đối chứng này đặc biệt được tối ưu cho việc giải mã dự đoán (speculative decoding) nhờ tích hợp trực tiếp đầu MTP (Multi-Token Prediction) dưới dạng blk.40.
✨ Điểm nổi bật
- Tích hợp MTP head: Đầu dự đoán đa token được đóng gói trực tiếp trong file GGUF, hỗ trợ giải mã dự đoán ngay tại chỗ.
- 4 biến thể độ phân giải: Quality (23.72 GB), Balanced (26.17 GB), Compact (17.44 GB), và I-Mini (14.37 GB) phù hợp với nhiều phần cứng khác nhau.
- Quant động theo vai trò: Các expert được đưa ra áp dụng độ chính xác thấp hơn do chỉ 8/256 hoạt động mỗi token.
- Tối ưu tầng lớp: Lớp đầu và cuối giữ độ phân giải cao, các lớp giữa nén mạnh hơn.
- Đầu MTP được khóa Q8_0: Trên bản Quality/Balanced/Compact để đảm bảo độ chính xác của bản dự đoán.
- Hỗ trợ thị giác: Kèm theo
mmproj.gguf(0.90 GB) hỗ trợ xử lý hình ảnh. - Tương thích llama.cpp: Yêu cầu phiên bản llama.cpp hỗ trợ
qwen3_5_moe.
💡 Vì sao đáng chú ý
APEX không đơn thuần là gte nén mô hình — nó phân loại tensor theo vai trò và điều chỉnh độ chính xác theo tầng lớp một cách thông minh. Phần lớn trọng số (89.6%) thuộc các expert chỉ có 8/256 hoạt động mỗi token, do đó chấp nhận mức nén cao hơn. MTP head được giữ ở Q8_0 để tránh sai số lan truyền trong giải mã dự đoán. Đây là lựa chọn tối ưu cho người dùng cần tốc độ sinh cao mà vẫn muốn giữ chất lượng mô hình.
#APEX #SpeculativeDecoding #MixtureOfExperts #GGUF #TiniX
Similar Projects
Discover other similar projects and AI models.
Straight to the point Tiel is the fast coder of the arsenal. At 4-bit quantization and 22 GB it fixes real codebase issues at the rate (and speed, with the right GPU) of Opus 4.6 medium, while holding the best multi-turn conversation of any local mo...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP HauhauCS FastMTP: up to 3.02x document TG and 1.93x reasoning TG versus non-MTP — plus up to 35.2% more document TG and 21.1% more reasoning TG than standard embedded MTP. Join the Discord(https://disco...
Qwen3.8-27B-Uncensored-GGUF Uncensored Qwen3.8-27B(https://huggingface.co/Qwen/Qwen3.8-27B), published as GGUF quantizations with the multi-token prediction (MTP) head retained and verified. Refusal behaviour has been substantially reduced, not elim...
Read our How to Run Qwen3.8-27B Guide!(https://unsloth.ai/docs/models/qwen3.8) This GGUF uses Unsloth Dynamic V3.0 (preview) for SOTA quantization performance. Developer Role Support so Qwen3.8 can work in agentic tools like Codex and more! MTP for...
⚡ Each donation = another big MoE quantized I host 30+ free APEX MoE quantizations as independent research. My only local hardware is an NVIDIA DGX Spark (122 GB unified memory) — enough for ~30-50B-class MoEs, but bigger ones (200B+) require rented...
⚡ Each donation = another big MoE quantized I host 25+ free APEX MoE quantizations as independent research. My only local hardware is an NVIDIA DGX Spark (122 GB unified memory) — enough for ~30-50B-class MoEs, but bigger ones (200B+) require rented...
⚡ Each donation = another big MoE quantized I host 30+ free APEX MoE quantizations as independent research. My only local hardware is an NVIDIA DGX Spark (122 GB unified memory), enough for ~30-50B-class MoEs, but bigger ones (200B+) require rented...
⚡ Each donation = another big MoE quantized I host 30+ free APEX MoE quantizations as independent research. My only local hardware is an NVIDIA DGX Spark (122 GB unified memory) — enough for ~30-50B-class MoEs, but bigger ones (200B+) require rented...