mudler/KAT-Coder-V2.5-Dev-APEX-GGUF
⚡ Each donation = another big MoE quantized I host 30+ free APEX MoE quantizations as independent research. My only local hardware is an NVIDIA DGX Spark (122 GB unified memory) — enough for ~30-50B-class MoEs, but bigger ones (200B+) require rented...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#4 Repository Của Tuần
⚡ APEX Quantization cho KAT-Coder V2.5 — MoE lập trình được nén thông minh
Quantization Adaptive Precision for EXpert Models (APEX) áp dụng gradient độ chính xác theo vai trò tensor, nén expert trung gian mạnh nhất.
Dự án cung cấp bản quantization APEX cho Kwaipilot/KAT-Coder-V2.5-Dev — mô hình Mixture-of-Experts (MoE) dựa trên Qwen3, được thiết kế riêng cho agentic coding. Được phát triển bởi nhóm LocalAI, APEX không nén đồng đều mà phân loại tensor thành routed expert, shared expert, attention và điều chỉnh precision theo tầng — các tầng biên (đầu/cuối) giữ độ chính xác cao, tầng trung gian nén mạnh.
✨ Điểm nổi bật
- Phân loại tensor theo vai trò: routed expert, shared expert, attention — mỗi nhóm được áp dụng precision khác nhau.
- Gradient precision theo tầng: tầng biên giữ precision cao, tầng trung gian nén mạnh để tiết kiệm bộ nhớ.
- Đa dạng cấu hình: I-Balanced, I-Quality, Quality, Balanced, I-Compact, Compact, I-Mini — lựa chọn theo nhu cầu hardware.
- Calib imatrix đa dạng: sử dụng dữ liệu chat, code, reasoning, tool-calling, agentic traces, Wikipedia để cải thiện chất lượng.
- Kiến trúc MoE lớn: 40 tầng, 256 routed experts + 1 shared, 8 experts kích hoạt mỗi token.
- Hỗ trợ chạy trên LocalAI: dùng lệnh
local-ai runđể thực thi trực tiếp. - Miễn phí nghiên cứu: hơn 30 bản quantization APEX được host miễn phí như nghiên cứu độc lập.
💡 Vì sao đáng chú ý
APEX khác biệt ở cách tiếp cận quantization cho MoE — thay vì nén đồng đều, nó tận dụng bản chất của MoE: routed expert chiếm phần lớn tham số nhưng chỉ kích hoạt ~8/256 experts/token. Do đó, APEX nén experts trung gian mạnh nhất trong khi bảo toàn attention, shared expert và tầng biên, giữ được chất lượng mô hình với kích thước nhỏ hơn.
Phù hợp cho môi trường có resource hạn chế muốn chạy mô hình MoE lớp cho coding mà không cần hardware đắt đỏ.
#APEXQuantization #MixtureOfExperts #KATCoder #LocalAI #GGUF #QuantizedModel #AgenticCoding #TiniX
Similar Projects
Discover other similar projects and AI models.
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Read our How to Run Qwen3.8-27B Guide!(https://unsloth.ai/docs/models/qwen3.8) This GGUF uses Unsloth Dynamic V3.0 (preview) for SOTA quantization performance. Developer Role Support so Qwen3.8 can work in agentic tools like Codex and more! MTP for...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
GLM-5.2 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.2 blog and GLM-5 Technical report. 📍 Use GLM-5.2 API services on Z.ai API Platform. 🔜 Try GLM-5.2 here. Paper GitHub Introduction We're introducing GLM-5.2, our latest flagshi...
ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators ELECTRA is a new method for self-supervised language representation learning. It can be used to pre-train transformer networks using relatively little compute. ELECTRA mode...