mudler/Laguna-XS-2.1-APEX-GGUF
⚡ Each donation = another big MoE quantized I host 30+ free APEX MoE quantizations as independent research. My only local hardware is an NVIDIA DGX Spark (122 GB unified memory) — enough for ~30-50B-class MoEs, but bigger ones (200B+) require rented...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#3 Repository Của Tuần
⚡ Quantization APEX cho Laguna-XS-2.1 — MoE coding tối ưu precision
APEX phân loại tensor theo vai trò (expert định tuyến, expert chung, attention, FFN dense) và áp dụng gradient precision từng lớp — các lớp biên giữ precision cao, lớp giữa nén mạnh.
Đây là bản quantization APEX (Adaptive Precision for EXpert Models) cho poolside/Laguna-XS-2.1 — mô hình MoE (Mixture-of-Experts) dành cho coding và kỹ thuật phần mềm agentic, do teams LocalAI phát triển. APEX nén experts định tuyến ở các lớp giữa mạnh nhất nhưng giữ nguyên precision cho lớp biên, attention và expert luôn hoạt động.
✨ Điểm nổi bật
- I-Balanced/I-Quality: bản quantization được cải thiện bởi imatrix — chất lượng tốt nhất.
- Quality/Balanced: phiên bản không dùng imatrix, phù hợp dùng chung.
- Compact/I-Compact: tối ưu cho GPU consumer.
- Mini: bản nhỏ nhất, tốc độ suy diễn nhanh.
- Layer 0 dense FFN: cố định ở Q8_0 vì mọi token đều qua lớp này.
- Shared expert: luôn giữ Q8_0 ở mọi tier.
- Router, norms, exp_probs_b: giữ nguyên precision đầy đủ.
- Yêu cầu llama.cpp mới hỗ trợ
arch=laguna(PR #25165).
💡 Vì sao đáng chú ý
APEX khác biệt với quantization thông thường bằng cách phân biệt vai trò tensor — trong khi các expert định tuyến chiếm phần lớn trọng lượng nhưng chỉ ~8/256 expert hoạt động mỗi token, APEX nén aggressive ở lớp giữa nhưng bảo vệ precision cho lớp biên và thành phần luôn chạy. Phù hợp cho môi trường local có bộ nhớ hạn chế nhưng vẫn cần chất lượng cao cho task coding.
#APEX #Quantization #MoE #LagunaXS #LocalAI #llamaCPP #TiniX
Similar Projects
Discover other similar projects and AI models.
Read our How to Run Qwen3.8-27B Guide!(https://unsloth.ai/docs/models/qwen3.8) This GGUF uses Unsloth Dynamic V3.0 (preview) for SOTA quantization performance. Developer Role Support so Qwen3.8 can work in agentic tools like Codex and more! MTP for...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Base model: poolside/Laguna-XS-2.1 Laguna XS 2.1, quantized to GGUF by Atomic Chat(https://atomic.chat) with an importance matrix. Built straight from poolside's original weights. Runs fully offline on your machine. Highlights - 33B total / 3B activ...
Use on OpenRouter · Release blog post Laguna XS 2.1-NVFP4 Laguna XS 2.1-NVFP4 is a 33B total parameter Mixture-of-Experts model with 3B activated parameters per token designed for agentic coding and long-horizon work on a local machine. It uses Slid...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
⚡ Each donation = another big MoE quantized I host 30+ free APEX MoE quantizations as independent research. My only local hardware is an NVIDIA DGX Spark (122 GB unified memory) — enough for ~30-50B-class MoEs, but bigger ones (200B+) require rented...
poolside/Laguna-XS-2.1-DFlash DFlash speculator for poolside/Laguna-XS-2.1(https://huggingface.co/poolside/Laguna-XS-2.1). Model Specifications | | | |---|---| | Base Model | poolside/Laguna-XS-2.1 | | Draft Architecture | 5-layer Llama-style draft...