Myric/Laguna-S-2.1-APEX-GGUF
Laguna-S-2.1 — APEX GGUF (with DFlash speculative decoding) MoE-aware, mixed-precision APEX quantization of poolside/Laguna-S-2.1(https://huggingface.co/poolside/Laguna-S-2.1) — a 118B-total / ~8B-active open-weight agentic coding MoE (48 layers, 25...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🚀 Laguna-S-2.1 — Bản quantization APEX GGUF với DFlash speculative decoding
Quantization MoE-aware, mixed-precision APEX cho mô hình coding 118B open-weight Laguna-S-2.1 — nhỏ gọn, chạy được local, tốc độ rèn giống như draft.
Đây là bản quantization cộng đồng không chính thức của poolside/Laguna-S-2.1, một mô hình agentic coding MoE với tổng cộng 118 tỷ tham số (~8 tỷ tham số hoạt động thực sự), 48 lớp, 256 experts định tuyến + 1 shared expert, routing top-10, GQA với gating softplus, attention sliding-window/global và ngữ cảnh lên tới 1M token.
✨ Điểm nổi bật
- APEX quantization MoE-aware: phân bổ độ chính xác từng tensor và từng lớp thay vì đồng đều — giữ shared experts và lớp biên ở độ chính xác cao, nén gắt routed experts ở giữa.
- Mixed-precision: Q6_K, Q5_K, Q4_K, IQ4_XS, IQ2_S tùy vai trò — tối ưu dung lượng vs chất lượng.
- DFlash speculative decoding: hỗ trợ draft model để tăng tốc sinh (Q4_K_M đạt 1.20× trên i-quality, lên tới 2.5–3.7× trên task coding).
- Ba cấp độ kích thước: i-quality (73.9 GB), i-compact (54.4 GB), i-mini (43.6 GB, thử nghiệm).
- Tương thích llama.cpp fork của Poolside: cần dùng nhánh
lagunađể bật DFlash. - License openmdw-1.1: mã nguồn mở, dùng cho mục đích nghiên cứu và ứng dụng cá nhân.
💡 Vì sao đáng chú ý
APEX khác biệt vì nó không quantize đồng đều toàn mô hình — thay vào đó, nó thông minh phân bổ độ chính xác dựa trên vai trò của từng tensor. Nhờ đó, mô hình vẫn giữ được chất lượng gần nguyên bản nhưng nhỏ hơn đáng kể, giúp bạn chạy được mô hình 118B này trên thiết bị cá nhân như DGX Spark (128 GB).
Kết hợp với DFlash speculative decoding, tốc độ sinh được cải thiện đáng kể — đặc biệt trên các bài toán coding như HumanEval, MBPP hay GSM8K, nơi mô hình đạt tới 2.5–3.7× tốc độ so với sinh thông thường.
#GGUF #MoE #APEX #SpeculativeDecoding #Laguna #CodingAI #llama.cpp #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence Technical Report👁️ Introduction We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language models — DeepSeek-V4-Pro with 1.6T p...