poolside/Laguna-XS-2.1-DFlash
poolside/Laguna-XS-2.1-DFlash DFlash speculator for poolside/Laguna-XS-2.1(https://huggingface.co/poolside/Laguna-XS-2.1). Model Specifications | | | |---|---| | Base Model | poolside/Laguna-XS-2.1 | | Draft Architecture | 5-layer Llama-style draft...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#2 Repository Của Tháng
⚡ DFlash speculator tăng tốc Laguna-XS-2.1 tới 2.64x
Một mô hình draft nhẹ (5 lớp Llama-style) dùng để dự đoán token trước khi mô hình chính xác nhận, giảm đáng kể thời gian sinh.
Đây là mô hình speculator DFlash (sử dụng block diffusion) được thiết kế riêng cho mô hình cơ sở poolside/Laguna-XS-2.1. Nó hoạt động bằng cách đề xuất nhanh nhiều token (lên tới 15/token bước) dựa trên kiến trúc draft gồm 5 lớp phong cách Llama, sau đó mô hình chính sẽ xác nhận hoặc loại bỏ các token này để tăng tốc quá trình sinh.
✨ Điểm nổi bật
- Draft Architecture: 5-layer Llama-style draft model (
DFlashLagunaForCausalLM) - Hidden Size: 2048, Attention Heads: 64 query / 8 key-value, head_dim 128
- Sliding Window: 512, Gating: Per-head
- Proposals: Lên tới 15 token mỗi bước thông qua speculative decoding
- Chat Template: Tương thích với
poolside/Laguna-XS-2.1qua endpoint/chat/completions - Format: Lưu dưới dạng Safetensors (BF16)
- License: OpenMDW-1.1
💡 Vì sao đáng chú ý
Khác với speculative decoding truyền thống dựa trên dự đoán token đơn lẻ, DFlash sử dụng kỹ thuật block diffusion để đề xuất một khối token lớn trong một bước, sau đó mô hình chính xác nhận lại toàn bộ khối này. Kết quả là tốc độ sinh được cải thiện đáng kể — lên tới ×2.64 trên bộ dữ liệu HumanEval — đặc biệt hữu ích cho các tác vụ cần sinh mã nguồn dài hoặc agentic coding.
#SpeculativeDecoding #DFlash #LagunaXS #OpenSource #AI #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
⚡ Each donation = another big MoE quantized I host 30+ free APEX MoE quantizations as independent research. My only local hardware is an NVIDIA DGX Spark (122 GB unified memory) — enough for ~30-50B-class MoEs, but bigger ones (200B+) require rented...
RedHatAI/gemma-4-31B-it-speculator.dflash This is a preliminary (and subject to change) DFlash(https://arxiv.org/abs/2602.06036) speculator model for google/gemma-4-31B-it(https://huggingface.co/google/gemma-4-31B-it). It was trained using the Specu...
Use on OpenRouter · Use on Vercel AI Gateway · Release blog post poolside/Laguna-S-2.1-DFlash-NVFP4 DFlash speculator for the NVFP4 target poolside/Laguna-S-2.1-NVFP4(https://huggingface.co/poolside/Laguna-S-2.1-NVFP4). The speculator is a 6-layer L...
Qwen3.6-27B-DFlash Paper(https://arxiv.org/abs/2602.06036) | GitHub(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash/) This model is still under training, and inference engine support may not be fully available yet due to arc...
Qwen3.6-35B-A3B-DFlash Paper(https://arxiv.org/abs/2602.06036) | Github(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash) This DFlash draft model is a joint retrain from Z-Lab(https://z-lab.ai) and Modal(https://modal.com), t...
Laguna-S-2.1 — APEX GGUF (with DFlash speculative decoding) MoE-aware, mixed-precision APEX quantization of poolside/Laguna-S-2.1(https://huggingface.co/poolside/Laguna-S-2.1) — a 118B-total / ~8B-active open-weight agentic coding MoE (48 layers, 25...
Base model: poolside/Laguna-XS-2.1 Laguna XS 2.1, quantized to GGUF by Atomic Chat(https://atomic.chat) with an importance matrix. Built straight from poolside's original weights. Runs fully offline on your machine. Highlights - 33B total / 3B activ...
Use on OpenRouter · Release blog post Laguna XS 2.1-NVFP4 Laguna XS 2.1-NVFP4 is a 33B total parameter Mixture-of-Experts model with 3B activated parameters per token designed for agentic coding and long-horizon work on a local machine. It uses Slid...