poolside/Laguna-S-2.1-DFlash
Use on OpenRouter · Use on Vercel AI Gateway · Release blog post Laguna-S-2.1-DFlash DFlash speculator (draft model) for Laguna S 2.1(https://huggingface.co/poolside/Laguna-S-2.1), bf16. - Architecture: DFlashLagunaForCausalLM (6 sliding-attention l...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#2 Repository Của Tháng
🚀 Laguna-S-2.1-DFlash — Draft model tăng tốc sinh token cho Laguna S 2.1
Draft model dùng cho speculative decoding, sinh đa token dự đoán trong một bước.
Laguna-S-2.1-DFlash là mô hình phụ (draft model) dùng trong speculative decoding, hỗ trợ kiến trúc DFlashLagunaForCausalLM với 6 lớp sliding-attention, block_size 16. Mô hình này chia sẻ token embedding và lm_head với mô hình chính (Laguna S 2.1), cho phép tích hợp dễ dàng vào các hệ thống như vLLM, SGLang và llama.cpp.
✨ Điểm nổi bật
- Kiến trúc DFlashLagunaForCausalLM: 6 lớp sliding-attention, block_size 16, tối ưu cho speculative decoding.
- Chia sẻ embedding và lm_head: draft_vocab_size bằng vocab_size, không cần d2t/t2d.
- Hỗ trợ vLLM: chạy trựm với cấu hình speculative config.
- Hỗ trợ SGLang: dùng thuật toán DFLASH như draft model.
- Hỗ trợ llama.cpp (GGUF): bản đồ GGUF được chuyển đổi, hỗ trợ dưới dạng draft model
-md. - Tích hợp tokenizer mục tiêu: GGUF đã nhúng tokenizer và metadata DFlash.
💡 Vì sao đáng chú ý
Laguna-S-2.1-DFlash khác biệt ở việc tối ưu speculative decoding thông qua kiến trúc DFlash, giảm đáng kể thời gian sinh token so với cách tiếp cận truyền thống. Phù hợp với các ứng dụng đòi hỏi tốc độ phản hồi cao như chatbot, tạo nội dung và hệ thống AI thời gian thực.
#SpeculativeDecoding #DFlash #Laguna #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
!FLUX.1 dev Grid(./devgrid.jpg) FLUX.1 dev is a 12 billion parameter rectified flow transformer capable of generating images from text descriptions. For more information, please read our blog post(https://blackforestlabs.ai/announcing-black-forest-la...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Laguna-S-2.1 — colibri int4 An int4 conversion of poolside/Laguna-S-2.1(https://huggingface.co/poolside/Laguna-S-2.1) (118B total / 8B active MoE, coding) into the colibri container format, for the laguna.c standalone CPU/CUDA inference engine (part...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
MiniMax H3 System Overview MiniMax H3 is a general-purpose, omni-modal generative system. It supports unified understanding of multimodal contexts composed of text, images, video, and audio, and can generate video with native stereo audio at resolut...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
SAM 3 is a unified foundation model for promptable segmentation in images and videos. It can detect, segment, and track objects using text or visual prompts such as points, boxes, and masks. Compared to its predecessor SAM 2(https://github.com/facebo...
Laguna-S-2.1 — APEX GGUF (with DFlash speculative decoding) MoE-aware, mixed-precision APEX quantization of poolside/Laguna-S-2.1(https://huggingface.co/poolside/Laguna-S-2.1) — a 118B-total / ~8B-active open-weight agentic coding MoE (48 layers, 25...
Use on OpenRouter · Use on Vercel AI Gateway · Release blog post Laguna S 2.1 Laguna S 2.1 is a 118B total parameter Mixture-of-Experts model with 8B activated parameters per token, designed for agentic coding and long-horizon work. It sits between...