poolside/Laguna-S-2.1-DFlash-NVFP4
Use on OpenRouter · Use on Vercel AI Gateway · Release blog post poolside/Laguna-S-2.1-DFlash-NVFP4 DFlash speculator for the NVFP4 target poolside/Laguna-S-2.1-NVFP4(https://huggingface.co/poolside/Laguna-S-2.1-NVFP4). The speculator is a 6-layer L...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🚀 Speculator DFlash tối ứu giảm độ trễ cho mô hình NVFP4
Mô hình speculator DFlash 6 tầng (BF16) thiết kế riêng cho giải mã phỏng đoán trên mô hình NVFP4 Laguna-S-2.1.
Đây là mô hình speculator dựa trên kiến trúc Laguna với 6 tầng, được huấn luyện để hỗ trợ giải mã phỏng đoán (speculative decoding) trên mô hình gốc NVFP4 poolside/Laguna-S-2.1-NVFP4. Mục tiêu là giảm độ trễ khi phục vụ bằng cách dự đoán các token trước khi mô hình chính xác nhận.
✨ Điểm nổi bật
- Speculator DFlash 6 tầng: Mô hình phụ (draft model) dạng BF16 với kiến trúc Laguna, hỗ trợ giải mã phỏng đoán.
- Tích hợp với NVFP4: Được thiết kế để làm speculator cho mô hình gốc NVFP4
poolside/Laguna-S-2.1-NVFP4. - Cài đặt đề xuất: Sử dụng
num_speculative_tokens=7để đạt hiệu suất tối ưu. - Tốc độ xử lý cao: Đạt tốc độ tăng trưởng lên tới 3.692x ở concurrency 1 trên bộ chuẩn HumanEval.
- Hỗ trợ ngưỡng chấp nhận tốt: Độ dài chấp nhận trung bình lên tới 6.438 token ở concurrency 1.
- Hỗ trợ phần cứng: DFlash đang được tích hợp hỗ trợ trên vLLM, SGLang và TRT-LLM.
💡 Vì sao đáng chú ý
Mô hình speculator này không chỉ là một mô hình phụ nhỏ để dự đoán token, mà là một phần quan trọng trong pipeline giải mã phỏng đoán, giúp giảm đáng kể độ trể phản hồi khi phục vụ mô hình lớn. Với hiệu suất tăng tốc rõ rệt trên nhiều bộ chuẩn đánh giá khác nhau, đây là lựa chọn hiệu quả cho các hệ thống cần xử lý thời gian thực.
#SpeculativeDecoding #DFlash #NVFP4 #Laguna #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
!FLUX.1 dev Grid(./devgrid.jpg) FLUX.1 dev is a 12 billion parameter rectified flow transformer capable of generating images from text descriptions. For more information, please read our blog post(https://blackforestlabs.ai/announcing-black-forest-la...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Ornith-1.5-35B-A3B-DFlash Ornith-1.5-35B-A3B-DFlash pairs the Ornith-1.5-35B-A3B model with a DFlash draft model for speculative decoding. This repository provides the DFlash draft checkpoint and serving configuration for accelerating Ornith-1.5-35B...
RedHatAI/gemma-4-31B-it-speculator.dflash This is a preliminary (and subject to change) DFlash(https://arxiv.org/abs/2602.06036) speculator model for google/gemma-4-31B-it(https://huggingface.co/google/gemma-4-31B-it). It was trained using the Specu...
Use on OpenRouter · Use on Vercel AI Gateway · Release blog post Laguna-S-2.1-DFlash DFlash speculator (draft model) for Laguna S 2.1(https://huggingface.co/poolside/Laguna-S-2.1), bf16. - Architecture: DFlashLagunaForCausalLM (6 sliding-attention l...
poolside/Laguna-XS-2.1-DFlash DFlash speculator for poolside/Laguna-XS-2.1(https://huggingface.co/poolside/Laguna-XS-2.1). Model Specifications | | | |---|---| | Base Model | poolside/Laguna-XS-2.1 | | Draft Architecture | 5-layer Llama-style draft...