z-lab/Qwen3.5-4B-DFlash
Qwen3.5-4B-DFlash Paper(https://arxiv.org/abs/2602.06036) | Github(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash) This DFlash draft model is a joint retrain from Z-Lab(https://z-lab.ai) and Modal(https://modal.com), traine...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 Qwen3.5-4B-DFlash — Draft model dùng block diffusion cho speculative decoding
DFlash dùng mô hình draft nhẹ dạng diffusion để đề xuất nhiều token đồng thời, target model xác minh — tăng tốc phục vụ mà vẫn giữ nguyên phân phối đầu ra.
Qwen3.5-4B-DFlash là mô hình draft (không phải mô hình ngôn ngữ độc lập) được Z-Lab và Modal cùng huấn luyện lại từ Qwen3.5-4B với độ dài dãy 40k token và sliding-window attention, tối ưu hiệu năng ngữ cảnh dài. Mô hình này thiết kế để ghép với mô hình target trong server hỗ trợ thuật toán DFlash.
✨ Điểm nổi bật
- Block diffusion draft: dùng cơ chế diffusion để đề xuất nhiều token cùng lúc thay vì từng token như MTP truyền thống
- Sliding-window attention: hỗ trợ ngữ cảnh dài lên tới 40k token
- Tích hợp SGLang: hỗ trợ chạy server với thuật toán DFLASH qua SGLang
- Benchmark tốc độ cao: đạt 4.60x tốc độ so với baseline tại concurrency 1, 2.61x tại concurrency 32
- Hỗ trợ FA4/TRT-LLM attention: tối ưu hiệu năng trên GPU Blackwell
- FlashInfer backend: tăng tốc linear attention trong prefill và decode
💡 Vì sao đáng chú ý
DFlash khác biệt so với MTP truyền thống bằng cách dùng diffusion thay vì autoregressive để sinh token draft, cho phép đề xuất nhiều token đồng thời và giảm số lần target model phải kiểm tra. Kết quả benchmark cho thấy DFlash vượt trội hằng MTP ở hầu hết cấu hình, đặc biệt ở khối lượng GSM8K, MATH500 và HumanEval với tốc độ lên tới 4.60x.
#SpeculativeDecoding #Qwen3.5 #DFlash #BlockDiffusion #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Qwen3.6-35B-A3B-DFlash Paper(https://arxiv.org/abs/2602.06036) | Github(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash) This DFlash draft model is a joint retrain from Z-Lab(https://z-lab.ai) and Modal(https://modal.com), t...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...