z-lab/Qwen3.5-9B-DFlash
Qwen3.5-9B-DFlash Paper(https://arxiv.org/abs/2602.06036) | Github(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash) This DFlash draft model is a joint retrain from Z-Lab(https://z-lab.ai) and Modal(https://modal.com), traine...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🚀 Qwen3.5-9B-DFlash — Nháp mô hình khối block diffusion cho speculative decoding
DFlash dùng block diffusion nhẹ đề xuất nhiều token một lúc, mô hình chính xác nhận để tăng throughput.
Đây là mô hình nháp DFlash cho Qwen/Qwen3.5-9B, do Z-Lab và Modal cùng huấn luyện lại. Huấn luyện với độ dài dãy 40k và sliding-window attention nhằm cải thiện hiệu năng ngữ cảnh dài. Mô hình không hoạt động độc lập — cần dùng với mô hình mục tiêu trong server hỗ trợ speculative decoding.
✨ Điểm nổi bật
- Block diffusion nhẹ: đề xuất nhiều token song song thay vì từng token
- Sliding-window attention: tối ưu hiệu năng ngữ cảnh dài 40k
- Hỗ trợ SGLang: cấu hình
--speculative-algorithm DFLASHsẵn - Tốc độ tăng trưởng lớn: lên tới 5.01x ở concurrency 1, 2.58x ở concurrency 32
💡 Vì sao đáng chú ý
DFlash khác biệt so với MTP truyền thống bằng cách dùng block diffusion để đề xuất nhiều token cùng lúc, giảm số vòng lặp xác minh. Kết quả tăng tốc vượt trội ở cả concurrency thấp và cao, đặc biệt hiệu quả với workload như GSM8K, MATH500.
#DFlash #SpeculativeDecoding #Qwen3.5 #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Qwen3.6-35B-A3B-DFlash Paper(https://arxiv.org/abs/2602.06036) | Github(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash) This DFlash draft model is a joint retrain from Z-Lab(https://z-lab.ai) and Modal(https://modal.com), t...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...