ornith-ai/Ornith-1.5-397B-DFlash
Ornith-1.5-397B-DFlash Ornith-1.5-397B-DFlash pairs the Ornith-1.5-397B model with a DFlash draft model for speculative decoding. This repository provides the DFlash draft checkpoint and serving configuration for accelerating Ornith-1.5-397B inferen...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#3 Repository Của Tuần
🐦 Ornith-1.5-397B-DFlash: Tăng tốc suy luận bằng speculative decoding
Ornith-1.5-397B-DFlash ghép mô hình Ornith-1.5-397B với một mô hình DFlash nhẹ để thực hiện speculative decoding, cải thiện throughput khi suy luân.
Đây là kho chứa checkpoint DFlash và cấu hình phục vụ đi kèm với Ornith-1.5-397B — một mô hình ngôn ngữ lớn 397 tỷ tham số được phát triển theo hướng tự cải thiện liên tục. DFlash không phải là mô hình ngôn ngữ độc lập mà phải chạy đồng thời với mô hình chính trong môi trường hỗ trợ DFlash.
✨ Điểm nổi bật
- Speculative decoding: Dùng block-diffusion draft model đề xuất nhiều token đồng thời, Ornith-1.5-397B xác nhận và sinh kết quả cuối cùng.
- Tăng tốc suy luận: Cải thiện throughput mà vẫn giữ nguyên phân phối đầu ra của mô hình chính.
- Hai vai trò rõ rệt: Ornith-1.5-397B làm mô hình xác minh và sinh trả lời; DFlash làm mô hình nháp đề xuất token.
- Tích hợp SGLang và vLLM: Hỗ trợ cấu hình phục vụ với cả hai runtime phổ biến.
- Hỗ trợ reasoning parser: Tự động tách khối suy luận
<think>và tool call<tool_call>thành các trường riêng biệt. - Cấu hình linh hoạt: Hỗ trợ điều chỉnh số token giả đoán và kích thước khối (block size).
💡 Vì sao đáng chú ý
DFlash mang cách tiếp cận speculative decoding hiệu quả bằng cách sử dụng mô hình diffusion nhẹ thay vì một mô hình lớn khác. Điều này giảm đáng kể chi phí tính toán trong khi vẫn duy trì chất lượng sinh của Ornith-1.5-397B. Phù hợp với các hệ thống cần tốc độ cao nhưng hạn chế tài nguyên.
#SpeculativeDecoding #DiffusionLanguageModel #Qwen3 #SGLang #vLLM #TiniX
Similar Projects
Discover other similar projects and AI models.
Ornith-1.5-35B-A3B-DFlash Ornith-1.5-35B-A3B-DFlash pairs the Ornith-1.5-35B-A3B model with a DFlash draft model for speculative decoding. This repository provides the DFlash draft checkpoint and serving configuration for accelerating Ornith-1.5-35B...
Qwen3.6-35B-A3B-DFlash Paper(https://arxiv.org/abs/2602.06036) | Github(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash) This DFlash draft model is a joint retrain from Z-Lab(https://z-lab.ai) and Modal(https://modal.com), t...
Ornith-1.5-9B-DFlash Ornith-1.5-9B-DFlash pairs the Ornith-1.5-9B model with a DFlash draft model for speculative decoding. This repository provides the DFlash draft checkpoint and serving configuration for accelerating Ornith-1.5-9B inference. The...
Qwen3.5-9B-DFlash Paper(https://arxiv.org/abs/2602.06036) | Github(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash) This DFlash draft model is a joint retrain from Z-Lab(https://z-lab.ai) and Modal(https://modal.com), traine...
Qwen3.5-35B-A3B-DFlash Paper(https://arxiv.org/abs/2602.06036) | Github(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash) This DFlash draft model is a joint retrain from Z-Lab(https://z-lab.ai) and Modal(https://modal.com), t...
Qwen3.5-4B-DFlash Paper(https://arxiv.org/abs/2602.06036) | Github(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash) This DFlash draft model is a joint retrain from Z-Lab(https://z-lab.ai) and Modal(https://modal.com), traine...
Qwen3.6-27B-DFlash Paper(https://arxiv.org/abs/2602.06036) | GitHub(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash/) This model is still under training, and inference engine support may not be fully available yet due to arc...
Qwen3.6-35B-A3B-DFlash Paper(https://arxiv.org/abs/2602.06036) | Github(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash) This DFlash draft model is a joint retrain from Z-Lab(https://z-lab.ai) and Modal(https://modal.com), t...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...