ornith-ai/Ornith-1.5-9B-DFlash
Ornith-1.5-9B-DFlash Ornith-1.5-9B-DFlash pairs the Ornith-1.5-9B model with a DFlash draft model for speculative decoding. This repository provides the DFlash draft checkpoint and serving configuration for accelerating Ornith-1.5-9B inference. The...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Ngày
🚀 Ornith-1.5-9B-DFlash: Tăng tốc sinh thái Ornith với DFlash
Ornith-1.5-9B-DFlash mang DFlash — mô hình dự thảo block-diffusion — lên Ornith-1.5-9B để tăng tốc giải mã mà không thay đổi phân phối đầu ra.
Ornith-1.5-9B-DFlash là một repository chứa checkpoint DFlash dùng làm mô hình dự thảo (draft model) cho việc tăng tốc bản ghi nhớ của Ornith-1.5-9B thông qua kỹ thuật speculative decoding. DFlash không phải là mô hình ngôn ngữ độc lập mà phải chạy đồng thời với mô hình gốc (target model) trong môi trường hỗ trợ DFlash.
✨ Điểm nổi bật
- Kết hợp DFlash với Ornith-1.5-9B: Dùng mô hình dự thảo nhẹ để đề xuất khối token, Ornith-1.5-9B xác minh và sinh ra kết quả.
- Speculative decoding: Tăng tốc độ sinh token bằng cách paralel hóa quá trình đề xuất.
- Block-diffusion draft model: Kiến trúc DFlash sử dụng mô hình phân tán khối để đưa ra dự đoán nhanh.
- Phân tách vai trò: Ornith-1.5-9B làm mô hình xác minh; Ornith-1.5-9B-DFlash làm mô hình đề xuất.
- Hỗ trợ vLLM và SGLang: Cung cấp cấu hình phục vụ tương thích với vLLM >=0.20.2 và SGLang =0.5.18.
- Cấu hình reasoning parser: Hỗ trợ trích xuất chain-of-thought và tool_call trong định dạng OpenAI.
- Tham số sampling được đề xuất: Hướng dẫn thiết lập nhiệt độ, top_p, top_k cho từng loại tác vụ.
💡 Vì sao đáng chú ý
DFlash mang lại cách tiếp cận mới cho việc tối ưu tốc độ suy diễn mô hình ngôn ngữ lớn. Thay vì dựa vào việc nâng cấp phần cứng hoặc rút ngắn độ dài ngữ cảnh, DFlash sử dụng một mô hình phụ nhẹ để dự đoán trước các token tiềm năng, sau đó mô hình chính xác minh lại. Điều này giúp tăng throughput mà vẫn giữ nguyên chất lượng đầu ra của Ornith-1.5-9B.
Đây là lựa chọn hiệu quả cho các ứng dụng cần triển khai mô hình trên thiết bị độc lập hoặc môi trường có tài nguyên hạn chế như GPU đơn hoặc thiết bị di động thông qua bản đồ lượt tương đương Ornith-1.5-9B-Mobile.
#AI #SpeculativeDecoding #OpenSource #DFlash #TiniX
Similar Projects
Discover other similar projects and AI models.
Ornith-1.5-35B-A3B-DFlash Ornith-1.5-35B-A3B-DFlash pairs the Ornith-1.5-35B-A3B model with a DFlash draft model for speculative decoding. This repository provides the DFlash draft checkpoint and serving configuration for accelerating Ornith-1.5-35B...
Qwen3.6-35B-A3B-DFlash Paper(https://arxiv.org/abs/2602.06036) | Github(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash) This DFlash draft model is a joint retrain from Z-Lab(https://z-lab.ai) and Modal(https://modal.com), t...
Qwen3.5-9B-DFlash Paper(https://arxiv.org/abs/2602.06036) | Github(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash) This DFlash draft model is a joint retrain from Z-Lab(https://z-lab.ai) and Modal(https://modal.com), traine...
Qwen3.5-35B-A3B-DFlash Paper(https://arxiv.org/abs/2602.06036) | Github(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash) This DFlash draft model is a joint retrain from Z-Lab(https://z-lab.ai) and Modal(https://modal.com), t...
Qwen3.5-4B-DFlash Paper(https://arxiv.org/abs/2602.06036) | Github(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash) This DFlash draft model is a joint retrain from Z-Lab(https://z-lab.ai) and Modal(https://modal.com), traine...
Ornith-1.5-397B-DFlash Ornith-1.5-397B-DFlash pairs the Ornith-1.5-397B model with a DFlash draft model for speculative decoding. This repository provides the DFlash draft checkpoint and serving configuration for accelerating Ornith-1.5-397B inferen...
Qwen3.6-27B-DFlash Paper(https://arxiv.org/abs/2602.06036) | GitHub(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash/) This model is still under training, and inference engine support may not be fully available yet due to arc...
Qwen3.6-35B-A3B-DFlash Paper(https://arxiv.org/abs/2602.06036) | Github(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash) This DFlash draft model is a joint retrain from Z-Lab(https://z-lab.ai) and Modal(https://modal.com), t...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...