ornith-ai/Ornith-1.5-35B-A3B-DFlash
Ornith-1.5-35B-A3B-DFlash Ornith-1.5-35B-A3B-DFlash pairs the Ornith-1.5-35B-A3B model with a DFlash draft model for speculative decoding. This repository provides the DFlash draft checkpoint and serving configuration for accelerating Ornith-1.5-35B...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Ngày
#1 Repository Của Tuần
🚀 Ornith-1.5-35B-A3B-DFlash: Tăng tốc giải mã bằng DFlash
Ornith-1.5-35B-A3B-DFlash kết hợp mô hình mục tiêu Ornith-1.5-35B-A3B với mô hình ước lường DFlash để tăng tốc giải mã thông qua kết nối suy luỵ.
Ornith-1.5-35B-A3B-DFlash là một bản ghi nhớ DFlash dùng cho giải mã suy luỵ cùng với mô hình Ornith-1.5-35B-A3B. Repositório này cung cấp checkpoint DFlash và cấu hình phục vụ để tăng tốc suy luỵ của Ornith-1.5-35B-A3B. Checkpoint DFlash không phải là một mô hình ngôn ngữ độc lập — nó được thiết kế để chạy cùng với mô hình mục tiêệu dưới cùng một môi trường phục vụ hỗ trợ DFlash.
✨ Điểm nổi bật
- Mô hình mục tiêu: Ornith-1.5-35B-A3B — mô hình truy xuất xác minh và sinh cuối cùng
- Mô hình ước lượng DFlash: Ornith-1.5-35B-A3B-DFlash — đề xuất khối token đa tuần tự
- Kết nối suy luỵ: Tăng tốc thông qua việc kiểm tra đồng thời nhiều token đề xuất
- Kiến trúc block-diffusion: Mô hình ước lượng nhẹ sử dụng khối diffusion để đề xuất token
- Hỗ trợ vLLM: Phiên bản >= 0.20.2 (được kiểm tra với 0.28.0)
- Hỗ trợ SGLang: Phiên bản 0.5.18
- Cấu hình mẫu: Hỗ trợ cấu hình spec với num_speculative_tokens=8
- Mô hình lý luận: Hỗ trợ phân tích reasoning_content và tool_calls
💡 Vì sao đáng chú ý
Ornith-1.5-35B-A3B là thành viên trung gian của gia đình Ornith-1.5 — một bước tiến lớn trong việc xây dựng các mô hình nền tảng thông qua tự cải thiện liên tục. Dự án mở rộng vòng lặp tự cải thiện từ scaffold và rollout optimization sang việc tối ưu hóa đồng thời task generation, scaffold construction, và solution rollouts.
Điểm đặc biệt của DFlash là việc sử dụng một mô hình ước lượng nhẹ dựa trên block-diffusion để đề xuất nhiều token đồng thời, trong khi Ornith-1.5-35B-A3B kiểm chứng các đề xuất như mô hình mục tiêu. Cách tiếp cận này cải thiện đáng kể thông lượng giải mã mà vẫn giữ nguyên phân phối đầu ra của mô hình mục tiêu.
#DFlash #SpeculativeDecoding #OrnithAI #Qwen3 #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen3.6-35B-A3B-DFlash Paper(https://arxiv.org/abs/2602.06036) | Github(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash) This DFlash draft model is a joint retrain from Z-Lab(https://z-lab.ai) and Modal(https://modal.com), t...
Ornith-1.5-9B-DFlash Ornith-1.5-9B-DFlash pairs the Ornith-1.5-9B model with a DFlash draft model for speculative decoding. This repository provides the DFlash draft checkpoint and serving configuration for accelerating Ornith-1.5-9B inference. The...
Qwen3.5-9B-DFlash Paper(https://arxiv.org/abs/2602.06036) | Github(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash) This DFlash draft model is a joint retrain from Z-Lab(https://z-lab.ai) and Modal(https://modal.com), traine...
Qwen3.5-35B-A3B-DFlash Paper(https://arxiv.org/abs/2602.06036) | Github(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash) This DFlash draft model is a joint retrain from Z-Lab(https://z-lab.ai) and Modal(https://modal.com), t...
Qwen3.5-4B-DFlash Paper(https://arxiv.org/abs/2602.06036) | Github(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash) This DFlash draft model is a joint retrain from Z-Lab(https://z-lab.ai) and Modal(https://modal.com), traine...
Ornith-1.5-397B-DFlash Ornith-1.5-397B-DFlash pairs the Ornith-1.5-397B model with a DFlash draft model for speculative decoding. This repository provides the DFlash draft checkpoint and serving configuration for accelerating Ornith-1.5-397B inferen...
Qwen3.6-27B-DFlash Paper(https://arxiv.org/abs/2602.06036) | GitHub(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash/) This model is still under training, and inference engine support may not be fully available yet due to arc...
Qwen3.6-35B-A3B-DFlash Paper(https://arxiv.org/abs/2602.06036) | Github(https://github.com/z-lab/dflash) | Blog(https://z-lab.ai/projects/dflash) This DFlash draft model is a joint retrain from Z-Lab(https://z-lab.ai) and Modal(https://modal.com), t...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...