RedHatAI/GLM-5.3-speculator.dspark
RedhatAI/GLM-5.3-speculator.dspark Model Overview - Model Architecture: DSparkDraftModel - Target Model Architecture: GlmMoeDsaForCausalLM - Input: Text - Output: Text - Model Optimizations: - Speculative Decoding Algorithm: DSpark - Draft Model: 3-...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tháng
#1 Repository Của Tháng
🚀 Speculator DSpark tăng tốc sinh GLM-5.3 lên tới 8 token mỗi bước
DSpark kết hợp Markov head và confidence head để đề xuất token an toàn từ hidden states của 5 lớp mục tiêu.
Red Hat AI phát hành mô hình speculator DSpark dành cho GLM-5.3, được huấn luyện bằng thư viện Speculators phiên bản 0.7.0.dev108. Mô hình sử dụng DSparkDraftModel như khung draft, hỗ trợ đầu vào/đầu ra văn bản và tích hợp giải thuật speculative decoding DSpark.
✨ Điểm nổi bật
- DSparkDraftModel: Kiến trúc draft model dựa trên DSpark, tiếp nối DFlash.
- Backbone Qwen3-style: Draft model gồm 3 lớp, đề xuất tối đa 8 token mỗi bước.
- Hidden states tích hợp: Sử dụng trạng thái ẩn từ các lớp 2, 20, 39, 58, 75 của mô hình mục tiêu GlmMoeDsaForCausalLM.
- Markov Head: Mô hình hóa phụ thuộc token trong khối, vanilla với rank 256.
- Confidence Head: Dự đoán acceptance từng vị trí, kích hoạt cùng Markov features.
- Context dài: Hỗ trợ tới 1,048,576 token.
- Hiệu suất: 41.16% acceptance rate, trung bình 4.293 token chấp nhận trên bucket 524K–1M token của MRCR.
- Huấn luyện: 1,811,739 dãy 8192 token, 88,226 bước tối ưu, FSDP 4 rank.
💡 Vì sao đáng chú ý
DSpark không chỉ là draft model truyền thống mà còn thêm Markov head để bắt mối quan hệ token trong khối và confidence head để dự đoán độ tin cậy từng vị trí. Điều này giúp tăng độ chính xác đề xuất token so với các phương pháp speculative decoding truyền thống. Phù hợp triển khai với vLLM và phần cứng lớn như 8x NVIDIA B300.
#SpeculativeDecoding #DSpark #GLM5.3 #RedHatAI #TiniX
Similar Projects
Discover other similar projects and AI models.
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
!FLUX.1 dev Grid(./devgrid.jpg) FLUX.1 dev is a 12 billion parameter rectified flow transformer capable of generating images from text descriptions. For more information, please read our blog post(https://blackforestlabs.ai/announcing-black-forest-la...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
MiniMax H3 System Overview MiniMax H3 is a general-purpose, omni-modal generative system. It supports unified understanding of multimodal contexts composed of text, images, video, and audio, and can generate video with native stereo audio at resolut...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
SAM 3 is a unified foundation model for promptable segmentation in images and videos. It can detect, segment, and track objects using text or visual prompts such as points, boxes, and masks. Compared to its predecessor SAM 2(https://github.com/facebo...
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
Kimi K3 DSpark speculator Overview A DSpark speculator for the Kimi K3 target, enabling faster inference through speculative decoding. DSpark extends the DFlash parallel-draft backbone with a Markov logit-bias head and a per-position confidence head...