RedHatAI/gemma-4-31B-it-speculator.dflash
RedHatAI/gemma-4-31B-it-speculator.dflash This is a preliminary (and subject to change) DFlash(https://arxiv.org/abs/2602.06036) speculator model for google/gemma-4-31B-it(https://huggingface.co/google/gemma-4-31B-it). It was trained using the Specu...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#2 Repository Của Tuần
🚀 DFlash Speculator cho Gemma-4-31B-it — Tăng tốc sinh token lên tới 5 lớp
Mô hình speculator DFlash (theo công trình arXiv 2602.06036) giúp giảm độ trễ sinh token bằng cách dự báo đầu ra từ nhiều tầng của mô hình gốc.
Đây là phiên bản thử nghiệm (có thể thay đổi) của mô hình speculator DFlash dành cho google/gemma-4-31B-it, do Red Hat AI phát triển. Mô hình được huấn luyện bằng thư viện Speculators trên dữ liệu kết hợp từ Magpie-Llama-3.1-Pro-300K-Filtered và train_sft của ultrachat_200k, trong đó câu trả lời được sinh bởi chính mô hình gemma-4-31B-it (không suy nghĩ).
✨ Điểm nổi bật
- Dự báo đa tầng (5 lớp): Sử dụng
--num-layers 5để dự đoán đầu ra từ các tầng 1, 17, 29, 47, 58, 60. - Huấn luyện trên dữ liệu Magpie + UltraChat: Dữ liệu được sinh bởi gemma-4-31B-it, phù hợp với hành vi mô hình gốc.
- Tích hợp với vLLM: Hỗ trợ triển khai ngay qua
vllm servehoặc cấu hình speculative decoding. - Hỗ trợ quantize FP8: Có thể kết hợp với bản dịch FP8 để tối ưu tốc độ và bộ nhớ.
- Đánh giá trên nhiều bộ dữ liệu: Bao gồm HumanEval, math_reasoning, qa, tool_call, translation, writing…
- Tỷ lệ chấp nhận token cao ở vị trí đầu: Lên tới 85.8% ở vị trí 0 trên HumanEval.
- Cấu hình linh hoạt: Hỗ trợ điều chỉnh
draft-vocab-size,max-anchors,lr,epochs, và kích thích Silu. - Triển khai qua endpoint /chat/completions: Tương thích với chat template của google/gemma-4-31B-it.
💡 Vì sao đáng chú ý
Mô hình DFlash speculator không chỉ là bản sao của mô hình gốc, mà là một mạng con nhẹ hơn được huấn luyện để dự đoán đầu ra của từng tầng — giúp vLLM thực hiện speculative decoding hiệu quả. Kết hợp với công nghệ draft-model trong vLLM, mô hình giúp giảm đáng kể thời gian chờ đợi khi sinh văn bản, đặc biệt trên các tác vụ cần sinh dài như coding, toán, hoặc dịch thuật.
Đây là lựa chọn lý tưởng cho các ứng dụng triển khai Gemma-4-31B-it ở môi trường sản xuất nơi yêu cầu tốc độ cao và tài nguyên hạn chế.
#DFlash #Speculator #Gemma4 #RedHatAI #SpeculativeDecoding #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
BERT base model (uncased) Pretrained model on English language using a masked language modeling (MLM) objective. It was introduced in this paper(https://arxiv.org/abs/1810.04805) and first released in this repository(https://github.com/google-resear...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...