unsloth/Qwen3.5-2B-MTP-GGUF
Read our How to Run Qwen3.5 MTP Guide!(https://unsloth.ai/docs/models/qwen3.5mtp-guide) To run Qwen3.5 locally - Read our Guide! Unsloth Dynamic 2.0 achieves superior accuracy & outperforms other leading quants. NEW: MTP speculative decoding for ~1....
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#3 Repository Của Tuần
#1 Repository Của Tuần
🚀 Qwen3.5-2B-MTP-GGUF: Chạy Qwen3.5 siêu nhanh với MTP speculative decoding
Bản GGUF tối ưu từ Qwen3.5-2B với hỗ trợ MTP, tăng tốc sinh 1.5-2x qua llama.cpp.
Qwen3.5-2B-MTP-GGUF là phiên bản mã nguồn mở định dạng GGUF được tối ưu từ mô hình ngôn ngữ lớn Qwen3.5-2B, phát triển bởi nhóm Unsloth. Dự án hỗ trợ chạy local trên CPU hoặc GPU, kết hợp công nghệ MTP (Multi-Token Prediction) speculative decoding giúp tăng tốc quá trình sinh văn bản lên tới 1.5-2 lần so với cách thông thường.
✨ Điểm nổi bật
- MTP speculative decoding: Hỗ trợ giải thuật MTP thông qua llama.cpp, tăng tốc sinh ~1.5-2x.
- Chạy local: Tương thích với cả CPU và GPU (CUDA/Metal).
- Độ chính xác cao: Sử dụng công nghệ Unsloth Dynamic 2.0, vượt trội so với các phương pháp quant khác.
- Hỗ trợ công cụ: Cải tiến gọi hàm và hỗ trợ vai trò developer cho Codex, OpenCode.
- Dễ tích hợp: Tương thích với Hugging Face Transformers, llama.cpp và công cụ fine-tuning của Unsloth.
💡 Vì sao đáng chú ý
Không chỉ là một bản quant, Qwen3.5-2B-MTP-GGUF mang đến công nghệ MTP mới giúp giảm đáng kể thời gian sinh, đặc biệt hiệu quả cho ứng dụng cần phản hồi nhanh. Kết hợp với khả năng chạy local và tích hợp dễ dàng, đây là lựa chọn mạnh cho nghiên cứu, prototyping và triển khai ứng dụng AI trên máy cá nhân.
#Qwen3 #MTP #SpeculativeDecoding #LLM #AI #OpenSource #Unsloth #TiniX
Similar Projects
Discover other similar projects and AI models.
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
🌟 Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled 🔥 Update (April 5): I’ve released the complete training notebook, codebase, and a comprehensive PDF guide to help beginners and enthusiasts understand and reproduce this model's fine-tuning process...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...