jrell/Qwen3.8-27B-i1-IQ4_XS-GGUF-Smaller
Qwen3.8-27B-i1-IQ4XS-GGUF-Smaller A custom hybrid quantization of the Qwen3.8-27B base model, specifically designed to fit Multi-Token Prediction (MTP) and long context into a strict 16GB VRAM hardware budget (like consumer RTX 4080 / RTX 5080 cards...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🚀 Quantize lai Qwen3.8-27B vừa đủ chạy MTP + 128K context trên 16GB VRAM
Quantize thông minh: Attention giữ IQ4_XS, FFN nén xuống IQ3_S — file nhỏ 13.5GB, còn chỗ cho MTP và context dài.
Đây là bản quantize tùy chỉnh của Qwen3.8-27B, được thiết kế để vừa đủ chạy Multi-Token Prediction (MTP) và ngữ cảnh dài trên phần cứng 16GB VRAM như RTX 4080/5080. Thay vì nén toàn bộ mô hình đồng đều, dự án tận dụng sự khác biệt giữa các loại layer: Attention (trí tuệ và logic) được giữ ở IQ4_XS để bảo vệ khả năng lập luận, coding, định dạng; FFN được nén xuống IQ3_S để giảm kích thước file. Kết quả: mô hình chỉ ~13.5GB, đủ không gian cho MTP hoặc context lớn.
✨ Điểm nổi bật
- Quantize lai IQ4_XS + IQ3_S: Attention giữ IQ4_XS, FFN nén IQ3_S.
- File nhỏ 13.5GB: Tiết kiệm VRAM để chạy MTP hoặc tăng context.
- Hỗ trợ MTP: Multi-Token Prediction hoạt động trơn tru.
- Context dài: 64K context + MTP đạt 50 t/s, 128K không MTP ~30 t/s.
- Dựa trên llama.cpp: Sử dụng mainline llama.cpp để biên dịch.
- iMatrix tối ưu: Sử dụng iMatrix để cải thiện chất lượng quantize.
💡 Vì sao đáng chú ý
Không giống các bản quantize thông thường nén đồng đều toàn mô hình, bản đồ giữ IQ4_XS cho Attention layer — nơi chứa logic suy luận và coding — và chỉ nén FFN xuống IQ3_S. Cách tiếp cận này giữ được chất lượng reasoning cao nhưng vẫn giảm đáng kể dung lượng, giúp MTP và context dài vừa vặn trong 16GB. Phù hợp cho máy tính tiểu cảnh consumer RTX 4080/5080.
#Qwen3 #GGUF #Quantize #MTP #MultiTokenPrediction #16GBVRAM #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Read our How to Run Qwen3.8-27B Guide!(https://unsloth.ai/docs/models/qwen3.8) This GGUF uses Unsloth Dynamic V3.0 (preview) for SOTA quantization performance. Developer Role Support so Qwen3.8 can work in agentic tools like Codex and more! MTP for...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...