maci0/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP-NVFP4
RQ-27B-FABLE-UUncensoredFable-Fusion-711 27B · NVFP427B thinking VL · uncensored (Heretic) · MTP head + vision tower kept bf16.Params27BActive27B (dense)Size20 GBPerplexityn/aRefusalsn/aContext256KMTP headbf16 TL;DR: DavidAU's Qwen3.6-27B Fable-Fusio...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#2 Repository Của Tuần
🚀 Qwen3.6-27B Fable — Bản đục NVFP4 siêu nén cho Blackwell
Bản quantized NVFP4 (W4A4) của Qwen3.6-27B Fable-Fusion-711, tối ưu cho vLLM, giữ nguyên vision tower và MTP head ở bf16 để đảm bảo chất lượng sinh hình ảnh và tốc độ giảm thấp.
Đây là bản quantization của dự án DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP, một mô hình ngôn ngữ đa phương thức (vision-language) hỗ trợ suy nghĩ (thinking), không bị kiểm duyệt nội dung (uncensored/Heretic), và được trang bị đầu MTP (Multi-Token Prediction) để hỗ trợ giảm thấp suy đoán (speculative decoding). Bản quantized này chuyển đổi trọng lượng mô hình xuống dạng 4-bit (W4A4) bằng kỹ thuật NVFP4, phù hợp với kiến trúc Blackwell của NVIDIA.
✨ Điểm nổi bật
- Quantization NVFP4 (W4A4): Áp dụng cho toàn bộ backbone 27B, giảm kích thước mô hình xuống ~20 GB.
- Giữ nguyên vision tower và MTP head ở bf16: Đảm bảo chất lượng xử lý hình ảnh và hiệu quả của speculative decoding không bị suy giảm.
- Hỗ trợ vLLM: Tối ưu để chạy trên NVIDIA Blackwell với hiệu năng cao.
- Mô hình VL thinking 256K: Hỗ trợ ngữ cảnh dài và khả năng suy nghĩ sâu.
- Uncensored (Heretic): Không có cơ chế kiểm duyệt nội dung, phù hợp cho nghiên cứu và phát triển không giới hạn.
- MTP head: Hỗ trợ giảm thấp suy đoán thông qua dự đoán đa token.
💡 Vì sao đáng chú ý
Việc giữ nguyên vision tower và MTP head ở bf16 trong khi chỉ quantize backbone xuống NVFP4 cho thấy chiến lược tối ưu rất rõ rệt: nén để tiết kiệm bộ nhớ và tăng tốc, nhưng không hy sinh chất lượng đầu vào hình ảnh và tốc độ sinh thông qua speculative decoding. Đây là lựa chọn thông minh cho môi trường triển khai cần cân bằng giữa hiệu năng và độ chính xác, đặc biệt trên phần cứng Blackwell.
#NVFP4 #Qwen36 #VLLM #SpeculativeDecoding #VisionLanguage #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...