JonathanColetti/Qwen3.8-27B-Uncensored-GGUF
Qwen3.8-27B-Uncensored-GGUF Uncensored Qwen3.8-27B(https://huggingface.co/Qwen/Qwen3.8-27B), published as GGUF quantizations with the multi-token prediction (MTP) head retained and verified. Refusal behaviour has been substantially reduced, not elim...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#6 Repository Của Ngày
#6 Repository Của Ngày
#7 Repository Của Tháng
🧠 Qwen3.8-27B Uncensored — Phiên bản GGUF không bị kiểm duyệt nhưng vẫn giữ nguyên tính năng dự báo đa token
Phiên bản này giảm đáng kể hành vi từ chối của mô hình gốc mà không làm mất đi khả năng dự báo đa token (MTP) hay chất lượng đầu ra.
Đây là bản quantized GGUF của mô hình Qwen3.8-27B, được xử lý bở công cụ Heretic để loại bỏ các hướng từ chối mà không cần huấn luyện lại hay thay đổi dữ liệu. Toàn bộ kiến trúc, khả năng và dữ liệu huấn luyện đều giữ nguyên. Phiên bản này hỗ trợ speculative decoding nhờ giữ lại đầu MTP.
✨ Điểm nổi bật
- Loại bỏ hành vi từ chối bằng Heretic: Không dùng code tay, không huấn luyện lại, chỉ căn chỉnh trọng số để giảm từ chối.
- Giữ nguyên đầu MTP: Các tensor
mtp.*được sao chép nguyên từ mô hình gốc và xác minh tồn tại sau khi quantized. - Hỗ trợ speculative decoding: Dùng MTP làm đầu dự tham chiếu để tăng tốc sinh token.
- imatrix chính xác: Tính toán từ trọng số f16 thực, không phải từ bước trung gian.
- Nhiều dạng quantize: Bao gồm IQ4_XS, Q4_K_M, Q5_K_M, Q6_K, Q8_0 để lựa chọn theo nhu cầu bộ nhớ.
- Hai cấu hình sử dụng: Fused ( MTP nằm trong một file) hoặc tách riêng target và draft.
- Xác minh post-quantization: Kiểm tra số lượng block thực sự tồn tại so với khai báo trong file.
- Đánh giá hiệu suất: Được kiểm tra trên MMLU, ARC-Challenge, HellaSwag, Winogrande — sai số nằm trong ngưỡng thống kê.
💡 Vì sao đáng chú ý
Khác với các phương pháp ablation thông thường làm mất hoàn toàn đầu MTP, phiên bản này cẩn thận gắn lại các tensor MTP nguyên vẹn sau khi chỉnh sửa trọng số. Nhờ đó, speculative decoding vẫn hoạt động mà không mất chất lượng sinh. Kết quả đo lường cho thấy sự thay đổi trung bình chỉ khoảng -0.5 trên các bài kiểm tra — tương đương với nhiễu thống kê.
#Qwen3.8 #GGUF #SpeculativeDecoding #llama.cpp #Uncensored #TiniX
Similar Projects
Discover other similar projects and AI models.
GLM-5.2 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.2 blog and GLM-5 Technical report. 📍 Use GLM-5.2 API services on Z.ai API Platform. 🔜 Try GLM-5.2 here. Paper GitHub Introduction We're introducing GLM-5.2, our latest flagshi...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Read our How to Run Qwen3.8-27B Guide!(https://unsloth.ai/docs/models/qwen3.8) This GGUF uses Unsloth Dynamic V3.0 (preview) for SOTA quantization performance. Developer Role Support so Qwen3.8 can work in agentic tools like Codex and more! MTP for...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP HauhauCS FastMTP: up to 3.02x document TG and 1.93x reasoning TG versus non-MTP — plus up to 35.2% more document TG and 21.1% more reasoning TG than standard embedded MTP. Join the Discord(https://disco...