llmfan46/Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-GPTQ-Int4
🚨⚠️ I HAVE REACHED HUGGING FACE'S FREE STORAGE LIMIT ⚠️🚨 I can no longer upload new models unless I can cover the cost of additional storage.I host 70+ free models as an independent contributor and this work is unpaid.Without your support, no more...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 Qwen3.6-35B-A3B Uncensored Heretic - Phiên bản tối ưu GPTQ-Int4 với MTP giữ nguyên
Bản mod giảm 88% từ chối (10/100 so với 83/100 gốc), KL divergence chỉ 0.0015, toàn bộ 19 MTP intacts.
Đây là bản GPTQ-Int4 (4-bit quantization) của mô hình Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved, được tạo bởi Heretic v1.3.0 với phương pháp Magnitude-Preserving Orthogonal Ablation (MPOA). Đây là phiên bản decensored của Qwen/Qwen3.6-35B-A3B, loại bỏ các hạn chế nội dung nhạy cảm mà không làm mất chất lượng mô hình.
✨ Điểm nổi bật
- Giảm 88% từ chối: Chỉ 10/100 trường hợp từ chối so với 83/100 của bản gốc.
- KL divergence thấp: 0.0015, gần như không thay đổi so với mô hình gốc.
- Toàn bộ 19 MTP giữ nguyên: Cấu trúc Multi-Task Prediction không bị mất hoặc thay đổi.
- GPTQ-Int4 tối ưu: Nén mô hình xuống 4-bit, giảm kích thước bộ nhớ nhưng vẫn duy trì hiệu năng.
- Decensored bằng MPOA: Sử dụng phương pháp Magnitude-Preserving Orthogonal Ablation để loại bỏ censorship một cách chính xác.
- Hỗ trợ image-text-to-text: Pipeline hỗ trợ xử lý kết hợp hình ảnh và văn bản.
- Apache-2.0 license: Mã nguồn mở, có thể sử dụng thương mại.
- Các thành phần mục tiêu: attn.o_proj, attn.out_proj, mlp.down_proj được xử lý chính xác.
💡 Vì sao đáng chú ý
Khác biệt với các bản mod thông thường chỉ đơn giản xóa bỏ các lớp censorship, dự án này sử dụng MPOA để duy trì tính toàn vẹn của mô hình thông qua việc dựa trên các tham số hướng dẫn chính xác (direction_index, max_weight, min_weight...). Kết quả là một mô hình uncensored hoàn toàn nhưng vẫn giữ được độ chính xác gần như nguyên bản (KL divergence chỉ 0.0015).
Ngoài ra, việc giữ nguyên tất cả 19 MTP đảm bảo mô hình vẫn hoạt động ổn định với các tính năng đa nhiệm. Phiên bản GPTQ-Int4 giúp giảm đáng kể yêu cầu bộ nhớ, phù hợp triển khai trên các thiết bị có tài nguyên hạn chế.
#Llama #Uncensored #GPTQ #Heretic #MPOA #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Qwen3.6-35B-A3B !Qwen Chat(https://img.shields.io/badge/%F0%9F%92%9C%EF%B8%8F%20Qwen%20Chat%20-536af5)(https://chat.qwen.ai) !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transfor...