MuXodious/Qwen3.8-27B-absolute-heresy-LoRA
This is a decensoring LoRA adapter for Qwen/Qwen3.8-27B(https://huggingface.co/Qwen/Qwen3.8-27B), made using Heretic(https://heretic-project.org) v1.4.0 Abliteration parameters | Parameter | Value | | :-------- | :---: | | directionindex | 37.44 | |...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#7 Repository Của Tháng
#7 Repository Của Tháng
🔓 LoRA giải mã kiểm duyệt cho Qwen3.8-27B
Bộ điều chỉnh LoRA này giảm đáng kể các lời từ chối của mô hình gốc thông qua quy trình abliteratation.
Đây là một bộ điều chỉnh LoRA (Low-Rank Adaptation) nhằm mục đích giải mã các cơ chế kiểm duyệt trong mô hình Qwen3.8-27B, được tạo ra bằng công cụ Heretic v1.4.0. Dự án áp dụng kỹ thuật abliteratation với các tham số tùy chỉnh để điều chỉnh hành vi phản hồi của mô hình.
✨ Điểm nổi bật
- LoRA adapter: Tích hợp với Qwen/Qwen3.8-27B thông qua PEFT
- Abliteration: Sử dụng Heretic v1.4.0 với direction_index 37.44
- Tham số attn.o_proj: Cấu hình max/min weights cho các lớp attention
- Tham số mlp.down_proj: Điều chỉnh trọng số cho lớp MLP
- Hiệu suất cao: Giảm 98% lời từ chối so với mô hình gốc
- KL divergence thấp: 0.0759, giữ nguyên kiến thức gốc
💡 Vì sao đáng chú ý
So với các phương pháp giải mã thông thường, bộ điều chỉnh này đạt được hiệu quả vượt trội với tỷ lệ từ chối giảm từ 101/101 xuống cém 2/101 mẫu. Kết hợp giữa abliteratation và PEFT, dự án tối ưu cả quá trình huấn luyện và hiệu suất mô hình.
#LORA #Qwen3 #Heretic #Abliteration #Uncensored #TiniX
Similar Projects
Discover other similar projects and AI models.
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
Qwen3.6-35B-A3B !Qwen Chat(https://img.shields.io/badge/%F0%9F%92%9C%EF%B8%8F%20Qwen%20Chat%20-536af5)(https://chat.qwen.ai) !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transfor...