huihui-ai/Huihui-GLM-5.3-Flash-abliterated-GGUF

🧪 Huihui-GLM-5.3-Flash-abliterated: GLM-5.3-Flash bỏ từ chối phản hồi bằng abliteration

Một bản proof-of-concept thô sơ nhưng thú vị: chỉ ablate lớp 15–35 (0-based), giữ nguyên các expert module, đóng gói GGUF sẵn sàng chạy llama.cpp.

Dự án này của huihui-ai lấy mô hình gốc zai-org/GLM-5.3-Flash (mô hình đa phương thức image-text-to-text) và áp dụng kỹ thuật abliteration — phương pháp can thiệp vào trọng số để triệt tiêu hành vi "từ chối trả lời" (refusal) mà không cần fine-tune dữ liệu. Khác với các bản uncensored thường见 dùng LoRA/QLoRA trên toàn bộ mô hình, bản này chỉ ablate các lớp 15 đến 35 (0-based indexing), các lớp còn lại và toàn bộ expert module giữ nguyên. File GGUF được chuyển đổi từ unsloth/GLM-5.3-Flash-GGUF.

✨ Điểm nổi bật

• Abliteration nhắm mục tiêu: Chỉ can thiệp lớp 15–35, giảm rủi ro suy giảm khả năng chung so với ablate toàn bộ mô hình.
• Định dạng GGUF đa lượng tử hóa: Cung cấp nhiều mức quant (UD-Q4_K_XL, v.v.) từ unsloth GGUF, tối ưu dung lượng/VRAM.
• Chạy trực tiếp llama.cpp: Chỉ cần binary llama.cpp có merge PR unslothai (nhánh glm5next/upstream), không phụ thuộc transformers runtime nặng.
• Hỗ trợ đa phương thức: Giữ nguyên pipeline image-text-to-text của GLM-5.3-Flash (nhận ảnh + văn bản, sinh văn bản).
• Ngôn ngữ: Anh & Trung (en, zh).
• Giấy phép MIT: Tự do sử dụng, sửa đổi, phân phối.
• Cảnh báo an toàn rõ ràng: README liệt kê 6 mục rủi ro (nội dung nhạy cảm, không phù hợp mọi đối tượng, trách nhiệm pháp lý/đạo đức, chỉ dùng nghiên cứu, cần giám sát, không bảo đảm an toàn mặc định).

💡 Vì sao đáng chú ý

Abliteration là hướng tiếp cận mới so với fine-tune/LoRA truyền thống: thay vì học lại trọng số, nó phát hiện và "vô hiệu hóa" hướng không gian tiềm ẩn (latent direction) chịu trách nhiệm cho hành vi từ chối. Việc chỉ ablate dải lớp giữa (15–35) là một compromise thực dụng — các lớp thấp thường encode kiến thức nền, lớp cao kiểm soát hành vi đầu ra; can thiệp giữa giúp triệt tiêu refusal mà vẫn bảo toàn reasoning và knowledge. Bản GGUF từ unsloth đảm bảo hiệu năng llama.cpp tốt (flash-attn, kernel tối ưu). Dự án phù hợp cho nghiên cứu an toàn mô hình, thử nghiệm hành vi uncensored trong môi trường kiểm soát, hoặc làm baseline so sánh với các phương pháp uncensored khác.

#Abliteration #UncensoredLLM #GLM5 #GGUF #LlamaCPP #TiniX