alesha-pro/Qwen3.8-Flash-Next-abliterated-GSQ-RCO-Strata-GGUF
Qwen3.8-Flash-Next-abliterated-GSQ-RCO-Strata-GGUF Credits first The model weights in this repo are not mine. They are the four GSQ-RCO quantizations of Qwen3.8-Flash-Next (Q20, IQ2XS, IQ3XXS, IQ3S) made by the Deep Algorithms and Systems Lab at IST...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Ngày
#2 Repository Của Tuần
🧠 Qwen3.8-Flash-Next đã được xử lý từ chối với vector kiểm soát thời gian thực
Một bộ trọng lượng Qwen3.8-Flash-Next đã được xử lý từ chối, kết hợp bốn phiên bản lượng tử GSQ-RCO từ ISTA-DASLab, đi kèm vector kiểm soát để loại bỏ hành vi từ chối trong thời gian thực.
Dự án này không chứa trọng lượng gốc. Nó là bản sao byte-for-byte của bốn phiên bản lượng tử GSQ-RCO của Qwen3.8-Flash-Next (Q2_0, IQ2_XS, IQ3_XXS, IQ3_S) do Deep Algorithms and Systems Lab tại ISTA tạo ra, cộng thêm một file vector kiểm soát nhỏ 480KB (Huihui-Qwen3.8-Flash-Next-refusal-direction-r.gguf) để xóa bỏ các hướng từ chối trong khi mô hình chạy.
✨ Điểm nổi bật
- Sao chép nguyên bản: Trọng lượng được sao chép byte-for-byte từ ISTA-DASLab tại revision
ed59f92082b1e93c0e96d60a8b11aab089b52f09, SHA256 khớp hoàn toàn. - Vector kiểm soát thời gian thực: Dùng Strata để trừ một hướng
rkhỏi luồng dư thừa sau mỗi lớp được điều khiển:h = h - (h . r) r. - Giữ nguyên trọng lượng gốc: Không thay đổi trọng lượng ISTA-DASLab, áp dụng hướng chiếu tại thời gian chạy.
- Hỗ trợ bốn kích thước: Q2_0 (2.40 bits), IQ2_XS (2.50 bits), IQ3_XXS (3.00 bits), IQ3_S (3.50 bits).
- Tương thích Strata: Chạy trên GPU consumer NVIDIA hoặc AMD với 12GB trở lên.
- Đo lường hiệu suất: Số liệu decode từ RTX 3090, so sánh KL đến BF16 Huihui.
- Tương thích llama.cpp: Các file GGUF này cũng tải được trong llama.cpp, nhưng không hỗ trợ chế độ chiếu.
- Lược danh: Trích dẫn hai paper của ISTA-DASLab nếu sử dụng trọng lượng.
💡 Vì sao đáng chú ý
Khác với cách tiếp cận "abliterated" truyền thống (sửa trực tiếp trọng lượng), dự án này giữ nguyên trọng lượng gốc và áp dụng vector kiểm soát tại thời gian chạy thông qua Strata. Điều này giúp người dùng linh hoạt bật/tắt tính năng xóa từ chối bằng cách thay đổi cờ experimental_speed_projection. Phù hợp cho nghiên cứu và triển khai mô hình ngôn ngữ lớn trên phần cứng consumer.
#Qwen #GSQ #RCO #Strata #Abliterated #GGUF #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
GSQ-RCO upstream · layout preserved144 tensors transplantedIQ3S / IQ3XXS / IQ2XS / Q20per-tensor blake2b verified262K contextAPACHE-2.0 Qwen3.8-Flash-Next · GSQ-RCO-abliterated The refusal direction removed from an already-quantized GSQ-RCO model —...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
LocateAnything: Fast and High-Quality Vision-Language Grounding with Parallel Box Decoding 🔗 Quick Links 🚀 Online Demo: LocateAnything (Hugging Face Spaces)(https://huggingface.co/spaces/nvidia/LocateAnything) 💻 GitHub Code: NVlabs/Eagle/Embodied...
🚨 v2 released — please redownload the GGUFs The v2 GGUFs replace the original normal filenames and add explicit -MTP- variants. If you downloaded this repo before v2, please redownload your GGUF. Fixes in v2: - tokenizer metadata normalized for Qwe...