orcarouter/Qwen3.8-27B-Uncensored-NVFP4
Qwen3.8-27B-Uncensored-NVFP4 An abliterated (refusal-removed) & dynamic mixed-precision NVFP4 + FP8 build of Qwen's Qwen3.8-27B — for Blackwell FP4 One Gateway. Every Model. — Route Smarter · Ship Safer · Spend Less. Run via API · API Endpoint ·...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#5 Repository Của Tháng
#5 Repository Của Tháng
#7 Repository Của Tháng
🔬 Qwen3.8-27B-Uncensored-NVFP4 — Phiên bản mixed-precision NVFP4+FP8 đã bỏ an toàn
Abliterated (xóa hướng từ chối an toàn) + mixed-precision NVFP4/FP8 từ Qwen3.8-27B — dành cho Blackwell FP4, giữ nguyên vision, reasoning, tools và MTP.
Đây là một bản dựng quantized của Qwen/Qwen3.8-27B, một mô hình ngôn ngữ đa mô hình (vision-language) với 27 tỷ tham số, kiến trúc hybrid attention (Gated DeltaNet + full attention), hỗ trợ reasoning linh hoạt, gọi công cụ và đầu MTP dự báo phổ biến. Bản dựng này đã loại bỏ hoàn toàn cơ chế từ chối an toàn (safety alignment) thông qua kỹ thuật ablation hướng refusal, sau đó áp dụng quantization mixed-precision: các lớp feed-forward chính được nén xuống 4-bit NVFP4, trong khi các lớp nhạy cảm và KV cache được giữ ở FP8 để duy trì độ chính xác.
✨ Điểm nổi bật
- Abliterated (unrefused): Đã xóa bỏ hướng từ chối an toàn trong residual stream, mô hình sẽ tuân lệnh mọi yêu cầu kể cả gây hại.
- NVFP4 + FP8 Mixed-Precision: Lớp feed-forward nén 4-bit NVFP4, lớp nhạy cảm & KV cache giữ ở FP8 — tốt hơn W4A4 đồng nhất.
- Native Vision-Language: Hỗ trợ đầu vào hình ảnh + văn bản nhờ tower VL tích hợp sẵn.
- Hybrid Attention: Kết hợp Gated DeltaNet (48 lớp attention tuyến tính) + full attention (16 lớp), tối ưu tốc độ và bộ nhớ.
- MTP Speculative Decoding: Đầu dự báo đa-token tăng tốc sinh token.
- 262K Context: Hỗ trợ ngữ cảnh dài lên tới 262.000 token.
- Tool Calling & Reasoning: Hỗ trợ gọi công cụ và suy nghĩ logic linh hoạt.
- API Endpoint tích hợp: Chạy ngay qua OrcaRouter API với model
qwen/qwen3.8-27b.
💡 Vì sao đáng chú ý
Không phải mỗi mô hình uncensored đều giữ nguyên được độ chính xác khi quantized. Qwen3.8-27B-Uncensored-NVFP4 khác biệt ở việc dùng mixed-precision thông minh: NVFP4 cho lớp FFN (giảm kích thước mô hình), FP8 cho lớp nhạy cảm (giữ chất lượng sinh). Kết hợp với MTP và hybrid attention, mô hình cung cấp tốc độ cao và chất lượng tốt dù đã bị stripped an toàn. Phù hợp cho nghiên cứu AI safety, red-teaming, đánh giá robustness và thử nghiệm kiểm chứng cơ chế refusal.
#Qwen3 #NVFP4 #Abliterated #RedTeam #OrcaRouter #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen3.8-27B-Uncensored-FP8 An abliterated (refusal-removed) & offline block-FP8 build of Qwen's Qwen3.8-27B One Gateway. Every Model. — Route Smarter · Ship Safer · Spend Less. Website · Model Catalog · Model Card · GitHub · Discord · X --- An a...
Qwen3.8-27B-Uncensored-GGUF GGUF quants (2-bit → 16-bit) of the abliterated (refusal-removed) Qwen3.8-27B — for llama.cpp One Gateway. Every Model. — Route Smarter · Ship Safer · Spend Less. Website · Model Catalog · Model Card · GitHub · Discord ·...
Qwen3.8-27B-Uncensored-MLX An abliterated (refusal-removed) MLX build of Qwen's Qwen3.8-27B — 2 / 4 / 6 / 8-bit for Apple Silicon One Gateway. Every Model. — Route Smarter · Ship Safer · Spend Less. Website · Model Catalog · Model API · GitHub · Dis...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...