Barding-Defense/Qwen3.8-27B-huihui-abliterated-NVFP4-NInfer
Qwen3.8-27B abliterated — NVFP4 for NInfer An NVFP4 artifact of huihui-ai/Huihui-Qwen3.8-27B-abliterated(https://huggingface.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated), packaged for the NInfer(https://github.com/Neroued/ninfer) engine. This is the...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#2 Repository Của Tháng
#2 Repository Của Tháng
🚀 Qwen3.8-27B abliterated — NVFP4 cho NInfer
Bản đồ NVFP4 của Qwen3.8-27B đã xóa bỏ giới hạn từ chối, tối ưu cho motor NInfer trên GPU Blackwell.
Đây là bản thể hiện NVFP4 của mô hình huihui-ai/Huihui-Qwen3.8-27B-abliterated, được đóng gói riêng để chạy trên engine NInfer. Đây là phiên bản đã xóa bỏ (abliterated) tương ứng với bản chính thức neroued/Qwen3.8-27B-NInfer, bao gồm toàn bộ thành phần: Text, Vision, MTP, attention, tokenizer, cấu hình sinh và tài nguyên xử lý đa phương tiện — tất cả trong một tệp duy nhất.
✨ Điểm nổi bật
- NVFP4 cho NInfer: Tệp tin duy nhất
.ninfervới kích thước 21,4 GB, chứa 1124 đối tượng. - Xóa giới hạn từ chối: Loại bỏ hướng từ chối bằng chỉnh sửa trọng số trên các lớp 18–51, giữ nguyên lớp 0–17, 52–63, vision tower và MTP.
- Đồng nhất với bản chính thức: Kiểm tra từng đối tượng — tên, định dạng, layout, kích thước byte và hình dạng đều giống hệt bản chính thức
qwen3.8-27b/nvfp4. - Phân bổ số học tối ưu: NVFP4 dùng cho MLP, FP8/FP32 dùng cho attention và GDN, BF16 dùng cho norm, vision, MTP.
- Không cần vá engine: Chạy trên bản NInfer gốc, do nhận diện
qwen3.8-27b/nvfp4đã được đăng ký sẵn. - Hiệu năng đo lường: Nhanh hơn ~35% khi dùng MTP speculative decoding, tăng tốc 1.6–2× ở giai đoạn prefill.
- Chỉ cần $1.69–$3.30 RunPod: Toàn bộ pipeline chuyển đổi chỉ mất vài giờ với chi phí rẻ.
- Hướng dẫn tái tạo: Công thức chi tiết trong
AGENT.md,SUPPORTED.mdvàscripts/.
💡 Vì sao đáng chú ý
Không chỉ là một mô hình đã được nén và loại bỏ giới hạn — đây còn là một bộ công cụ hoàn chỉnh giúp bất kỳ người dùng nào tự thân tạo ra bản đồ NVFP4 từ checkpoint tương thích. Sự kết hợp giữa sự tinh gọn của NInfer, hiệu năng của Blackwell và khả năng giải phóng (abliterated) của mô hình mở ra khả năng chạy Qwen3.8-27B cực nhanh mà không cần cloud.
#NVFP4 #Qwen3.8 #NInfer #Blackwell #TiniX
Similar Projects
Discover other similar projects and AI models.
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Qwen3.5-9B !Qwen Chat(https://img.shields.io/badge/%F0%9F%92%9C%EF%B8%8F%20Qwen%20Chat%20-536af5)(https://chat.qwen.ai) !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers...
🚨 v2 released — please redownload the GGUFs The v2 GGUFs replace the original normal filenames and add explicit -MTP- variants. If you downloaded this repo before v2, please redownload your GGUF. Fixes in v2: - tokenizer metadata normalized for Qwe...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
Qwen3.6-35B-A3B !Qwen Chat(https://img.shields.io/badge/%F0%9F%92%9C%EF%B8%8F%20Qwen%20Chat%20-536af5)(https://chat.qwen.ai) !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transfor...