fleetml/Qwen3.8-27B-Uncensored-NVFP4-RTX5090
Qwen3.8-27B Uncensored NVFP4 RTX 5090 RTX 5090 optimized ModelOpt NVFP4 conversion of orcarouter/Qwen3.8-27B-Uncensored(https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored), produced directly from the original BF16 safetensors. This checkpoint...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🚀 Qwen3.8-27B Uncensored NVFP4 — Bản tối ưu cho RTX 5090
Bản chuyển đổi NVFP4 từ ModelOpt, giữ nguyên kiến trúc vision-language và tensor MTP gốc.
Đây là bản chuyển đổi NVFP4 của dự án orcarouter/Qwen3.8-27B-Uncensored, được thực hiện trực tiếp từ các tệ tin BF16 gốc. Mô hình được tối ưu cho phần cứng RTX 5090 và hỗ trợ speculative decoding với bộ soạn dự bản NVFP4 DSpark.
✨ Điểm nổi bật
- NVFP4 target: Dung lượng 20.59 GB, chiếm 18.80 GB trọng lượng GPU
- DSpark drafter: Dung lượng 1.64 GB, chiếm 1.70 GB trọng lượng GPU
- Cặp kết hợp: Tổng dung lượng 22.24 GB, chiếm 20.50 GB trọng lượng GPU
- Context tối đa: Hỗ trợ lên đến 262,144 token, đã xác thực ở 122,880 token
- Tốc độ giải mã: Đạt 217.73 token/giây trên RTX 5090 đơn
- Thời gian phản hồi: Time to first token trung bình 0.113 giây, P95 là 0.149 giây
- Kiến trúc: Dựa trên
Qwen3_5ForConditionalGenerationvới 15 tensor MTP gốc - Môi trường chạy: Đề xuất SGLang Qwen3.8 image với RTX 5090 32 GB
💡 Vì sao đáng chú ý
Bản chuyển đổi NVFP4 này mang lại hiệu năng giải mã vượt trội nhờ speculative decoding, đặc biệt khi kết hợp với bộ soạn dự DSpark. Với hơn 217 token/giây, đây là lựa chọn mạnh mẽ cho nghiên cứu địa phương và phát triển agent.
#Qwen38 #NVFP4 #RTX5090 #SpeculativeDecoding #TiniX
Similar Projects
Discover other similar projects and AI models.
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...