catlilface/Qwen3.6-35B-A3B-NVFP4-Fast-GGUF
Qwen 3.6 35B A3B NVFP4 Fast GGUF About This model is an unmodified GGUF quantization of unsloth/Qwen3.6-35B-A3B-NVFP4-Fast(https://huggingface.co/unsloth/Qwen3.6-35B-A3B-NVFP4-Fast), made with the llama.cpp conversion tool. Please refer to unsloth r...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 Qwen 3.6 35B A3B NVFP4 Fast GGUF — Bản định dạng GGUF tối ưu tốc độ
Bản GGUF không sửa đổi của Qwen 3.6 35B A3B NVFP4 Fast, được chuyển đổi bằng llama.cpp, tối ưu chạy trên GPU với tốc độ sinh token lên tới ~134 t/s.
Đây là phiên bản GGUF không sửa đổi của mô hình unsloth/Qwen3.6-35B-A3B-NVFP4-Fast, được tạo bằng công cụ chuyển đổi llama.cpp. Dự án hướng đến việc cung cấp một bản định dạng GGUF có hiệu suất cao, phù hợp để chạy trên GPU mà không cần offload về CPU. Tác giả khuyến nghị tham khảo kho lưu trữ gốc của unsloth để biết các chỉ số chất lượng.
✨ Điểm nổi bật
- Chuyển đổi bằng llama.cpp: Sử dụng công cụ chuyển đổi chuẩn từ llama.cpp để tạo bản GGUF.
- Tối ưu chạy trên GPU: Hỗ trợ chạy hoàn toàn trên GPU, có thể dùng offloading nếu cần.
- Tốc độ sinh token cao: Đạt ~134.4 t/s trên cấu hình 5070 Ti + 5060 Ti.
- Hỗ trợ b_task đa GPU: Cấu hình Docker hỗ trợ sử dụng 2 GPU đồng thời.
- KV cache quantization: Tối ưu hóa bằng KV cache quantization để tăng tốc sinh token.
- Tensor split linh hoạt: Hỗ trợ chia tensor cho cấu hình GPU không đồng đều.
- Speculative decoding: Sử dụng
--spec-type draft-mtpđể tăng tốc sinh token. - Yêu cầu phiên bản llama.cpp mới: Cần phiên bản >= b9957 để đảm bảo tương thích.
💡 Vì sao đáng chú ý
So với các bản định dạng khác, GGUF của Qwen 3.6 này tập trung tối ưu tốc độ chạy trên GPU, đặc biệt phù hợp cho các tác vụ agentic và sinh token nhanh. Với tốc độ lên tới ~134 t/s trên cặp 5070 Ti + 5060 Ti, đây là lựa chọn hiệu quả cho người dùng có phần cứng đồng tương đương. Ngoài ra, các tùy chọn như KV cache quantization và speculative decoding giúp tận dụng tối đa hiệu suất của GPU.
#Qwen36 #GGUF #LLaMACPP #AI #TiniX
Similar Projects
Discover other similar projects and AI models.
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
Qwen3.6-35B-A3B !Qwen Chat(https://img.shields.io/badge/%F0%9F%92%9C%EF%B8%8F%20Qwen%20Chat%20-536af5)(https://chat.qwen.ai) !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transfor...