Archsloth/Qwen3.5-9B-GGUF
Most quantized weights ship with an adjective. Ours ship with a table. Head to head with unsloth/Qwen3.5-9B-GGUF, same Q4KM rung — KL divergence from bf16, lower is better: Korean −25.4&8201;% &183; English −11.4&8201;% Two axes me...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🧮 Qwen3.5-9B-ARCHsloth Q4 — Quantize tối ưu rounding, không cần fork
Cùng rung Q4_K_M với unsloth, chỉ khác ở cách round — và kết quả KL divergence tốt hơn tới 25%.
Đây là bản quantize GGUF của Qwen3.5-9B từ dự án ARCHsloth, dùng llama.cpp chuẩn, không mod, không format riêng. Mục tiêu: tối ưu rounding để giảm sai lệch so với bản bf16 gốc. Kết quả đo bằng KL divergence trên tiếng Hàn và tiếng Anh cho thấy cải thiện đáng kể so với các bản quantize khác ở cùng mức nén.
✨ Điểm nổi bật
- Q4_K_M chuẩn llama.cpp: Bit rộng và tensor type giống hệt, chỉ khác rounding.
- Giảm KL divergence: Tiếng Hàn -25.4%, tiếng Anh -11.4% so với unsloth cùng rung.
- Bộ calibri interleaved: 200 mẫu 9.000 ký tự, tiếng Hàn và Anh xen kẽ từng mẫu.
- SignRoundV2 rounding: Dùng gradient sign search (arXiv:2512.04746) để tối ưu rounding.
- Vision tower nguyên gốc: mmproj-F32 chưa quantize, giữ độ chính xác thị giác.
- File duy nhất 5.78GB: Qwen3.5-9B-AS-Q4_K_M.gguf — trọng số chính.
- Hỗ trợ llama-server và llama-cli: Chạy trực tiếp trên CPU, hỗ trợ vision qua --mmproj.
- Đánh giá minh bạch: Công thức, log, và EVAL.md công khai trên repo.
💡 Vì sao đáng chú ý
ARCHsloth không thay đổi kiến trúc quantize — chỉ tinh chỉnh rounding với SignRoundV2 và bộ calibri interleaved. Cách tiếp cận này cho phép cải thiện đáng kể chất lượng đầu ra mà không đổi tensor type hay bit width. Bằng chứng: chỉ thay đổi calibri text (English-only thay vì interleaved) làm Korean KL tăng từ 0.019255 lên 0.027336 — đạt độ nhạy 29.6%.
Phù hợp với người dùng cần chạy Qwen3.5-9B trên CPU/on-device, đặc biệt với workload đa ngôn ngữ (tiếng Hàn + Anh). Vision tower giữ nguyên full precision nên phù hợp cho ứng dụng đa phương tiện mà không hy sinh độ chính xác thị giác.
#Qwen35 #GGUF #Quantization #llamaCPP #ARCHsloth #Multilingual #VisionLanguage #LocalLLM #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
🚨 v2 released — please redownload the GGUFs The v2 GGUFs replace the original normal filenames and add explicit -MTP- variants. If you downloaded this repo before v2, please redownload your GGUF. Fixes in v2: - tokenizer metadata normalized for Qwe...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
Qwen3.5-9B !Qwen Chat(https://img.shields.io/badge/%F0%9F%92%9C%EF%B8%8F%20Qwen%20Chat%20-536af5)(https://chat.qwen.ai) !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers...
ZDTaichu5.0-9B Project Page(https://taichu-ai.github.io/ZDTaichu5.0-9B/) | GitHub(https://github.com/Taichu-AI/ZDTaichu5.0-9B) | ModelScope(https://www.modelscope.cn/models/TaichuAI/ZDTaichu5.0-9B) ZDTaichu5.0-9B is a multimodal foundation model for...