DavidAU/Qwen3.6-27B-NEO-CODE-Di-IMatrix-MAX-GGUF
All Optimized Quants BENCHMARKED (5 metrics): You know exactly how strong each NEO-CODE quant is relative to full precision model. IQ4XS stands out at 94% of full precision at 1/4 the size of the full model. Then there are the Q6 and Q8, with the lat...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#3 Repository Của Tháng
🎯 Qwen3.6-27B-NEO-CODE-Di-IMatrix-MAX-GGUF: Bộ quant cường hóa tối ưu cho Qwen Vision-Language
Bộ quants GGUF được benchmark chặt chẽ với 5 metrics, IQ4XS đạt 94% full precision chỉ với 1/4 kích thước.
Đây là bộ quants GGUF tối ưu của mô hình Qwen3.6-27B do Team Qwen phát triển, kết hợp kỹ thuật NEO-CODE di-matrix và hai bộ dữ liệu imatrix riêng biệt để tạo ra bản đồ trọng số tối ưu. Mục tiêu: cân bằng giữa độ chính xác và kích thước, phù hợp cho dài ngữ cảnh, coding, math, và các tác vụ sáng tạo.
✨ Điểm nổi bật
- NEO-CODE di-matrix: Kết hợp hai bộ imatrix NEO và NEO-CODE để tối ưu trọng số.
- Benchmark đầy đủ 5 metrics: So sánh trực tiếp với full precision BF16.
- IQ4XS nổi bật: Đạt 93.98% chất lượng với kích thước nhỏ nhất.
- Q8_0 tối ưu: Phiên bản đặc biệt với thành phần BF16.
- Hỗ trợ Vision: Cần thêm mmproj để xử lý ảnh.
- 256K max context: Hỗ trợ ngữ cảnh dài tối đa.
- Cài đặt đề xuất: Hỗ trợ cả thinking mode và instruct mode.
- Phiên bản uncensored: Có sẵn bản fine-tuned không giới hạn.
💡 Vì sao đáng chú ý
Khác với cách tiếp cận "một kích thước phù hợp tất cả" thông thường, dự án này sử dụng benchmark thực tế để quyết định quant nào là tốt nhất. Điều này đảm bảo hiệu suất gần bằng full precision trong mọi trường hợp sử dụng — từ coding đến storytelling — nhưng với kích thước nhỏ gọn hơn.
Thích hợp cho người dùng muốn chạy Qwen3.6-27B trên phần cứng có giới hạn, đặc biệt là trong môi trường cần xử lý đa biên ngữ (code + creative writing + vision).
#Qwen3.6 #GGUF #Quantized #AI #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Ultimate NEO GGUF QUANTS: Custom built DUAL Imatrix NEO-CODER quants that exceed all other quants in terms of quality, stability, precision and long convo usage. IQ4XS/NL regularly scores at 94% of full precision (bf16), Q6/Q8 at 97% and 98% of full...
Ultimate: Exceeds Qwen 3.6 27B performance, uncensored and NEO-Di-Matrix quants to bring all that power in quant form. Q4/IQ4s clock in at 94% of full precision (BF16), with Q6 at just under 98%. Even IQ2M : 83% of BF16. 5 Metrics per quant, plus ben...
Qwen3.5-9B-Claude-4.6-HighIQ-THINKING-HERETIC-UNCENSORED Fine tune via Unsloth of Qwen 3.5 9B dense model using Claude 4.6 large distill dataset on local hardware. This has VASTLY improved the thinking generation (and benchmarks) of this model replac...
The Qwen 3.5 version (also 40B) got 181 likes+ This version uses the new Qwen 3.6 27B arch (which exceeds even Qwen's own 398B model). WARNING: This model has character and intelligence. It will take no prisoners. It will give no quarter. Uncensored,...
GLM-4.7-Flash-Uncensored-Heretic-NEO-CODE-Imatrix-MAX-GGUF Specialized and Enhanced UNCENSORED/HERETIC GGUF quants for the new GLM-4.7-Flash, 30B-A3B MOE, mixture of experts model. https://huggingface.co/zai-org/GLM-4.7-Flash This model can be run on...
Qwen3.5-9B-Claude-4.6-OS-Auto-Variable-HERETIC-UNCENSORED-THINKING-MAX-NEOCODE-IMATRIX-GGUF Fine tune via Unsloth of Qwen 3.5 9B dense model using Claude-4.6-OS dataset (4 Claude datasets) on local hardware. Every attempt was made to ensure the train...
Smarter beats the base model on 6 of 7 benchmarks and uncensored too. gemma-4-31B-it-The-DECKARD-HERETIC-UNCENSORED-Thinking Gemma 4 31B first "Heretic'ed" (de-censored), then fine tuned (Via Unsloth) on "THE DECKARD" 5 dataset collection to improve...
WARNING: NSFW. Vivid prose. INTENSE. Visceral Details. Light HORROR. Swearing. UNCENSORED... humor, romance, fun. NEW HERETIC L3.2 Versions (ablit, 9.25/100 refusal rates): 24B-A3B(https://huggingface.co/DavidAU/Llama3.2-24B-A3B-II-Dark-Champion-INST...
NEW! Horror Version fine tune available. See below. L3.2-Rogue-Creative-Instruct-Uncensored-Abliterated-7B-GGUF It is a LLama 3.2 model, max context of 131,072 (128k+). This model has been designed to be relatively bullet proof and operates with most...