logic65/Qwen3.8-Whittle-MoE-27B-A17.8B-GGUF
Whittle MoE 27B (A18B) v2.1 GGUF Quantized builds of Whittle MoE 27B (A18B)(https://huggingface.co/logic65/Qwen3.8-Whittle-MoE-27B-A17.8B), a post hoc mixture of experts carved from Qwen3.8-27B and taught when to stop talking. v2.1 passed every rele...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#4 Repository Của Tháng
#1 Repository Của Tuần
🚀 Whittle MoE 27B (A18B) v2.1 GGUF — Phiên bản quantized của mô hình MoE thông minh
Bản quantized GGUF của Whittle MoE 27B (A18B), một mô hình mixture-of-experts được rút trích từ Qwen3.8-27B và được huấn luyện để biết khi nào nên dừng trả lời.
Đây là bản quantized GGUF của Whittle MoE 27B (A18B), một mô hình MoE (mixture of experts) được tạo ra từ Qwen3.8-27B thông qua kỹ thuật "post hoc carving" — tức là rút trích chuyên gia sau khi mô hình đã được huấn luyện. Mô hình không chỉ hiểu và sinh văn bản mà còn được dạy biết khi nào nên dừng lại, giảm thiểu các câu trả lời dài thừa hoặc bị cắt cụt. Phiên bản v2.1 đã vượt qua mọi bài kiểm tra: tỷ lệ lỗi giảm đáng kể, không có câu trả lời bị cắt đứt, và điểm số kiến thức ổn định.
✨ Điểm nổi bật
- Lựa chọn file linh hoạt: Từ BF16 (50.2 GB) xuống DQ3 (13.9 GB), phù hợp với nhiều cấu hình phần cứng.
- Quant động DQ (Dynamic Quantization): Router giữ ở F16, các phần nhạy cảm như embedding và output head được bảo vệ ở các tầng cao hơn.
- Tối ưu kích thước: DQ4_K_XL và Q4_K_M là các phiên bản cân bằng giữa dung lượng và chất lượng.
- Hỗ trợ offload chuyên gia: Dùng
--n-cpu-moeđể chuyển các lớp expert sang RAM khi thiếu VRAM. - Tương thích với llama.cpp: Chạy trực tiếp mà không cần fork hay vá lỗi.
- Hỗ trợ hình ảnh (thử nghiệm): Kèm theo mmproj để xử lý đa phương tiện, mở rộng khả năng hiểu ảnh.
- Công cụ kiểm tra miễn phí:
loop_test.pygiúp kiểm tra loop rate, đánh giá toàn diện hiệu suất mô hình.
💡 Vì sao đáng chú ý
Không chỉ là một mô hình MoE lớn, Whittle MoE 27B (A18B) v2.1 nổi bật nhờ khả năng "biết dừng" — giảm đáng kể các câu trả lời dài không cần thiết. Kết hợp giữa quant động thông minh và cấu trúc MoE, bản quantized này mang lại hiệu năng cao ngay cả trên phần cứng consumer-grade (20–24 GB VRAM). Đặc biệt, công nghệ DQ không chỉ nén mô hình mà còn bảo vệ các thành phần then chốt như router và attention, giữ cho chất lượng sinh văn bản không bị suy giảm.
#Qwen3 #MoE #GGUF #TextGeneration #Whittle #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence Technical Report👁️ Introduction We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language models — DeepSeek-V4-Pro with 1.6T p...