mradermacher/Qwen3.8-Whittle-MoE-27B-A17.8B-GGUF
About static quants of https://huggingface.co/logic65/Qwen3.8-Whittle-MoE-27B-A17.8B For a convenient overview and download list, visit our model page for this model(https://hf.tst.eu/modelQwen3.8-Whittle-MoE-27B-A17.8B-GGUF). weighted/imatrix quant...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🧠 Bản GGUF của Qwen3.8-Whittle-MoE-27B-A17.8B — Nhỏ lại, chạy được ngay
Bản quantization tĩnh của mô hình Qwen3.8-Whittle-MoE-27B-A17.8B, tối ưu để chạy trên CPU/GPU cục bản mà không cần GPU lớn.
Đây là bản quantization GGUF do mradermacher tạo ra dựa trên mô hình gốc logic65/Qwen3.8-Whittle-MoE-27B-A17.8B — một mô hình nghiên cứu kết hợp hai kỹ thuật tiên tiến: Whittle (tinh gọn mô hình thông qua tìm kiếm subnet hiệu quả) và Mixture-of-Experts (MoE) (mở rộng quy mô mô hình thông qua các chuyên gia chuyên biệt). Mô hình cũng áp dụng router healing, một kỹ thuật giúp cải thiện độ ổn định khi lựa chọn chuyên gia trong MoE. Bản quantization này giúp người dùng dễ dàng triển khai và chạy thử trên phần cứng cá nhân.
✨ Điểm nổi bật
- Quantized GGUF: Hỗ trợ nhiều định dạng quantization như Q2_K, Q3_K_S, Q4_K_S, Q5_K_S, Q6_K, Q8_0, và IQ4_XS để lựa chọn phù hợp với phần cứng.
- Dựa trên MoE + Whittle: Kết hợp kiến trúc Mixture-of-Experts và kỹ thuật tinh gọn mô hình Whittle để cân bằng giữa hiệu năng và kích thước.
- Router healing: Áp dụng kỹ thuật làm phục hồi bộ định tuyến (router) trong MoE giúp tăng độ ổn định và chất lượng sinh.
- Chạy trên CPU/GPU cục bản: Không yêu cầu GPU đắt tiền, phù hợp với người dùng phát triển và nghiên cứu cá nhân.
- Nhiều tùy chọn quantization: Từ Q2_K (nhỏ nhất ~11.4GB) đến Q8_0 (chất lượng cao nhất ~28.8GB), người dùng có thể chọn theo nhu cầu bộ nhớ và chất lượng.
- Hỗ trợ multi-part files: Các tệ tin lớn có thể được chia thành nhiều phần và ghép lại khi tải về.
💡 Vì sao đáng chú ý
Không phải ai cũng có khả năng truy cập GPU lớn để chạy các mô hình ngữ lý lớn như Qwen3.8-Whittle-MoE-27B-A17.8B. Bản quantization GGUF này mở ra khả năng tiếp cận rộng rãi hơn bằng cách nén mô hình xuống dạng có thể chạy trên máy tính cá nhân. Đặc biệt, sự kết hợp giữa Whittle và MoE trong mô hình gốc tạo ra một mạng lưới chuyên gia thông minh, trong khi router healing giúp giảm thiểu lỗi khi lựa chọn chuyên gia — một bài toán thường gặp ở các mô hình MoE lớn.
#GGUF #Qwen3.8 #Whittle #MixtureOfExperts #RouterHealing #Quantization #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators ELECTRA is a new method for self-supervised language representation learning. It can be used to pre-train transformer networks using relatively little compute. ELECTRA mode...
Read our How to Run Qwen3.8-27B Guide!(https://unsloth.ai/docs/models/qwen3.8) This GGUF uses Unsloth Dynamic V3.0 (preview) for SOTA quantization performance. Developer Role Support so Qwen3.8 can work in agentic tools like Codex and more! MTP for...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
BERT base model (uncased) Pretrained model on English language using a masked language modeling (MLM) objective. It was introduced in this paper(https://arxiv.org/abs/1810.04805) and first released in this repository(https://github.com/google-resear...