Intel/Qwen3-30B-A3B-Instruct-2507-gguf-q2ks-mixed-AutoRound
Model Details This model is a mixed gguf q2ks format of Qwen/Qwen3-30B-A3B-Instruct-2507(https://huggingface.co/Qwen/Qwen3-30B-A3B-Instruct-2507) generated by intel/auto-round(https://github.com/intel/auto-round) algorithm. Embedding layer and lm-he...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#2 Repository Của Tuần
#2 Repository Của Tuần
#2 Repository Của Tuần
🧠 Qwen3-30B-A3B-Instruct-2507 lượng tử hoá GGUF q2ks mixed từ Intel AutoRound
Mô hình GGUF q2ks mixed của Qwen/Qwen3-30B-A3B-Instruct-2507, tối ưu để chạy inference bằng llama.cpp.
Đây là phiên bản lượng tử hoá của mô hình gốc Qwen/Qwen3-30B-A3B-Instruct-2507, được tạo bằng thuật toán Intel AutoRound. README cho biết embedding layer và lm-head layer được fallback về 8 bit, còn các non-expert layers được fallback về 4 bit. Mô hình có giấy phép apache-2.0 và nên tuân theo giấy phép của mô hình gốc.
✨ Điểm nổi bật
- Định dạng GGUF q2ks mixed: Phiên bản lượng tử hoá của Qwen3-30B-A3B-Instruct-2507.
- Lượng tử hoá bằng AutoRound: Được tạo bởi thuật toán intel/auto-round.
- Embedding và lm-head 8-bit: Hai lớp này được fallback về 8 bit.
- Non-expert layers 4-bit: Các lớp không phải expert được fallback về 4 bit.
- Chạy với llama.cpp: Dùng lệnh
/llama-cli -hf Intel/Qwen3-30B-A3B-Instruct-2507-gguf-q2ks-mixed-AutoRound --conversation. - Hỗ trợ hội thoại: Tham số
--conversationcho inference theo kiểu chat. - Giấy phép Apache-2.0: Tuân theo giấy phép của mô hình gốc.
💡 Vì sao đáng chú ý
Dự án này hữu ích nếu bạn muốn chạy mô hình Qwen3-30B-A3B-Instruct-2507 với footprint thấp hơn thông qua GGUF và llama.cpp. Việc giữ embedding/lm-head ở 8 bit và non-expert layers ở 4 bit là chiến lược lượng tử hoá mixed, cân bằng giữa kích thước và chất lượng. Phù hợp cho người dùng local inference cần mô hình instruct hội thoại nhưng không muốn tải bản đầy đủ.
#GGUF #Quantization #LLM #llamaCPP #TiniX
Similar Projects
Discover other similar projects and AI models.
Read our How to Run Qwen3.8-27B Guide!(https://unsloth.ai/docs/models/qwen3.8) This GGUF uses Unsloth Dynamic V3.0 (preview) for SOTA quantization performance. Developer Role Support so Qwen3.8 can work in agentic tools like Codex and more! MTP for...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...