QuantTrio/Qwen3-30B-A3B-Instruct-2507-GPTQ-Int8
Qwen3-30B-A3B-Instruct-2507-GPTQ-Int8 Base model: Qwen/Qwen3-30B-A3B-Instruct-2507(https://huggingface.co/Qwen/Qwen3-30B-A3B-Instruct-2507) 【vLLM 4-GPU Single Node Launch Command】 Note: When using 4 GPUs, you must include --enable-expert-parallel be...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tuần
🚀 Bản GPTQ-Int8 của Qwen3-30B-A3B-Instruct-2507, tối ưu cho vLLM đa GPU
QuantTrio đóng gói mô hình Qwen3 MoE thành bản Int8 để triển khai thực tế trên nhiều GPU với vLLM.
Dự án là bản lượng tử hóa GPTQ-Int8 của Qwen/Qwen3-30B-A3B-Instruct-2507, do QuantTrio phát hành. Mô hình gốc là MoE non-thinking mode, có 30.5B tham số tổng và 3.3B tham số kích hoạt, hỗ trợ ngữ cảnh dài tới 262.144 token. Bản này giữ nguyên kiến trúc và năng lực của base model, đồng thời giảm kích thước xuống khoảng 30GB để dễ triển khai hơn.
✨ Điểm nổi bật
- Lượng tử hóa GPTQ-Int8: Giảm footprint mô hình xuống khoảng 30GB so với bản gốc.
- Tối ưu cho vLLM: README cung cấp lệnh chạy single-node trên 4 GPU với tensor parallelism.
- Expert parallel bắt buộc với 4 GPU: Cần
--enable-expert-parallelđể expert tensor TP chia đều; với 2 GPU thì không bắt buộc. - Ngữ cảnh dài: Hỗ trợ context length tới 262.144 token, ví dụ lệnh dùng 32768.
- MoE 128 experts: 128 experts, kích hoạt 8 experts mỗi token, 48 lớp và GQA 32Q/4KV.
- Non-thinking mode: Chỉ hỗ trợ non-thinking mode, không sinh block
<think></think>, không cần đặtenable_thinking=False. - Tương thích vLLM: Yêu cầu
vllm>=0.9.2, có bản cập nhật sửa tương thích với vLLM 0.10.1. - Giấy phép Apache-2.0: Kế thừa giấy phép của base model.
💡 Vì sao đáng chú ý
Điểm giá trị nhất là QuantTrio không chỉ lượng tử hóa mô hình mà còn cung cấp cấu hình chạy thực tế cho vLLM đa GPU, giúp người dùng tránh lỗi chia tensor expert. Với kích thước ~30GB và khả năng ngữ cảnh rất dài, đây là lựa chọn phù hợp để tự host Qwen3 MoE trên hạ tầng GPU vừa phải mà vẫn giữ năng lực suy luận, lập trình và agent của bản gốc.
#Qwen3 #GPTQ #Int8 #vLLM #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence Technical Report👁️ Introduction We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language models — DeepSeek-V4-Pro with 1.6T p...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...