JANGQ-AI/MiniMax-M2.7-JANGTQ
MiniMax-M2.7-JANGTQ MiniMax M2.7 — 47 GB on disk (down from the ~230 GB FP8 source) — 2-bit JANGTQ2 quantization in JANGTQ-PRESTACK layout (pre-stacked routed experts on disk → instant cold load, no runtime cache sidecar). - Source: MiniMaxAI/MiniMa...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🚀 MiniMax-M2.7-JANGTQ — Phiên bản 2-bit gọn 47GB, tải ngay không cần xử lý
Quantization 2-bit JANGTQ2 với layout JANGTQ-PRESTACK, giảm 80% dung lượng so với nguồn FP8 gốc.
MiniMax-M2.7-JANGTQ là bản quantization 2-bit JANGTQ2 của mô hình MiniMax M2.7 (196K ngữ cảnh, 62 tầng, 256 experts MoE top-8). Dung lượng giảm còn 47GB (từ ~230GB FP8), chạy trên Apple Silicon M3/M4/M5 Max.
✨ Điểm nổi bật
- 2-bit JANGTQ2 quantization: Mã codebook MXTQ (Hadamard-quay, Lloyd-Max tối ưu) trên trọng số experts, 8-bit affine trên attention/embed, fp16 passthrough trên RMSNorm/router.
- JANGTQ-PRESTACK layout: Experts được xếp chồng trên trục 0 trực tiếp trong shards (
tq_packedshape[256, out, packed_in]), không cần restacking runtime. - Tải nhanh:
mx.load()trực tiếp trong ~14s (gồm warmup), không sidecar cache. - Tiết kiệm dung lượng: 47GB qua 51 shards (nhỏ hơn 57GB bản cũ do bỏ metadata trùng lặp).
- Hiệu năng giữ nguyên: Tốc độ decode tok/s như bản gốc nhờ cùng codec MXTQ và kernels fused.
- Hỗ trợ reasoning + tools: Parser qwen3 (thinking) + minimax (tools), cache kv chuẩn.
- Runtime nhẹ: Sidecar
jangtq_runtime.safetensors~25KB cho Swift runtimes.
💡 Vì sao đáng chú ý
Khác với quantization thông thường cần restacking experts tại thời gian tải, JANGTQ-PRESTACK xếp chồng trực tiếp trên đĩa — loại bỏ bước xử lý ~5-10s. Kết hợp giảm 80% dung lượng và giữ nguyên tốc độ, đây là lựa chọn hiệu quả cho chạy MiniMax M2.7 trên Mac Studio/M-series Max.
#MiniMaxM2 #JANGTQ #MLX #AppleSilicon #2bitQuantization #MoE #TiniX
Similar Projects
Discover other similar projects and AI models.
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Paper Link👁️ 1. Introduction We present DeepSeek-V3, a strong Mixture-of-Experts (MoE) language model with 671B total parameters with 37B activated for each token. To achieve efficient inference and cost-effective training, DeepSeek-V3 adopts Multi...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...