Youssofal/Qwen3.8-Flash-Next-MTPLX-Bare-Speed
!IMPORTANT SUPPORT COMING IN MTPLX v2.10. This pack needs MTPLX 2.10, which is about to release. The current MTPLX 2.9.x cannot serve it yet. Update to 2.10 when it lands and this model works out of the box in the app and the CLI. MTPLX.COM(https://...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
⚡ Qwen3.8 Flash-Next Bare Speed — Tốc độ tối đa trên Mac
Bản dựng flat 4-bit nhanh nhất của Qwen3.8 Flash-Next, chạy trực tiếp trên Apple Silicon với MTPLX.
Đây là phiên bản Qwen3.8 Flash-Next được tối ưu tốc độ tối đa với quantization 4-bit phẳng suốt toàn bộ mạng, chạy ngay trên nền tảng MTPLX. Dựa trên kiến trúc Qwen4 với GDN hybrid MoE, Qwen Sparse Attention và bảng nhớ n-gram 51 tỷ tham số, mô hình hỗ trợ multi-token prediction thông qua MTPLX speculative decoding.
✨ Điểm nổi bật
- Flat 4-bit quantization: Toàn bộ MoE expert và ma trận dense đều ở mức 4-bit với nhóm trọng số 64.
- MTPLX speculative decoding: Hỗ trợ dự đoán đa token thông qua làn đề xuất của MTPLX.
- N-gram embedding streaming từ SSD: Bảng nhớ 32GB được tải riêng rẽ và streaming từ SSD, không chiếm bộ nhớ RAM.
- Tốc độ 75.9 tok/s: Đạt tốc độ 1.6x nhờ speculative decoding so với autoregressive thông thường.
- Hỗ trợ 262.144 token ngữ cảnh: Cửa sổ ngữ cảnh rộng lớn cho các tác vụ dài.
- Chạy trên Mac Apple Silicon: Tối ưu cho Mac 96GB+ với bộ nhớ chung.
- Cài đặt đơn giản qua CLI: Cài đặt và chạy chỉ với 2 lệnh pip và mtplx serve.
💡 Vì sao đáng chú ý
Phiên bản này tập trung hoàn toàn vào tốc độ thay vì chất lượng, phù hợp cho người dùng cần sinh nhanh trên phần cứng Mac. Việc tách bảng nhớ n-gram ra thành file riêng giúp mô hình tiết kiệm bộ nhớ đáng kể so với cách truyền thống. Đặc biệt phù hợp cho máy Mac M5 Max hoặc tương đương với ít nhất 96GB RAM.
#Qwen #MTPLX #AppleSilicon #SpeculativeDecoding #FlashNext #LocalAI #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
!IMPORTANT SUPPORT COMING IN MTPLX v2.10. This pack needs MTPLX 2.10, which is about to release. The current MTPLX 2.9.x cannot serve it yet. Update to 2.10 when it lands and this model works out of the box in the app and the CLI. MTPLX.COM(https://...
MTPLX.COM(https://mtplx.com): 2 to 3x speedup. The fastest way to run models on a Mac. Qwen 3.8 27B Optimized Speed 4-bit dynamic quant. Great coding speeds and good quality. Recommended. This is the model MTPLX recommends for coding on a modern Mac...
MTPLX.COM(https://mtplx.com): 2 to 3x speedup. The fastest way to run models on a Mac. Qwen 3.8 27B Optimized Quality 8-bit dynamic quant. Good coding speeds and perfect quality. The closest of the three MTPLX Qwen 3.8 builds to the original bf16 mod...
MTPLX.COM(https://mtplx.com): 2 to 3x speedup. The fastest way to run models on a Mac. Qwen 3.8 27B Optimized Speed FP16 4-bit dynamic quant. Great coding speeds and good quality. Recommended. This is the M1 and M2 build. The FP16 precision sibling o...
MTPLX.COM(https://mtplx.com): 2 to 3x speedup. The fastest way to run models on a Mac. Qwen 3.8 27B Optimized Quality FP16 8-bit dynamic quant. Good coding speeds and perfect quality. This is the M1 and M2 build. The FP16 precision sibling of Qwen 3....
MTPLX.COM(https://mtplx.com): 2 to 3x speedup. The fastest way to run models on a Mac. Qwen 3.8 27B Bare Speed FP16 Quickest burst chat speeds. Lower quality and slower on long coding tasks. This is the M1 and M2 build. The FP16 precision sibling of...
MTPLX.COM(https://mtplx.com): 2 to 3x speedup. The fastest way to run models on a Mac. Qwen 3.8 27B Bare Speed Quickest burst chat speeds. Lower quality and slower on long coding tasks. The fastest of the three MTPLX Qwen 3.8 builds and the smallest...
MTPLX(https://mtplx.com): the fastest way to run Ternary Bonsai 2 27B on a Mac. Native multi-token-prediction speculative decoding on Apple Silicon, exact at any temperature. Bonsai 2 27B Optimized Speed Prism ML ternary 27B model with vision and MTP...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...