Youssofal/Qwen3.8-27B-MTPLX-Bare-Speed
MTPLX.COM(https://mtplx.com): 2 to 3x speedup. The fastest way to run models on a Mac. Qwen 3.8 27B Bare Speed Quickest burst chat speeds. Lower quality and slower on long coding tasks. The fastest of the three MTPLX Qwen 3.8 builds and the smallest...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#2 Repository Của Tuần
#5 Repository Của Tuần
#5 Repository Của Tuần
⚡ Qwen3.8-27B Bare Speed — bản đẹp nhất tốc độ, không cần cân nhắc chất lượng
Tốc độ burst nhanh nhất trong ba bản dựng MTPLX cho M1/M2/M3/M4/M5.
Đây là bản dựng nhanh nhất và nhỏ nhất trong ba phiên bản Qwen 3.8 của MTPLX, dùng cho máy Mac. Dựa trên Qwen3.8-27B với quant 4-bit và giữ nguyên đầu đầu ra đa token (MTP), giúp MTPLX dự báo và xác minh trong một lượt. Phù hợp cho chat nhanh nhưng chất lượng sẽ thấp hơn và chậm hơn trên nhiệm vụ code dài. Nếu muốn tốc độ tối đa cho chat, đây là lựa chọn.
✨ Điểm nổi bật
- Quant 4-bit toàn bộ trọng số: mọi ma trận trọng số đều ở mức 4-bit nhóm 64, không có bất kỳ phần nào được nâng cấp.
- Giữ nguyên đầu MTP gốc: giữ lại toàn bộ đầu dự đoán đa token (MTP), GDN, norm và các tham số trạng thái.
- Tốc độ burst nhanh nhất: đo đạt 65.2 tok/s trên M5 Max với
mtplx serve, nhanh hơn cả các phiên bản trước. - Cài đặt tốc độ draft: draft sampler ở nhiệt độ 0.6, tối ưu tốc độ (46.1 vs 42.4 tok/s).
- Hỗ trợ reasoning nhiều cấp: các mức reasoning (low, medium, xhigh) vẫn hoạt động, giữ nguyên luồng nghĩ logic qua đường MTP.
- Cấu hình tích hợp sẵn: các thiết lập depth và draft được lưu trong
mtplx_runtime.json, tự động tải khi khởi động. - Bộ nhớ tiêu thụ thấp: chỉ 17.0 GB bộ nhớ đỉnh, với cửa sổ ngữ cảnh 262k token.
💡 Vì sao đáng chú ý
Qwen3.8-27B Bare Speed tập trung hoàn toàn vào tốc độ burst. Với KL divergence so với bản gốc bf16 là 0.0376, xa cách hơn so với Optimized Speed (1.7x) và Optimized Quality (36x). Điều này cho thấy rõ thế hệ đổi giá: tốc độ nhanh hơn đáng kể nhưng chất lượng giảm rõ rệt, đặc biệt trên nhiệm vụ code dài. Tuy nhiên, nếu bạn cần phản hồi nhanh trong một phiên chat ngắn hoặc trò chuyện không đòi hỏi độ chính xác cao, đây là lựa chọn nhanh nhất hiện có cho Qwen 3.8 trên Mac.
#MTPLX #Qwen38 #MultiTokenPrediction #SpeculativeDecoding #MacAI #LocalAI #TiniX
Similar Projects
Discover other similar projects and AI models.
MTPLX.COM(https://mtplx.com): 2 to 3x speedup. The fastest way to run models on a Mac. Qwen 3.8 27B Optimized Speed 4-bit dynamic quant. Great coding speeds and good quality. Recommended. This is the model MTPLX recommends for coding on a modern Mac...
MTPLX.COM(https://mtplx.com): 2 to 3x speedup. The fastest way to run models on a Mac. Qwen 3.8 27B Optimized Quality 8-bit dynamic quant. Good coding speeds and perfect quality. The closest of the three MTPLX Qwen 3.8 builds to the original bf16 mod...
MTPLX.COM(https://mtplx.com): 2 to 3x speedup. The fastest way to run models on a Mac. Qwen 3.8 27B Optimized Speed FP16 4-bit dynamic quant. Great coding speeds and good quality. Recommended. This is the M1 and M2 build. The FP16 precision sibling o...
MTPLX.COM(https://mtplx.com): 2 to 3x speedup. The fastest way to run models on a Mac. Qwen 3.8 27B Optimized Quality FP16 8-bit dynamic quant. Good coding speeds and perfect quality. This is the M1 and M2 build. The FP16 precision sibling of Qwen 3....
MTPLX.COM(https://mtplx.com): 2 to 3x speedup. The fastest way to run models on a Mac. Qwen 3.8 27B Bare Speed FP16 Quickest burst chat speeds. Lower quality and slower on long coding tasks. This is the M1 and M2 build. The FP16 precision sibling of...
!IMPORTANT SUPPORT COMING IN MTPLX v2.10. This pack needs MTPLX 2.10, which is about to release. The current MTPLX 2.9.x cannot serve it yet. Update to 2.10 when it lands and this model works out of the box in the app and the CLI. MTPLX.COM(https://...
!IMPORTANT SUPPORT COMING IN MTPLX v2.10. This pack needs MTPLX 2.10, which is about to release. The current MTPLX 2.9.x cannot serve it yet. Update to 2.10 when it lands and this model works out of the box in the app and the CLI. MTPLX.COM(https://...
MTPLX(https://mtplx.com): the fastest way to run Ternary Bonsai 2 27B on a Mac. Native multi-token-prediction speculative decoding on Apple Silicon, exact at any temperature. Bonsai 2 27B Optimized Speed Prism ML ternary 27B model with vision and MTP...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...