Youssofal/Ternary-Bonsai-2-27B-MTPLX-Optimized-Speed
MTPLX(https://mtplx.com): the fastest way to run Ternary Bonsai 2 27B on a Mac. Native multi-token-prediction speculative decoding on Apple Silicon, exact at any temperature. Bonsai 2 27B Optimized Speed Prism ML ternary 27B model with vision and MTP...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 Ternary Bonsai 2 27B: Chạy nhanh nhất trên Mac với MTPLX
MTPLX: cách nhanh nhất để chạy Ternary Bonsai 2 27B trên Mac, hỗ trợ dự đoán đa token và trọng lượng ba trị, giữ nguyên độ chính xác ở mọi nhiệt độ.
Đây là bản tối ưu tốc độ của Prism ML's Ternary Bonsai 2 27B, được xây dựng từ Qwen 3.8 27B với trọng lượng ba trị (-1, 0, +1), kết hợp khả năng nhận ảnh. Mô hình chỉ chiếm 8.85 GB và chạy hiệu quả trên Mac với 16 GB RAM trở lên.
✨ Điểm nổi bật
- Trọng lượng ba trị: Lưu trữ mỗi trọng số dưới dạng -1, 0 hoặc +1 với một hệ số tỷ lệ cho nhóm, giảm kích thước mô hình xuống 7.67 GB.
- Dự đoán đa token (MTP): Đầu đều MTP từ Qwen 3.8 27B dự đoán trước, mô hình chính xác nhận trong một lượt.
- Tốc độ vượt trội: Trên M5 Max, đạt 64.4 tok/s sau prompt 4,061 token, nhanh hơn Qwen 3.8 27B 4-bit.
- Hỗ trợ hình ảnh: Bao gồm tower thị giác từ Qwen 3.8 27B để xử lý đầu vào đa phương thức.
- Bộ nhớ tiết kiệm: Chỉ sử dụng 11.4 GB bộ nhớ đỉnh tại prompt 4K, phù hợp với Mac 16 GB trở lên.
- Cài đặt đơn giản: Hỗ trợ cài đặt qua ứng dụng Mac hoặc dòng lệnh với
pip install mtplx.
💡 Vì sao đáng chú ý
Khác với các mô hình lượng tử hóa truyền thống, Bonsai 2 27B sử dụng kỹ thuật trọng lượng ba trị kết hợp MTP, mang lại tốc độ vượt trội trên phần cứng Apple Silicon mà không làm giảm chất lượng đầu ra. Phù hợp cho các tác vụ yêu cầu tốc độ cao như lập trình, phân tích dữ liệu và tạo nội dung đa phương thức.
#MTPLX #TernaryBonsai #AppleSilicon #SpeculativeDecoding #MultiTokenPrediction #LocalAI #VisionModel #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
MTPLX.COM(https://mtplx.com): 2 to 3x speedup. The fastest way to run models on a Mac. Qwen 3.8 27B Optimized Speed 4-bit dynamic quant. Great coding speeds and good quality. Recommended. This is the model MTPLX recommends for coding on a modern Mac...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
MTPLX.COM(https://mtplx.com): 2 to 3x speedup. The fastest way to run models on a Mac. Qwen 3.8 27B Optimized Quality 8-bit dynamic quant. Good coding speeds and perfect quality. The closest of the three MTPLX Qwen 3.8 builds to the original bf16 mod...
MTPLX.COM(https://mtplx.com): 2 to 3x speedup. The fastest way to run models on a Mac. Qwen 3.8 27B Optimized Speed FP16 4-bit dynamic quant. Great coding speeds and good quality. Recommended. This is the M1 and M2 build. The FP16 precision sibling o...
MTPLX.COM(https://mtplx.com): 2 to 3x speedup. The fastest way to run models on a Mac. Qwen 3.8 27B Optimized Quality FP16 8-bit dynamic quant. Good coding speeds and perfect quality. This is the M1 and M2 build. The FP16 precision sibling of Qwen 3....
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
!IMPORTANT SUPPORT COMING IN MTPLX v2.10. This pack needs MTPLX 2.10, which is about to release. The current MTPLX 2.9.x cannot serve it yet. Update to 2.10 when it lands and this model works out of the box in the app and the CLI. MTPLX.COM(https://...
MTPLX.COM(https://mtplx.com): 2 to 3x speedup. The fastest way to run models on a Mac. Qwen 3.8 27B Bare Speed FP16 Quickest burst chat speeds. Lower quality and slower on long coding tasks. This is the M1 and M2 build. The FP16 precision sibling of...
MTPLX.COM(https://mtplx.com): 2 to 3x speedup. The fastest way to run models on a Mac. Qwen 3.8 27B Bare Speed Quickest burst chat speeds. Lower quality and slower on long coding tasks. The fastest of the three MTPLX Qwen 3.8 builds and the smallest...