prism-ml/Bonsai-27B-mlx-1bit
Prism ML Website | Whitepaper | Demo & Examples | Discord 1-bit Bonsai 27B Full 27B-class reasoning in binary transformer weights — the first 27B-class model to run on a phone ~14.2x smaller than FP16 | ~90% o...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Ngày
#1 Repository Của Ngày
#2 Repository Của Ngày
📱 Bonsai 27B: Toàn bộ lý trí 27B trong trọng số nhị phân
Mô hình ngôn ngữ 27B đầu tiên chạy trên điện thoại với trọng số nhị phân thực sự — chỉ 3.9 GB, giữ 90% hiệu suất FP16.
Bonsai-27B-mlx-1bit là dự án của Prism ML, biến mô hình ngôn ngữ lớp 27B thành dạng nhị phân hoàn toàn. Dựa trên Qwen3.6-27B, mô hình này áp dụng kỹ thuật nén nhị phân g128 (1.125 bit/trọng số) cho toàn bộ kiến trúc: embedding, attention, MLP và LM head. Nhờ đó, mô hình vừa giảm kích thước xuống còn ~3.9 GB (14.2x nhỏ hơn FP16), vừa duy trì khả năng lý luận, suy nghĩ và hành động tự động — đạt 76.11 trên 15 bộ benchmark lĩnh vực suy ngẫn.
✨ Điểm nổi bật
- 3.9 GB footprint: nhỏ hơn 14.2x so với FP16 (54 GB), vừa vặn trong bộ nhớ điện thoại cao cấp.
- 1.125 bit/trọng số thực sự: trọng số nhị phân g128 áp dụng cho toàn bộ embedding, attention, MLP và LM head — không có bất kỳ kênh trống hổi nào.
- 76.11 điểm trung bình trên 15 benchmark suy ngẫn, bằng 89.5% so với FP16, bao gồm toán học 91.66 và lập trình 81.88.
- 262K-token ngữ cảnh trên thiết bị: nhờ backbone hybrid-attention (75% linear attention) và KV-cache 4-bit.
- Tốc độ tạo sinh trên điện thoại: ~11 tok/s trên iPhone 17 Pro Max, ~44 tok/s trên laptop Apple M5 Pro.
- Kernel hybrid-attention tùy chỉnh: hỗ trợ Apple MLX (Python, Swift) và CUDA, trọng số nén được sử dụng trực tiếp không cần giải mã.
- Tốc độ hóa speculative decoding: lớp DSpark drafter được huấn luyện đối ứng, tăng tốc 1.37x ở đường dẫn CUDA.
- Bản hỗ trợ ternary đi kèm: Bonsai 27B phiên bản ternary (~7.2 GB, 95% FP16) dành cho laptop và GPU.
💡 Vì sao đáng chú ý
Khác với các bản dựng low-bit thông thường — nhiều model chỉ nhãn "1-bit" nhưng thực chất vẫn chứa các thành phần FP16 — Bonsai 27B thực sự biến toàn bộ trọng số ngôn ngữ thành nhị phân. Điều này không chỉ giảm kích thước mà còn giảm lư lượng truy cập trọng số ở mỗi bước sinh — chìa khóa để đưa mô hình lớp 27B vào ngân sách bộ nhớ của một chiếc điện thoại. Kết hợp với backbone hybrid-attention và KV-cache 4-bit, mô hình vẫn duy trĩ ngữ cảnh 262K token và hiệu năng suy ngẫn sâu.
#MLX #Qwen3 #1bit #OnDevice #Bonsai #PrismML #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Prism ML Website | Whitepaper | Demo & Examples | Discord Bonsai 2 27B — GGUF Full 27B-class reasoning in ternary transformer weights, for llama.cpp (CUDA, Metal, CPU) \~9.3x smaller than FP16 (ideal) | 98.2%...
Prism ML Website | Whitepaper | Demo & Examples | Discord 1-bit Bonsai 27B — GGUF Full 27B-class reasoning in binary transformer weights, for llama.cpp (CUDA, Metal, CPU) \~14.2x smaller than FP16 | \~90% of F...
Prism ML Website | Whitepaper | Demo & Examples | Discord Ternary Bonsai 27B Full 27B-class reasoning in ternary transformer weights — on everyday laptops \~9.4x smaller than FP16 (ideal) | 95% of FP16 intelli...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...