prism-ml/Ternary-Bonsai-27B-mlx-2bit
Prism ML Website | Whitepaper | Demo & Examples | Discord Ternary Bonsai 27B Full 27B-class reasoning in ternary transformer weights — on everyday laptops \~9.4x smaller than FP16 (ideal) | 95% of FP16 intelli...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Ngày
#1 Repository Của Ngày
#2 Repository Của Tháng
🚀 Ternary Bonsai 27B: Lý luận 27B trên laptop, chỉ với ~7.2 GB
Toàn bộ khả năng lý luận 27B trong trọng số ba trị — chạy trên laptop thông thường
Ternary Bonsai 27B là một mô hình ngôn ngữ lớn được nén bằng kỹ thuật trọng số ba trị (ternary: {−1, 0, +1}), cho phép chạy đầy đủ các tác vụ lý luận phức tạp trực tiếp trên laptop hoặc máy tính cá nhân mà không cần đám mây. Dựa trên nền tảng Qwen3.6-27B, mô hình giữ lại 95% "trí thông minh" so với phiên bản FP16 gốc, đồng thời giảm kích thước xuống chỉ ~7.2 GB.
✨ Điểm nổi bật
- ~7.2 GB dung lượng triển khai: Nhỏ hơn ~9.4x so với FP16 (~54 GB), phù hợp chạy trên laptop hoặc GPU đơn.
- 95% hiệu năng FP16 giữ lại: 80.49 trung bình trên 15 bộ benchmark lý luận, cao hơn cả bản IQ2_XXS truyền thống.
- Toàn bộ trọng số ba trị: Áp dụng cho embedding, attention, MLP và LM head với 1.71 bits/trọng số thực sự.
- 262K token ngữ cảnh: Hỗ trợ dài hạn nhờ hybrid attention (~75% linear attention) và KV cache 4-bit.
- Kernel hybrid-attention tùy chỉnh: Tối ưu cho Apple MLX (Python/Swift) và CUDA, không giải mã trở lại FP16.
- Tốc độ 26 tok/s trên M5 Pro: Hiệu năng cao trên phần cứng tiêu dùng.
- DSpark speculative decoding: Tăng tốc 1.34x nhờ lớp dự báo được huấn luyện riêng.
- Bản 1-bit kèm theo: Phiên bản ~3.9 GB phù hợp với điện thoại thông minh.
💡 Vì sao đáng chú ý
Ternary Bonsai 27B khác biệt ở việc áp dụng trực tiếp trọng số ba trị (ternary) trên toàn mô hình — không dựa vào bất kỳ kênh trống (escape hatch) bằng độ chính xác cao. Điều này giúp mô hình duy trỳ hành vi lý luận, động cơ và công cụ thông minh ngay cả ở chế độ dưới 4-bit, nơi các định dạng nén truyền thống thường thất bại. Kết hợp với kernel tối ưu cho cả Apple Silicon và CUDA, đây là bước tiến lớn cho việc triển khai mô hình lớn trên thiết bị.
#TernaryQuantization #OnDeviceLLM #Qwen3 #MLX #CUDA #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Prism ML Website | Whitepaper | Demo & Examples | Discord Bonsai 2 27B — GGUF Full 27B-class reasoning in ternary transformer weights, for llama.cpp (CUDA, Metal, CPU) \~9.3x smaller than FP16 (ideal) | 98.2%...
Prism ML Website | Whitepaper | Demo & Examples | Discord Ternary Bonsai 27B — GGUF Full 27B-class reasoning in ternary transformer weights, for llama.cpp (CUDA, Metal, CPU) \~9.4x smaller than FP16 (ideal) |...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Prism ML Website | Whitepaper | Demo & Examples | Discord Bonsai 2 27B Full 27B-class reasoning in ternary transformer weights — on everyday laptops 8.60 GB on disk, language model + vision tower | 98.2% of FP...
Prism ML Website | Whitepaper | Demo & Examples | Discord 1-bit Bonsai 27B Full 27B-class reasoning in binary transformer weights — the first 27B-class model to run on a phone ~14.2x smaller than FP16 | ~90% o...
huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF This is an uncensored version of Qwen/Qwen3.8-27B(https://huggingface.co/Qwen/Qwen3.8-27B) created with abliteration (see remove-refusals-with-transformers(https://github.com/Sumandora/remove-refusals-wi...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...