prism-ml/Ternary-Bonsai-2-27B-mlx-2bit
Prism ML Website | Whitepaper | Demo & Examples | Discord Bonsai 2 27B Full 27B-class reasoning in ternary transformer weights — on everyday laptops 8.60 GB on disk, language model + vision tower | 98.2% of FP...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Ngày
#4 Repository Của Tháng
🎉 Ternary-Bonsai-2-27B: Mô hình 27B chỉ cần 8.6GB trên laptop
Hoàn thành 27B-class reasoning với trọng lượng ternary, chỉ tốn 8.6GB trên đĩa.
Ternary-Bonsai-2-27B-mlx-2bit là một dự án của Prism ML, chuyển đổi mô hình Qwen3.8-27B thành trọng lượng ternary, cho phép chạy trên các laptop thông thường với dung lượng chỉ 8.6GB. Dự án này giải quyết vấn đề cần phải lượng hóa các mô hình lớn để có thể triển khai trên thiết bị di động, mà vẫn duy trì hiệu năng cao.
✨ Điểm nổi bật
- Dung lượng siêu nhỏ: Chỉ 8.60 GB trên đĩa, gồm cả phần thị giác, giảm tới 9.3 lần so với FP16.
- Hiệu năng gần như nguyên bản: Giữ nguyên 98.2% thông tin so với FP16, đạt 84.78 điểm trên 14 benchmark suy luận.
- Tính năng đầy đủ: Bảo tồn khả năng suy luận, lập luận và hành động agent, ngay cả ở độ phân giải dưới 4-bit.
- Trọng lượng ternary toàn phần: Áp dụng cho embeddings, attention, MLP và LM head, không có "escape hatch" độ chính xác cao.
- Hỗ trợ context dài: Xử lý được 262K token trên thiết bị, nhờ kiến trúc hybrid attention.
- Kernel tối ưu: Có kernel riêng cho Apple MLX và CUDA, không cần mở rộng về FP16.
- Phiên bản GGUF: Đồng thời có sẵn dưới dạng GGUF cho llama.cpp, với hai gói PTQ1_0 và PQ2_0.
💡 Vì sao đáng chú ý
Dự án này nổi bật với việc áp dụng công nghệ ternary một cách toàn diện, đạt được hiệu năng vượt trội so với các phương pháp lượng hóa khác như IQ2_XXS. Với sự kết hợp giữa trọng lượng siêu nhỏ và hiệu năng gần bằng FP16, nó mở ra khả năng triển khai các mô hình lớn trên các thiết bị di động mà không cần phần cứng đặc biệt. Phù hợp cho các ứng dụng on-device như chatbot, công cụ lập trình, hoặc hệ thống agent.
#TernaryQuantization #MLX #OnDeviceAI #Qwen3 #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Prism ML Website | Whitepaper | Demo & Examples | Discord Bonsai 2 27B — GGUF Full 27B-class reasoning in ternary transformer weights, for llama.cpp (CUDA, Metal, CPU) \~9.3x smaller than FP16 (ideal) | 98.2%...
huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF This is an uncensored version of Qwen/Qwen3.8-27B(https://huggingface.co/Qwen/Qwen3.8-27B) created with abliteration (see remove-refusals-with-transformers(https://github.com/Sumandora/remove-refusals-wi...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Prism ML Website | Whitepaper | Demo & Examples | Discord Ternary Bonsai 27B — GGUF Full 27B-class reasoning in ternary transformer weights, for llama.cpp (CUDA, Metal, CPU) \~9.4x smaller than FP16 (ideal) |...
Prism ML Website | Whitepaper | Demo & Examples | Discord Ternary Bonsai 27B Full 27B-class reasoning in ternary transformer weights — on everyday laptops \~9.4x smaller than FP16 (ideal) | 95% of FP16 intelli...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...