WaveCut/Ternary-Bonsai-2-27B-NInfer-v3
Ternary Bonsai 2 27B, NInfer v3 artifact A NInfer(https://github.com/Neroued/ninfer) v3 artifact of PrismML's Ternary Bonsai 2 27B(https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf) for NInfer-all, the master branch of iamwavecut/ninfer-all(...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 Ternary-Bonsai-2-27B-NInfer-v3: Mô hình ngôn ngữ siêu nhẹ, siêu mạnh
Một bản ghi nhớ NInfer v3 kết hợp ba kỹ thuật nén và tăng tốc: Ternary Bonsai, MTP và DFlash2.
Đây là một artifact NInfer v3 của PrismML's Ternary Bonsai 2 27B, được thiết kế để chạy trên các thẻ đồ họa RTX 3090, 4090 và 5090. Khác với các bản dựng NInfer thông thường bị từ chối do kích thước và định dạng đặc biệt (t2_g128_fp16, hadamard_signs), bản này duy trì toàn bộ thông tin và tối ưu hoá bộ nhớ.
✨ Điểm nổi bật
- Ternary Quantization: Dòng chiếu văn bản (64 lớp), đầu ra và nhúng token sử dụng mã 2-bit với một thang fp16 cho mỗi 128 cột, xoay Hadamard.
- MTP Head: Đầu MTP được fine-tune trên Qwen3.8-27B, hỗ trợ tăng tốc giải mã.
- DFlash2 Adapter: Adapter Q4 từ z-lab, được huấn luyện trên Bonsai 2, với phép chiếu truy vấn/khoá/giá trị được hợp nhất ở Q8.
- Proposal Head: Đầu đề xuất sử dụng các hàng
t2_g128_fp16cho 131.072 token phổ biến nhất. - Vision Tower: Tháp hình ảnh vanilla Qwen3.8-27B, hỗ trợ xử lý đa phương tiện.
- Chat Template: Sử dụng mẫu trò chuyện
qwen3_8.jinjacủa NInfer. - Hỗ trợ ngữ cảnh lớn: Lên tới 1.048.576 token trên RTX 5090.
- Tối ưu bộ nhớ: Cấu hình KV cache
rk8v4vàrk4v4tiết kiệm bộ nhớ thiết bị.
💡 Vì sao đáng chú ý
Mô hình này không chỉ là sự kết hợp của các kỹ thuật nén phổ biến, mà còn là một bước tiến trong việc đưa các mô hình lớn lên các thiết bị phần cứng tiêu chuẩn như RTX 3090. Bằng cách sử dụng ternarization và các adapter như MTP và DFlash2, mô hình giảm đáng kể yêu cầu bộ nhớ mà vẫn duy trì hiệu năng tốt, đặc biệt là ở các cửa sổ ngữ cảnh rất lớn.
#NInfer #TernaryBonsai #Qwen38 #RTX3090 #RTX4090 #RTX5090 #TiniX
Similar Projects
Discover other similar projects and AI models.
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Qwen3.6-35B-A3B !Qwen Chat(https://img.shields.io/badge/%F0%9F%92%9C%EF%B8%8F%20Qwen%20Chat%20-536af5)(https://chat.qwen.ai) !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transfor...
Qwen3.5-9B !Qwen Chat(https://img.shields.io/badge/%F0%9F%92%9C%EF%B8%8F%20Qwen%20Chat%20-536af5)(https://chat.qwen.ai) !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...