dealignai/Bonsai-2-27B-Ternary-CRACK-GGUF
Bonsai 2 27B — Ternary CRACK · GGUF Abliterated · No guardrails · PQ20 ternary 2.13 bpw · 7.2 GB · Runs on a laptop / single GPU · Vision-capable @dealignai(https://x.com/dealignai) ⚠️ Re-download notice (2026-09-17 20:44 PDT / 2026-09-18 03:44 UTC)...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#3 Repository Của Tuần
#3 Repository Của Tuần
#3 Repository Của Tuần
🔪 Bonsai-2 27B — Mô hình 27B không giới hạn, chỉ 7.2GB
Mô hình Qwen3.8-27B được nén tam phân 2-bit (PQ2_0, 2.13 bpw), gỡ bỏ hoàn toàn cơ chế từ chối cấp trọng số, chạy trực tiếp trên laptop hoặc GPU đơn.
Đây là bản dịch GGUF của PrismML dựa trên Qwen3.8-27B, với kỹ thuật abliteration cấp trọng số do nhóm nghiên cứu dealignai thực hiện. Toàn bộ kiến trúc hybrid Attention + SSM (GatedDeltaNet), 64 khối, hidden 5120, bao gồm cả module thị giác. Trọng lượng nhận diện giống hệt bản gốc, chỉ thay đổi một số tensor mang mạng lưới từ chối.
✨ Điểm nổi bật
- Nén tam phân PQ2_0 2-bit: chỉ 2.13 bpw, dung lượng 7.21GB, nhỏ hơn nhiều so với mô hình gốc.
- Abliterated cấp trọng số: gỡ bỏ hoàn toàn cơ chế từ chối (refusal circuitry) tại mức trọng số.
- Giữ nguyên khả năng thị giác: hỗ trợ các tệp mmproj cùng với bản phát hành gốc.
- Hỗ trợ chạy trên thiết bị di động: chạy trên laptop hoặc GPU đơn thông qua llama.cpp của PrismML.
- Ba chế độ suy luận: off (không nghĩ), low, xhigh (mặc định, tư duy mở rộng).
- Kết quả đánh giá cao: 0% từ chối trên HarmBench-320, giữ nguyên khả năng suy luận chung.
- Tương thích hoàn hảo: cùng tokenizer, chat template, reasoning modes và giao diện thị giác như bản gốc.
- Được tối ưu cho llama.cpp: hỗ trợ CUDA, Metal và CPU.
💡 Vì sao đáng chú ý
Không chỉ là mô hình không giới hạn, mà còn là minh chứng thành công của kỹ thuật abliteration cấp trọng số — giữ nguyên toàn bộ khả năng của mô hình gốc nhưng loại bỏ hoàn toàn cơ chế từ chối. Điều này cho phép mô hình trả lời mọi loại câu hỏi nhạy cảm mà vẫn duy trì độ chính xác tổng thể (~40% trên MMLU). Phù hợp cho nghiên cứu AI không giới hạn, phát triển mô hình không kiểm duyệt, hoặc ứng dụng yêu cầu tính tự do cao.
⚠️ Lưu ý: phiên bản trước có lỗi vòng lặp token trong chế độ suy luận (low/xhigh). Vui lòng tải lại bản mới nhất nếu đã tải trước 2026-09-17.
#Abliterated #GGUF #Qwen3.8 #OnDevice #TiniX
Similar Projects
Discover other similar projects and AI models.
Prism ML Website | Whitepaper | Demo & Examples | Discord Bonsai 2 27B — GGUF Full 27B-class reasoning in ternary transformer weights, for llama.cpp (CUDA, Metal, CPU) \~9.3x smaller than FP16 (ideal) | 98.2%...
huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF This is an uncensored version of Qwen/Qwen3.8-27B(https://huggingface.co/Qwen/Qwen3.8-27B) created with abliteration (see remove-refusals-with-transformers(https://github.com/Sumandora/remove-refusals-wi...
Prism ML Website | Whitepaper | Demo & Examples | Discord Ternary Bonsai 27B — GGUF Full 27B-class reasoning in ternary transformer weights, for llama.cpp (CUDA, Metal, CPU) \~9.4x smaller than FP16 (ideal) |...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Prism ML Website | Whitepaper | Demo & Examples | Discord 1-bit Bonsai 27B — GGUF Full 27B-class reasoning in binary transformer weights, for llama.cpp (CUDA, Metal, CPU) \~14.2x smaller than FP16 | \~90% of F...
Prism ML Website | Whitepaper | Demo & Examples | Discord Bonsai 2 27B Full 27B-class reasoning in ternary transformer weights — on everyday laptops 8.60 GB on disk, language model + vision tower | 98.2% of FP...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...