chimingw/Qwen3.8-27B-Uncensored-OrcaRouter-MLX-8bit
Qwen3.8-27B-Uncensored-OrcaRouter — MLX 8-bit GGUF QUANTS HERE: chimingw/Qwen3.8-27B-Uncensored-OrcaRouter-GGUF(https://huggingface.co/chimingw/Qwen3.8-27B-Uncensored-OrcaRouter-GGUF) This unofficial native MLX affine 8-bit/group-64 checkpoint was i...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🔓 Bản định lượng 8-bit MLX của Qwen3.8-27B đã bị xóa an toàn
Bản chuyển đổi MLX 8-bit không chính thức này được tạo trực tiếp từ bản cha F16 nguồn, không qua bất kỳ huấn luyện, tinh chỉnh hay căn chỉnh nào.
Đây là một bản định lượng 8-bit nhóm-64 kiểu affine bản địa MLX được sinh độc lập từ bản cha F16 orcarouter/Qwen3.8-27B-Uncensored-GGUF@402c3e0a64d77880f55ab096c5b7597ef85162ab. Dự án không chuyển mã từ bất kỳ định dạng nào khác và không sử dụng biểu diễn BF16 mở rộng FP8 cũ. Bản chuyển đổi này không thêm bất kỳ huấn luyện, tinh chỉnh, hợp nhất hay thay đổi căn chỉnh nào.
✨ Điểm nổi bật
- Bản định lượng 8-bit MLX bản địa: Chuyển đổi trực tiếp từ F16 nguồn, tránh mất thông tin định lượng không cần thiết.
- Không chuyển mã từ định dạng khác: Không sử dụng biểu diễn FP8 mở rộng BF16 cũ.
- Kiểm toán độ chính xác nguồn: Kiểm tra ma trận MTP và projector thị giác để đảm bảo độ chính xác của giá trị nguồn.
- Hỗ trợ 2207 tensor vật lý: Tổng cộng 31,194,688,000 byte dữ liệu tensor.
- Giữ nguyên tensor F16/BF16/F32: 695 tensor dày đặc được giữ nguyên ở định dạng nguồn.
- 504 ma trận được mã hóa 8-bit: Sử dụng mã hóa affine 8-bit nhóm-64 của MLX.
- Kiểm chứng toàn bộ gói: Được xác minh trên M4 Pro với cấu trúc hỗn hợp F16/BF16/F32.
- Giữ nguyên 333 tensor thị giác bản địa: Đối chiếu 334 tensor mmproj vật lý mà không mất mát.
💡 Vì sao đáng chú ý
Bản định lượng này khác biệt bởi việc tránh mất mát định lượng không cần thiết — các tensor F16 giữ nguyên F16, BF16 giữ nguyên BF16, và chỉ các ma trận đủ điều kiện mới được mã hóa 8-bit. Đây là lựa chọn lý tưởng cho nghiên cứu về khả năng giải thích, an toàn AI, nghiên cứu cơ chế từ chối, và đánh giá robustness — nhưng yêu cầu người dùng tự thêm các lớp bảo vệ an toàn khi triển khai.
#MLX #Qwen3.8 #8bitQuantization #Uncensored #OrcaRouter #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
Qwen3.5-9B !Qwen Chat(https://img.shields.io/badge/%F0%9F%92%9C%EF%B8%8F%20Qwen%20Chat%20-536af5)(https://chat.qwen.ai) !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers...