freakyskittle/apex-flash-1-abliterated-GGUF
apex-flash-1-abliterated GGUF GGUF quantizations of cantina-security/apex-flash-1-abliterated(https://huggingface.co/cantina-security/apex-flash-1-abliterated), an abliterated derivative of apex-flash-1(https://huggingface.co/cantina-security/apex-f...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Ngày
#1 Repository Của Ngày
#1 Repository Của Ngày
🧪 apex-flash-1-abliterated GGUF — Bản quantized GGUF của mô hình an ninh 320B
Bản quantized GGUF của một mô hình abliterated dựa trên kiến trúc GLM-5.3-Flash (~320B tham số, 288 experts), được thiết kế cho nghiên cứu bểo mật ủy quyền.
Đây là bản quantized GGUF của cantina-security/apex-flash-1-abliterated, một phiên bản abliterated của apex-flash-1. Mô hình sử dụng kiến trúc GLM-5.3-Flash (glm5-next) với khoảng 320 tỷ tham số, 288 experts (8 active mỗi token), cơ chế tập trung KDA tuyến tính và attention thưa DeepSeek, cùng cửa sổ ngữ cảnh lên đến 1 triệu token.
✨ Điểm nổi bật
- Quant đa cấp độ: Từ Q8_0 (8.51 BPW, 341GB) xuống Q2_K (2.93 BPW, 117GB).
- Smoke test đảm bảo chất lượng: Mỗi bản quantized qua kiểm tra template, sinh code, dừng sạch và nhận dạng ảnh.
- Hỗ trợ vision: File mmproj F16 riêng biệt, tương thích với mọi quant.
- Tích hợp MTP head và chat template gốc: Giữ nguyên khả năng dự đoán next-token và định dạng trò chuyện.
- Chuyển đổi từ Q8_0: Các bản quant thấp hơn được tạo bằng
llama-quantize --allow-requantize. - Yêu cầu llama.cpp hỗ trợ glm5-next: Cần phiên bản ggml-org/llama.cpp#27773 trở lên.
- Cấu hình reasoning mặc định Max: Có thể điều chỉnh qua
chat_template_kwargs.
💡 Vì sao đáng chú ý
Dự án cung cấp cách để chạy một mô hình ngôn ngữ khổng lồ cấp doanh nghiệp trên phần cứng tiêu chuẩn thông qua các bản quantized GGUF. Điều đặc biệt là việc mỗi bản đều được kiểm chứng bằng smoke test thực tế (sinh code, nhận dạng ảnh), chứng minh tính ổn định. Đây là nguồn tài nguyên hữu ích cho nghiên cứu bảo mật và phát triển hệ thống AI an toàn.
#GGUF #llama.cpp #GLM5 #SecurityResearch #Quantization #TiniX
Similar Projects
Discover other similar projects and AI models.
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
🚨 v2 released — please redownload the GGUFs The v2 GGUFs replace the original normal filenames and add explicit -MTP- variants. If you downloaded this repo before v2, please redownload your GGUF. Fixes in v2: - tokenizer metadata normalized for Qwe...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...