mudler/Ornith-1.5-35B-A3B-APEX-GGUF
⚡ Each donation = another big MoE quantized I host 30+ free APEX MoE quantizations as independent research. My only local hardware is an NVIDIA DGX Spark (122 GB unified memory), enough for ~30-50B-class MoEs, but bigger ones (200B+) require rented...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🚀 Ornith-1.5-35B-A3B-APEX-GGUF: Bản quantized thông minh cho mô hình MoE lớn
Bản quantized APEX tối ưu precision theo vai trò tensor — trọng số routed experts chỉ chiếm 89.6% nhưng chỉ có 8/256 hoạt động mỗi token.
Đây là bản quantized APEX của mô hình ornith-ai/Ornith-1.5-35B-A3B, do nhóm phát triển LocalAI tạo ra. Ornith-1.5-35B-A3B là mô hình Mixture-of-Experts 36B tham số với 256 routed experts (8 active/token), shared expert, 40 layers attention lai (linear + full), và vision tower. Bản quantized này giúp chạy hiệu quả trên phần cứng tiêu dùng mà không cần thiết bị đắt tiền.
✨ Điểm nổi bật
- Phân loại tensor theo vai trò: APEX phân loại từng tensor dựa trên vai trò (first/last layer, middle layers, shared expert, attention) để áp dụng precision phù hợp.
- Gradient precision tầng: Các lớp đầu/cuối giữ precision cao, middle layers nén mạnh, shared expert luôn giữ precision cao do luôn hoạt động.
- Tận dụng sparsity của MoE: Routed experts chiếm 89.6% trọng số nhưng chỉ 8/256 active/token — cho phép nén precision mà không mất chất lượng.
- 4 phiên bản độ phân giải khác nhau: Quality (22.8GB), Balanced (25.3GB), Compact (16.5GB), I-Mini (13.5GB imatrix only).
- Hỗ trợ thị giác: Kèm mmproj.gguf (0.9GB) để xử lý đa phương tiện với llama-mtmd-cli.
- I-matrix đa dạng: Phiên bản I-Mini dùng importance matrix từ dữ liệu đa dạng (chat, code, reasoning, tool-calling, Wikipedia).
- Tương thích llama.cpp: Yêu cầu bản llama.cpp hỗ trợ
qwen3_5_moe, chạy với-ngl 99.
💡 Vì sao đáng chú ý
APEX không nén đồng đều toàn bộ mô hình — nó thông minh phân biệt các thành phần luôn hoạt động (shared expert, attention) cần precision cao và các routed experts hiếm khi chỉ cần precision thấp. Cách tiếp cận này khác biệt với các bản quantized thông thường áp dụng cùng mức độ nén cho toàn bộ tensor.
Phù hợp cho người dùng muốn chạy mô hình MoE lớn trên GPU tiêu dùng (Compact/I-Mini) hoặc cần chất lượng cao cho inference (Quality/Balanced). Đặc biệt hữu ích cho nghiên cứu MoE và ứng dụng đa phương tiện (VLM), nhờ vision tower và mmproj được tích hợp.
#APEX #MoE #Quantized #GGUF #MixtureOfExperts #Ornith #TiniX
Similar Projects
Discover other similar projects and AI models.
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Read our How to Run Qwen3.8-27B Guide!(https://unsloth.ai/docs/models/qwen3.8) This GGUF uses Unsloth Dynamic V3.0 (preview) for SOTA quantization performance. Developer Role Support so Qwen3.8 can work in agentic tools like Codex and more! MTP for...
⚡ Each donation = another big MoE quantized I host 30+ free APEX MoE quantizations as independent research. My only local hardware is an NVIDIA DGX Spark (122 GB unified memory), enough for ~30-50B-class MoEs, but bigger ones (200B+) require rented...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...