quimmedes/Ornith-1.5-35B-A3B-XYZ
Ornith-1.5-35B-A3B — XYZ Quantizations Balanced GGUF quantizations of Ornith‑1.5‑35V (a 35B total / ~3B active hybrid SSM+attention Mixture‑of‑Experts model), built with the XYZ method: a balanced, MoE‑aware allocation in which attention layers and...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#5 Repository Của Tuần
#9 Repository Của Ngày
#8 Repository Của Ngày
🦉 Ornith-1.5-35B-A3B — Bản đồ nén GGUF thông minh cho mô hình MoE khổng lồ
Phương pháp XYZ: cân bằng độ chính xác giữa attention và experts, giúp mô hình 35B chạy mượt trên cả GPU 8GB và RAM hạn chế.
Đây là bộ quant hóa GGUF của mô hình Ornith-1.5-35B-A3B, một kiến trúc Mixture-of-Experts (MoE) hybrid SSM+attention với tổng cộng 35 tỷ tham số nhưng chỉ kích hoạt ~3B tại mỗi lượt. Được xây dựng bởi cộng đồng và cho phép chạy trên phần cứng giới hạn nhờ kỹ thuật nén XYZ — một cách tiếp cận MoE-aware giữ cho cả attention và experts đều được giữ ở mức độ tương đương.
✨ Điểm nổi bật
- Phân bổ cân bằng: Experts và attention được quant đến các tần suất bit hiệu quả tương đương; tránh tình trạng attention bị "bão hòa" trong khi experts thiếu thở.
- Lõi dense dùng Int8 (Q8_0): Các ma trận attention q/k/v/output, SSM out/gate, và router gate đều ở mức Q8_0 — giữ chất lượng tốt nhất cho phần xử lý chính.
- Giữ nguyên BF16 cho các giá trị nhỏ: Các vô cùng (scalar α/β của SSM), attention k/v, router input được giữ nguyên ở BF16 để giảm thiểu mất mát chất lượng.
- Dẫn dắt bởi Imatrix: Các experts được quant xuống bit thấp hơn (IQ2/IQ3/Q4_K) dựa trên ma trận quan trọng, giữ độ chính xác cao ngay cả khi kích thước nhỏ.
- Hỗ trợ nhiều mức nén: Từ Q2.5 (2.72 BPW) cho RAM nhỏ cho đến Q8 (9.01 BPW) cho chất lượng tối đa.
- Tối ưu cho VRAM thấp: Hỗ trợ chuyển experts sang RAM, chỉ dùng GPU cho attention và SSM.
💡 Vì sao đáng chú ý
Không giống các mô hình MoE khác thường bỏ qua việc cân bằng độ chính xác giữa các thành phần, XYZ đưa ra một chiến lược toàn diện: không để một bộ phận bị "đói" để lợi ích cho phần khác. Điều này đặc biệt quan trọng khi chạy trên thiết bị có giới hạn VRAM như thẻ đồ họa 8GB. Cách tiếp cận này mở ra khả năng triển khai các mô hình lớn dạng MoE ngay cả trên phần cứng tiêu chuẩn, không cần đầu tư hạ tầm lớn.
#Ornith #LLaMA #MixtureOfExperts #GGUF #Quantized #AI #TiniX
Similar Projects
Discover other similar projects and AI models.
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence Technical Report👁️ Introduction We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language models — DeepSeek-V4-Pro with 1.6T p...