NANI-Nithin/K2-Horizon-MoVA-36B-A4B-GGUF
K2-Horizon-MoVA-36B-A4B — GGUF GGUF quantizations of IFM/K2-Horizon-MoVA-36B-A4B(https://huggingface.co/IFM/K2-Horizon-MoVA-36B-A4B), produced with the MBZUAI-IFM fork of llama.cpp(https://github.com/MBZUAI-IFM/llama.cpp/tree/model/K2Horizon) (model...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#2 Repository Của Tháng
🚀 K2-Horizon-MoVA-36B-A4B — Bản GGUF của mô hình MoE + MoVA 36B với ngữ cảnh 512K
Bản quantization GGUF từ mô hình K2-Horizon-MoVA-36B-A4B, kết hợp MoE và cơ chế MoVA, hỗ trợ ngữ cảnh lên đến 512.000 token.
Đây là bản quantization GGUF của mô hình K2-Horizon-MoVA-36B-A4B, thuộc gia đình K2-Horizon do Viện Mô hình Nền tảng (IFM) tại MBZUAI phát hành. Mô hình sử dụng kiến trúc Mixture-of-Experts (MoE) kết hợp với cơ chế Mixture-of-Values (MoVA) đổi mới, lưu trữ ~36 tỷ tham số nhưng chỉ kích hoạt ~4 tỷ tham số cho mỗi token.
✨ Điểm nổi bật
- Kiến trúc MoE + MoVA: Kết hợp MoE ở lớp feed-forward và MoVA ở cơ chế attention, tối ưu hiệu suất tham số.
- Ngữ cảnh 512K token: Hỗ trợ xử lý ngữ cảnh lên đến 524.288 token một cách bản địa.
- Đa dạng độ quantization: Từ Q2_K (~10 GiB) đến BF16 (~70 GiB), bao gồm cả các bản quantization IQ dựa trên imatrix.
- Hỗ trợ llama.cpp: Yêu cầu sử dụng nhánh
model/K2Horizoncủa MBZUAI-IFM fork để chạy. - Licence nguồn mở: Apache 2.0, cho phép sử dụng thương mại và nghiên cứu.
- Chat template tích hợp: Đã bao gồm tokenizer metadata và chat template tương thích llama.cpp.
💡 Vì sao đáng chú ý
MoVA (Mixture-of-Values) mang tư tưởng định tính thưa thớt như MoE nhưng áp dụng vào cơ chế attention, thay thế các phép chiếu giá trị bằng một nhóm các chuyên gia học được, chỉ kích hoạt một tập nhỏ cho mỗi token. Điều này giúp mô hình lưu trữ phong phú các "kiểu" biểu diễn trong không gian giá trị mà không tốn chi phí tính toán toàn bộ.
Mô hình phù hợp cho các tác vụ yêu cầu ngữ cảnh dài và hiệu suất tính toán cao, như phân tích tài liệu lớn, mã hóa ngữ cảnh rộng, hoặc nghiên cứu NLP nâng cao.
#GGUF #MoE #MoVA #K2-Horizon #MBZUAI #TiniX
Similar Projects
Discover other similar projects and AI models.
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
GLM-5.2 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.2 blog and GLM-5 Technical report. 📍 Use GLM-5.2 API services on Z.ai API Platform. 🔜 Try GLM-5.2 here. Paper GitHub Introduction We're introducing GLM-5.2, our latest flagshi...