Eliasfpv28/Kolibri-1-Q3_K_S-GGUF
Kolibri 1 — Q3KS GGUF Unofficial, experimental GGUF conversion and quantization of Aleph Alpha Kolibri-1-BF16(https://huggingface.co/Aleph-Alpha/Kolibri-1-BF16). Requires the included Kolibri1 llama.cpp source patch. The unmodified llama.cpp revisio...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#3 Repository Của Tuần
#3 Repository Của Tuần
#3 Repository Của Tuần
🧪 Kolibri-1 dưới dạng GGUF thử nghiệm — phiên bản nén 3-bit không chính thức
Bản chuyển đổi GGUF Q3_K_S không chính thức của Kolibri-1, yêu cầu bản vá llama.cpp riêng để hỗ trợ kiến trúc này.
Đây là bản chuyển đổi và lượng tử hóa thử nghiệm GGUF (kiến trúc kolibri1) của mô hình Aleph Alpha Kolibri-1-BF16 — một mô hình Mixture-of-Experts (MoE). Do llama.cpp bản gốc chưa hỗ trợ kiến trúc này, người dùng cần dựa trên bản vá nguồn llama.cpp đi kèm trong kho lưu trữ. Đây là công việc độc lập; Aleph Alpha và dự án llama.cpp chưa chính thức hỗ trợ bản chuyển đổi này.
✨ Điểm nổi bật
- Định dạng GGUF v3, kiến trúc kolibri1: Hỗ trợ mô hình MoE với toàn bộ các expert được bao gồm.
- Lượng tử hóa Q3_K_S (~3.47 bit/param): Áp dụng lượng tử hóa hỗn hợp, một số tensor giữ nguyên độ chính xác cao hơn (F32 hoặc Q6_K).
- Kích thước mô hình: Khoảng 33.87 GB (31.54 GiB), cần khoảng 31.54 GiB bộ nhớ trước khi tính bộ đệm thời gian chạy và bộ nhớ KV cache.
- Router, chuẩn hóa, bias: Lưu ở độ chính xác F32 để duy trì hiệu năng.
- Ma trận đầu ra (output matrix): Được lượng tử hóa Q6_K.
- Kiểm tra tính toán: Đã so sánh với bản tham chiếu full-precision trên một tập kiểm tra nhỏ; tokenizer vượt qua 169 trường hợp.
- Bản vá llama.cpp: Yêu cầu bản dựng llama.cpp từ nguồn đã vá theo hướng dẫn trong
runtime-source/README.md. - Cài đặt thử nghiệm: Kiểm tra tại ngữ cảnh 4,096 token, sử dụng bộ nhớ KV cache Q8_0, flash attention, chia lớp Vulkan giữa RTX 3060 và Intel Arc Pro B60.
💡 Vì sao đáng chú ý
Bản chuyển đổi này cho phép chạy mô hình Kolibri-1 — một kiến trúc MoE phức tạp — trên nền tảng llama.cpp thông qua lượng tử hóa GGUF. Việc sử dụng Q3_K_S giúp giảm đáng kể dung lượng bộ nhớ, mở khả năng chạy trên phần cứng tiêu chuẩn như RTX 3060. Tuy nhiên, đây là bản thử nghiệm; các tính năng như ngữ cảnh dài (>4K token), reasoning mode, và tool calling chưa được xác minh. Phù hợp với nghiên cứu, phát triển công cụ, và kiểm chứng khả năng của MoE trên môi trường cục bộ.
#Kolibri1 #GGUF #MixtureOfExperts #Quantization #llamaCPP #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
GLM-5.2 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.2 blog and GLM-5 Technical report. 📍 Use GLM-5.2 API services on Z.ai API Platform. 🔜 Try GLM-5.2 here. Paper GitHub Introduction We're introducing GLM-5.2, our latest flagshi...