ubergarm/GLM-4.5-Air-GGUF
ikllama.cpp imatrix Quantizations of zai-org/GLM-4.5-Air This quant collection REQUIRES ikllama.cpp(https://github.com/ikawrakow/ikllama.cpp/) fork to support the ik's latest SOTA quants and optimizations! Do not download these big files and expect...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#2 Repository Của Tuần
🚀 Bộ quant GGUF GLM-4.5-Air tối ưu cho ik_llama.cpp
Các bản quant này yêu cầu bắt buộc ik_llama.cpp — không chạy được trên llama.cpp chuẩn, ollama, LM Studio, KoboldCpp...
Đây là bộ sưu tập các bản quant GGUF của mô hình zai-org/GLM-4.5-Air, được thực hiện bởi ubergarm sử dụng kỹ thuật imatrix và các thuật toán quant hiện đại nhất từ ik_llama.cpp. Mỗi bản quant được tối ưu để mang lại mức perplexity tốt nhất cho phần bộ nhớ sử dụng.
✨ Điểm nổi bật
- Yêu cầu ik_llama.cpp: Không tương thích với các bản phân phối khác như ollama, LM Studio, KoboldCpp.
- Kỹ thuật imatrix: Sử dụng để cải thiện chất lượng quant với cùng kích thước bộ nhớ.
- Hỗ trợ IQ5_K, IQ5_KS, IQ4_K: Các cấp độ quant khác nhau với perplexity ghi nhận trên wiki.test.raw.
- Tích hợp NextN MTP Layer: Hỗ trợ multi-token prediction từ lớp NextN.
- Hỗ trợ croco.cpp: Một số quant cũng chạy trên nhánh phát triển KoboldCpp của Nexesenex.
- Công thức custom quantization: Cung cấp script bash chi tiết để tái tạo từng bản quant.
💡 Vì sao đáng chú ý
Bộ quant này nổi bật nhờ việc kết hợp giữa kỹ thuật imatrix và các thuật toán quant mới nhất từ ik_llama.cpp, giúp giảm đáng kể perplexity so với các bản quant truyền thống ở cùng dung lượng. Điều này đặc biệt hữu ích khi chạy mô hình lớn trên phần cứng có giới hạn bộ nhớ.
Thích hợp cho người dùng muốn chạy GLM-4.5-Air trên môi trường cục bộ hoặc server nhẹ mà vẫn mong muốn duy trì hiệu suất dự đoán tốt.
#GLM4.5 #GGUF #ikllamacpp #LocalLLM #TiniX
Similar Projects
Discover other similar projects and AI models.
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence Technical Report👁️ Introduction We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language models — DeepSeek-V4-Pro with 1.6T p...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
GLM-5.2 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.2 blog and GLM-5 Technical report. 📍 Use GLM-5.2 API services on Z.ai API Platform. 🔜 Try GLM-5.2 here. Paper GitHub Introduction We're introducing GLM-5.2, our latest flagshi...