bartowski/Qwen2.5-32B-ArliAI-RPMax-v1.3-GGUF
Llamacpp imatrix Quantizations of Qwen2.5-32B-ArliAI-RPMax-v1.3 Using llama.cpp release b4058 for quantization. Original model: https://huggingface.co/ArliAI/Qwen2.5-32B-ArliAI-RPMax-v1.3 All quants made using imatrix option with dataset from here(h...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
📦 Quantized GGUF Qwen2.5-32B-ArliAI-RPMax-v1.3 — Bản đệm tối ưu bằng imatrix
Bản quantized GGUF của Qwen2.5-32B-ArliAI-RPMax-v1.3 sử dụng llama.cpp bản phát hành b4058, được tạo bởi bartowski với kỹ thuật imatrix để duy trì chất lượng tốt nhất ở mỗi mức nén.
Đây là bản quantized GGUF từ mô hình gốc ArliAI/Qwen2.5-32B-ArliAI-RPMax-v1.3, được thực hiện bởi người dùng bartowski trên Hugging Face. Toàn bộ các bản quantized đều sử dụng tùy chọn imatrix kết hợp với bộ dữ liệu từ đây. Hỗ trợ chạy trực tiếp trong LM Studio.
✨ Điểm nổi bật
- Hỗ trợ nhiều định dạng: Từ f16 (đầy đủ 65.54GB) đến các mức nén Q3_K_S, phù hợp với nhu cầu RAM khác nhau.
- Kỹ thuật imatrix: Áp dụng để tối ưu hoá chất lượng mô hình sau khi quantized.
- Releasen b4058 của llama.cpp: Đảm bảo tính ổn định và hiệu suất cao.
- Tương thích LM Studio: Dễ dàng tích hợp và chạy mà không cần cấu hình phức tạp.
- Hai nhánh ARM tối ưu: Q4_0_8_8, Q4_0_4_8 và Q4_0_4_4 được thiết kế riêng cho thiết bị ARM (yêu cầu hỗ trợ sve/i8mm).
- Đánh dấu "recommended": Nhiều phiên bản như Q6_K_L, Q5_K_L, Q4_K_M được đề xuất cho chất lượng cân bằng.
- Prompt format chuẩn Qwen: Sử dụng cấu trúc <|im_start|>system/user/assistant.
💡 Vì sao đáng chú ý
Dự án cung cấp công cụ quantized mạnh mẽ cho mô hình Qwen2.5-32B lớn, cho phép người dùng lựa chọn phiên bản phù hợp với cấu hình phần cứng và nhu cầu sử dụng thực tế. Việc sử dụng kỹ thuật imatrix giúp duy trì chất lượng mô hình tốt nhất dù ở mức nén cao.
#Qwen2.5 #GGUF #llamaCPP #imatrix #TiniX
Similar Projects
Discover other similar projects and AI models.
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence Technical Report👁️ Introduction We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language models — DeepSeek-V4-Pro with 1.6T p...