mradermacher/Qwen2.5-7B-Instruct-Uncensored-GGUF
About static quants of https://huggingface.co/Orion-zhen/Qwen2.5-7B-Instruct-Uncensored weighted/imatrix quants are available at https://huggingface.co/mradermacher/Qwen2.5-7B-Instruct-Uncensored-i1-GGUF Usage If you are unsure how to use GGUF files...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🧩 Qwen2.5-7B Uncensored dưới dạng GGUF với nhiều mức lượng tử
Bản lượng tử tĩnh của Qwen2.5-7B-Instruct-Uncensored, từ Q2_K đến f16, kèm link tải từng file.
Đây là repo lượng tử hóa của mradermacher cho mô hình gốc Orion-zhen/Qwen2.5-7B-Instruct-Uncensored. Mục tiêu chính là cung cấp các file GGUF với nhiều mức lượng tử khác nhau, giúp người dùng chọn cân bằng giữa kích thước, tốc độ và chất lượng khi chạy cục bộ.
✨ Điểm nổi bật
- Mô hình gốc: Qwen2.5-7B-Instruct-Uncensored của Orion-zhen, hỗ trợ nhiều ngôn ngữ trong đó có tiếng Việt.
- Định dạng GGUF: các file lượng tử tĩnh để dùng với công cụ tương thích GGUF; cách dùng tham khảo README của TheBloke.
- Nhiều mức lượng tử: từ Q2_K (3.1 GB) đến f16 (15.3 GB), kèm ghi chú về chất lượng và tốc độ.
- Khuyến nghị thực dụng: Q4_K_S và Q4_K_M được đánh dấu nhanh và khuyến nghị; Q6_K có chất lượng rất tốt.
- Chất lượng cao: Q8_0 được ghi là chất lượng tốt nhất và nhanh; f16 ở 16 bpw được ghi là "overkill".
- Weighted/imatrix quants: có bản lượng tử theo weighted/imatrix tại repo riêng Qwen2.5-7B-Instruct-Uncensored-i1-GGUF.
- Dữ liệu liên quan: README liệt kê các dataset như ToxicQAFinal, kalo-opus-instruct-22k-no-refusal, dpo-toxic-zh, toxic-dpo-v0.2 và Intel-DPO-Pairs-Norefusals.
- Giấy phép: GPL-3.0.
💡 Vì sao đáng chú ý
Điểm hay của repo là không chỉ đưa ra một file lượng tử duy nhất, mà cung cấp một phổ lựa chọn từ rất nhỏ đến gần bản gốc. Điều này giúp người dùng chọn mức phù hợp với RAM/VRAM và nhu cầu chất lượng của mình.
Tên mô hình và các dataset no-refusal cho thấy định hướng tinh chỉnh theo hướng ít từ chối hơn, nhưng README không cung cấp benchmark hay đánh giá chi tiết, nên nên xem đây chủ yếu là bản phân phối GGUF của mô hình gốc.
#Qwen #GGUF #Uncensored #LLM #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Model Card for Aya 101 Model Summary The Aya model is a massively multilingual generative language model that follows instructions in 101 languages. Aya outperforms mT0(https://huggingface.co/bigscience/mt0-xxl) and BLOOMZ(https://huggingface.co/big...
GlotLID !GlotLID(https://img.shields.io/badge/🤗-Open%20In%20Spaces-blue.svg)(https://huggingface.co/spaces/cis-lmu/glotlid-space) Description GlotLID is a Fasttext language identification (LID) model that supports more than 2000 labels. Latest: Glo...
huihui-ai/Qwen2.5-72B-Instruct-abliterated This is an uncensored version of Qwen/Qwen2.5-72B-Instruct(https://huggingface.co/Qwen/Qwen2.5-72B-Instruct) created with abliteration (see remove-refusals-with-transformers(https://github.com/Sumandora/rem...
!Oxy 1 Small(https://cdn-uploads.huggingface.co/production/uploads/64fb80c8bb362cbf2ff96c7e/tTIVIblPUbTYnlvHQQjXB.png) Introduction Oxy 1 Small is a fine-tuned version of the Qwen/Qwen2.5-14B-Instruct(https://huggingface.co/Qwen/Qwen/Qwen2.5-14B-Inst...
!logo.jpg(logo.jpg) Ivy-VL is a lightweight multimodal model with only 3B parameters. It accepts both image and text inputs to generate text outputs. Thanks to its lightweight design, it can be deployed on edge devices such as AI glasses and smartpho...
Qwen2.5-14B-Instruct-Uncensored This model is an uncensored fine-tune version of Qwen2.5-14B-Instruct. I trained unalignment dataset over a specific system prompt. To fully enjoy its uncensorship, please change the system prompt to: text You are Mei...
huihui-ai/Qwen2.5-32B-Instruct-abliterated This is an uncensored version of Qwen2.5-32B-Instruct(https://huggingface.co/Qwen/Qwen2.5-32B-Instruct) created with abliteration (see this article(https://huggingface.co/blog/mlabonne/abliteration) to know...
Finetune Llama 3.1, Gemma 2, Mistral 2-5x faster with 70% less memory via Unsloth! We have a Qwen 2.5 (all model sizes) free Google Colab Tesla T4 notebook(https://colab.research.google.com/drive/1Kose-ucXO1IBaZq5BvbwWieuubP7hxvQ?usp=sharing). Also...
Deductive-Reasoning-Qwen-32B !image/png(https://cdn-uploads.huggingface.co/production/uploads/674a1d102c0f27a385772cfe/JauBmEQM0FpOdShBMSfst.png) Deductive Reasoning Qwen 32B is a reinforcement fine-tune of Qwen 2.5 32B Instruct(https://huggingface....