Mungert/Dans-PersonalityEngine-V1.3.0-24b-GGUF
Dans-PersonalityEngine-V1.3.0-24b GGUF Models Model Generation Details This model was generated using llama.cpp(https://github.com/ggerganov/llama.cpp) at commit f5cd27b7(https://github.com/ggerganov/llama.cpp/commit/f5cd27b71da3ac375a04a41643d14fc7...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🧠 Dans-PersonalityEngine 24B: model GGUF đa lĩnh vực cho roleplay và viết truyện
Model 24B dựa trên Mistral-Small-3.1, được đóng gói GGUF với nhiều mức quantization để dễ chạy trên phần cứng khác nhau.
Dans-PersonalityEngine-V1.3.0-24b GGUF là phiên bản GGUF của mô hình 24B dựa trên Mistral-Small-3.1-24B-Base-2503, do Mungert phát hành. README cho thấy mô hình hướng đến mục đích tổng quát, đặc biệt là roleplay và viết truyện, đồng thời bao phủ các chủ đề như hóa học, sinh học, lập trình, khí hậu, pháp lý, y tế và tài chính. Nó được tạo bằng llama.cpp và đi kèm nhiều tập dữ liệu huấn luyện/tinh chỉnh, phản ánh phạm vi dữ liệu rộng.
✨ Điểm nổi bật
- Dựa trên Mistral-Small-3.1 24B: kế thừa nền tảng mô hình 24 tỷ tham số từ Mistral-Small-3.1-24B-Base-2503.
- Định dạng GGUF: thuận tiện chạy với các công cụ tương thích llama.cpp/GGUF.
- Nhiều mức quantization: README mô tả các phương án như BF16 và nhiều mức quantization khác nhau để cân bằng chất lượng và bộ nhớ.
- Ultra-low-bit với IQ-DynamicGate: phương pháp quantization 1-2 bit thích ứng theo layer, benchmark trên Llama-3-8B cho thấy giảm perplexity đáng kể.
- Bảo vệ thành phần quan trọng: embeddings/output layers dùng Q5_K để giảm lan truyền lỗi so với quantization 1-2 bit tiêu chuẩn.
- Đa ngôn ngữ: hỗ trợ tiếng Anh, tiếng Arab, Đức, Pháp, Tây Ban Nha, Hindi, Bồ Đào Nha, Nhật, Hàn.
- Phạm vi dữ liệu rộng: danh sách datasets bao gồm roleplay, prose, instruct, reasoning, tool use, assistant và nhiều lĩnh vực khác.
- License Apache-2.0: giấy phép cho phép sử dụng và điều chỉnh theo điều khoản Apache.
💡 Vì sao đáng chú ý
Dự án nổi bật ở chỗ kết hợp một mô hình 24B thiên về roleplay/viết truyện với bộ dữ liệu phong phú và nhiều mức quantization. Điều này giúp người dùng chọn cấu hình phù hợp với VRAM, CPU hoặc thiết bị edge thay vì bị khóa vào một định dạng duy nhất. Các benchmark trong README tập trung vào phương pháp IQ-DynamicGate trên Llama-3-8B, nên cần xem đó là tham khảo kỹ thuật cho quantization hơn là kết quả trực tiếp của Dans-PersonalityEngine.
#GGUF #Mistral #Roleplay #Quantization #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Llamacpp imatrix Quantizations of Dans-PersonalityEngine-V1.3.0-24b by PocketDoc Using llama.cpp release b5466 for quantization. Original model: https://huggingface.co/PocketDoc/Dans-PersonalityEngine-V1.3.0-24b All quants made using imatrix option...
Llamacpp imatrix Quantizations of Dans-PersonalityEngine-V1.2.0-24b by PocketDoc Using llama.cpp release b4738 for quantization. Original model: https://huggingface.co/PocketDoc/Dans-PersonalityEngine-V1.2.0-24b All quants made using imatrix option...
Llamacpp imatrix Quantizations of Dans-PersonalityEngine-V1.1.0-12b Using llama.cpp release b4381 for quantization. Original model: https://huggingface.co/PocketDoc/Dans-PersonalityEngine-V1.1.0-12b All quants made using imatrix option with dataset...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
BigScience Large Open-science Open-access Multilingual Language Model Version 1.3 / 6 July 2022 Current Checkpoint: Training Iteration 95000 Link to paper: here(https://arxiv.org/abs/2211.05100) Total seen tokens: 366B --- Model Details BLOOM is an...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...