Lewdiculous/Lumimaid-v0.2-8B-GGUF-IQ-Imatrix
roleplay sillytavern llama3 My GGUF-IQ-Imatrix quants for NeverSleep/Lumimaid-v0.2-8B(https://huggingface.co/NeverSleep/Lumimaid-v0.2-8B). I recommend checking their page for feedback and support. !IMPORTANT Quantization process: Imatrix data was ge...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#4 Repository Của Tuần
🎭 Bản GGUF tối ưu cho Lumimaid-v0.2-8B — roleplay Llama-3 mượt trên 8GB
Bản quant GGUF-IQ-Imatrix từ NeverSleep/Lumimaid-v0.2-8B, tối ưu cho KoboldCpp và SillyTavern.
Đây là bản quant GGUF hỗ trợ IQ (Iterative Quantization) và Imatrix từ mô hình gốc NeverSleep/Lumimaid-v0.2-8B, dựa trên Meta-Llama-3.1-8B-Instruct. Dự aimed dùng cho roleplay, tích hợp tốt với SillyTavern và KoboldCpp. Quy trình quant dùng dữ liệu Imatrix sinh từ FP16-GGUF và BF16-GGUF để giảm mất thông tin.
✨ Điểm nổi bật
- GGUF-IQ-Imatrix: Sử dụng kỹ thuật quant IQ kết hợp Imatrix để duy trì chất lượng mô hình.
- Tương thích KoboldCpp: Yêu cầu bản KoboldCpp mới nhất để chạy tối ưu.
- Hỗ trợ 8GB VRAM: Phiên bản Q4_K_M-imat (4.89 BPW) phù hợp với GPU 8GB, hỗ trợ context đến 12288 token.
- Tùy chỉnh context lớn: Hỗ trợ
--quantkv 1hoặc--quantkv 2để đạt context 32K, thoại nghiện với Context Shifting. - Preset Llama-3: Cung cấp preset tương thích với SillyTavern, tham khảo tại Virt-io.
- Giấy phép CC-BY-NC-4.0: Dùng cho mục đích phi thương mại.
💡 Vì sao đáng chú ý
Bản quant này khác biệt nhờ quy trình sinh Imatrix từ cả FP16 và BF16, giúp giảm mất mát chất lượng so với cách chuyển đổi thông thường. Phù hợp cho người dùng muốn chạy mô hình roleplay nặng trên phần cứng giới hạn, đặc biệt là GPU 8GB. Kết hợp KoboldCpp và SillyTavern giúp trải nghiệm mượt mà, tối ưu bộ nhớ và hiệu năng.
#Lumimaid #GGUF #Llama3 #Roleplay #SillyTavern #KoboldCpp #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators ELECTRA is a new method for self-supervised language representation learning. It can be used to pre-train transformer networks using relatively little compute. ELECTRA mode...
Read our How to Run Qwen3.8-27B Guide!(https://unsloth.ai/docs/models/qwen3.8) This GGUF uses Unsloth Dynamic V3.0 (preview) for SOTA quantization performance. Developer Role Support so Qwen3.8 can work in agentic tools like Codex and more! MTP for...
roleplay sillytavern llama3 My GGUF-IQ-Imatrix quants for Sao10K/L3-8B-Stheno-v3.2(https://huggingface.co/Sao10K/L3-8B-Stheno-v3.2). Sao10K with Stheno again, another banger! I recommend checking his page for feedback and support. !IMPORTANT Quantiz...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...