Lewdiculous/L3-8B-Stheno-v3.2-GGUF-IQ-Imatrix
roleplay sillytavern llama3 My GGUF-IQ-Imatrix quants for Sao10K/L3-8B-Stheno-v3.2(https://huggingface.co/Sao10K/L3-8B-Stheno-v3.2). Sao10K with Stheno again, another banger! I recommend checking his page for feedback and support. !IMPORTANT Quantiz...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#2 Repository Của Tháng
🧠 Bản định lượng GGUF cho Stheno-v3.2 — Roleplay tối ưu trên SillyTavern
Bản định lượng GGUF-IQ-Imatrix từ Sao10K/L3-8B-Stheno-v3.2, hỗ trợ roleplay và tích hợp tốt với SillyTavern.
Đây là bản định lượng GGUF-IQ-Imatrix của mô hình Sao10K/L3-8B-Stheno-v3.2, do người dùng Lewdiculous thực hiện. Mô hình này được tối ưu cho các tác vụ roleplay và hoạt động tốt với nền tảng SillyTavern. Bản định lượng đã được thực hiện sau khi áp dụng các bản vá từ PR #6920 của llama.cpp, giúp giảm thiểu mất mát trong quá trình chuyển đổi.
✨ Điểm nổi bật
- GGUF-IQ-Imatrix: Sử dụng kỹ thuật định lượng IQ kết hợp với Imatrix để tối ưu độ chính xác.
- Hỗ trợ SillyTavern: Tương thích trực tiếp với SillyTavern và các preset roleplay.
- Tối ưu 8GB VRAM: Gợi ý sử dụng bản định lượng Q4_K_M-imat cho GPU 8GB.
- Quy trình chuyển đổi an toàn: Dữ liệu Imatrix sinh từ FP16-GGUF, chuyển đổi trự tiếp từ BF16-GGUF.
- Hỗ trợ KoboldCpp: Sử dụng phiên bản mới nhất của KoboldCpp để đảm bảo hiệu suất.
💡 Vì sao đáng chú ý
Bản định lượng này khác biệt nhờ việc kết hợp IQ (Integer Quantization) và Imatrix, giúp duy trễ độ chính xác cao nhất có thể trong khi vẫn giảm kích thước mô hình đáng kể. Điều này giúp người dùng có thể chạy mô hình lớn trên phần cứng consumer-grade như GPU 8GB mà không cần hy sinh quá nhiều về chất lượng đầu ra. Đặc biệt phù hợp cho các ứng dụng roleplay phức tạp và tạo nội dung sáng tạo trên SillyTavern.
#L38BStheno #GGUF #Roleplay #SillyTavern #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Read our How to Run Qwen3.8-27B Guide!(https://unsloth.ai/docs/models/qwen3.8) This GGUF uses Unsloth Dynamic V3.0 (preview) for SOTA quantization performance. Developer Role Support so Qwen3.8 can work in agentic tools like Codex and more! MTP for...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators ELECTRA is a new method for self-supervised language representation learning. It can be used to pre-train transformer networks using relatively little compute. ELECTRA mode...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...