mradermacher/Llama-3-Soliloquy-8B-v2-GGUF
About static quants of https://huggingface.co/elyn-dev/Llama-3-Soliloquy-8B-v2 weighted/imatrix quants are available at https://huggingface.co/mradermacher/Llama-3-Soliloquy-8B-v2-i1-GGUF Usage If you are unsure how to use GGUF files, refer to one o...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#10 Repository Của Tuần
🧠 Llama-3-Soliloquy-8B-v2-GGUF: Bản quant GGUF cho chạy local
Bản quant tĩnh của Llama-3-Soliloquy-8B-v2, tối ưu cho CPU với nhiều cấp độ độ chính xác khác nhau.
Đây là bản quant GGUF tĩnh của mô hình elyn-dev/Llama-3-Soliloquy-8B-v2, được thực hiện bởi mradermacher. Mô hình gốc là phiên bản Llama-3 đã được fine-tune để hỗ trợ lập luận nội tâm (soliloquy), phù hợp cho các tác vụ cần suy nghĩ sâu. Bản quant này giúp người dùng chạy mô hình trên máy local mà không cần phụ thuộc vào GPU mạnh.
✨ Điểm nổi bật
- Quant GGUF tĩnh: Hỗ trợ chạy trực tiếp trên CPU thông qua các trình đọc GGUF như llama.cpp.
- Nhiều cấp độ quant: Bao gồm Q2_K, IQ3_XS, Q3_K_S, Q4_K_M, Q5_K_M, Q6_K, Q8_0, f16 — lựa chọn theo nhu cầu.
- IQ-quants tối ưu: Các bản quant IQ3_XS, IQ3_S, IQ3_M thường cho chất lượng tốt hơn cùng kích thước.
- Ghi chú chất lượng: Q3_K_M có chất lượng thấp hơn; Q4_K_S và Q4_K_M được đề xuất vì tốc độ và chất lượng cân bằng.
- Hỗ trợ multi-part: Các file lớn có thể được nối lại theo hướng dẫn từ TheBloke.
- Bản đồ so sánh độ mất mát: Được cung cấp biểu đồ so sánh các loại quant thấp chất lượng bởi ikawrakow.
- Nguồn weighted/imatrix quant: Bản đệm chất lượng cao hơn tại trang này.
💡 Vì sao đáng chú ý
Bản quant này cho phép người dùng khai thác Llama-3-Soliloquy-8B-v2 mà không cần phần cứng cao cấp. Với nhiều lựa chọn quant từ Q2_K đến f16, người dùng có thể điều chỉnh giữa tốc độ và chất lượng tùy theo nhu cầu. Các bản quant IQ-series nổi bật hơn trong số các lựa chọn cùng kích thước.
#AI #GGUF #Quantized #Llama3 #CPU #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators ELECTRA is a new method for self-supervised language representation learning. It can be used to pre-train transformer networks using relatively little compute. ELECTRA mode...
Read our How to Run Qwen3.8-27B Guide!(https://unsloth.ai/docs/models/qwen3.8) This GGUF uses Unsloth Dynamic V3.0 (preview) for SOTA quantization performance. Developer Role Support so Qwen3.8 can work in agentic tools like Codex and more! MTP for...
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...