Quay lại Trending
Model
mradermacher

mradermacher/Llama-3-Soliloquy-8B-v2-GGUF

About static quants of https://huggingface.co/elyn-dev/Llama-3-Soliloquy-8B-v2 weighted/imatrix quants are available at https://huggingface.co/mradermacher/Llama-3-Soliloquy-8B-v2-i1-GGUF Usage If you are unsure how to use GGUF files, refer to one o...

8thích
1.3ktải xuống
0lượt xem

Thành tựu nổi bật

Những danh hiệu mới nhất của dự án

1
TINIX TRENDING·Chủ đề: base_model:quantized:elyn-dev/Llama-3-Soliloquy-8B-v2

#1 Repository Của Tuần

1
TINIX TRENDING·Chủ đề: base_model:elyn-dev/Llama-3-Soliloquy-8B-v2

#1 Repository Của Tuần

10
TINIX TRENDING·Chủ đề: license:cc-by-nc-sa-4.0

#10 Repository Của Tuần

🧠 Llama-3-Soliloquy-8B-v2-GGUF: Bản quant GGUF cho chạy local

Bản quant tĩnh của Llama-3-Soliloquy-8B-v2, tối ưu cho CPU với nhiều cấp độ độ chính xác khác nhau.

Đây là bản quant GGUF tĩnh của mô hình elyn-dev/Llama-3-Soliloquy-8B-v2, được thực hiện bởi mradermacher. Mô hình gốc là phiên bản Llama-3 đã được fine-tune để hỗ trợ lập luận nội tâm (soliloquy), phù hợp cho các tác vụ cần suy nghĩ sâu. Bản quant này giúp người dùng chạy mô hình trên máy local mà không cần phụ thuộc vào GPU mạnh.

✨ Điểm nổi bật

  • Quant GGUF tĩnh: Hỗ trợ chạy trực tiếp trên CPU thông qua các trình đọc GGUF như llama.cpp.
  • Nhiều cấp độ quant: Bao gồm Q2_K, IQ3_XS, Q3_K_S, Q4_K_M, Q5_K_M, Q6_K, Q8_0, f16 — lựa chọn theo nhu cầu.
  • IQ-quants tối ưu: Các bản quant IQ3_XS, IQ3_S, IQ3_M thường cho chất lượng tốt hơn cùng kích thước.
  • Ghi chú chất lượng: Q3_K_M có chất lượng thấp hơn; Q4_K_S và Q4_K_M được đề xuất vì tốc độ và chất lượng cân bằng.
  • Hỗ trợ multi-part: Các file lớn có thể được nối lại theo hướng dẫn từ TheBloke.
  • Bản đồ so sánh độ mất mát: Được cung cấp biểu đồ so sánh các loại quant thấp chất lượng bởi ikawrakow.
  • Nguồn weighted/imatrix quant: Bản đệm chất lượng cao hơn tại trang này.

💡 Vì sao đáng chú ý

Bản quant này cho phép người dùng khai thác Llama-3-Soliloquy-8B-v2 mà không cần phần cứng cao cấp. Với nhiều lựa chọn quant từ Q2_K đến f16, người dùng có thể điều chỉnh giữa tốc độ và chất lượng tùy theo nhu cầu. Các bản quant IQ-series nổi bật hơn trong số các lựa chọn cùng kích thước.


#AI #GGUF #Quantized #Llama3 #CPU #TiniX

Dự án tương tự

Khám phá các dự án và mô hình AI khác có sự tương đồng.

Modelsentence-similarity
sentence-transformers/all-MiniLM-L6-v2

all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...

♥0
190.2M
Jun 1, 2026
Modeltext-generation
meta-llama/Llama-3.1-8B-Instruct

Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...

♥0
4.8M
Sep 25, 2024
Modeltext-generation
meta-llama/Meta-Llama-3-8B-Instruct

Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...

♥0
341.0k
Jun 18, 2025
Modelimage-text-to-text
Qwen/Qwen3.8-27B

Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...

♥0
7.6M
Aug 14, 2026
Modeltext-ranking
cross-encoder/ms-marco-MiniLM-L6-v2

Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...

♥0
71.4M
Aug 9, 2026
Modeltext-generation
deepseek-ai/DeepSeek-R1

DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...

♥0
1.5M
Mar 27, 2025
Model
google/electra-base-discriminator

ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators ELECTRA is a new method for self-supervised language representation learning. It can be used to pre-train transformer networks using relatively little compute. ELECTRA mode...

♥0
36.9M
Feb 29, 2024
Model
unsloth/Qwen3.8-27B-GGUF

Read our How to Run Qwen3.8-27B Guide!(https://unsloth.ai/docs/models/qwen3.8) This GGUF uses Unsloth Dynamic V3.0 (preview) for SOTA quantization performance. Developer Role Support so Qwen3.8 can work in agentic tools like Codex and more! MTP for...

♥0
5.9M
Aug 20, 2026
Modelfeature-extraction
BAAI/bge-small-en-v1.5

FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...

♥0
53.1M
Feb 22, 2024