WesPro/Mistral-Small-3.1-24B-Instruct-2503-HF-Q6_K-GGUF
WesPro/Mistral-Small-3.1-24B-Instruct-2503-HF-Q6K-GGUF This model was converted to GGUF format from anthracite-core/Mistral-Small-3.1-24B-Instruct-2503-HF(https://huggingface.co/anthracite-core/Mistral-Small-3.1-24B-Instruct-2503-HF) using llama.cpp...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#7 Repository Của Tuần
🚀 Mistral-Small-3.1-24B-Instruct-2503 được chuyển đổi sang GGUF Q6_K
Bản định dạng GGUF Q6_K giúp mô hình chạy trực tiếp trên CPU và GPU cục bộ thông qua llama.cpp.
Đây là bản chuyển đổi GGUF từ mô hình gốc anthracite-core/Mistral-Small-3.1-24B-Instruct-2503-HF, sử dụng công cụ của ggml.ai thông qua không gian GGUF-my-repo. Phiên bản này áp dụng kỹ thuật lượng tử hóa Q6_K, cân bằng giữa kích thước mô hình và chất lượng đầu ra, phù hợp để triển khai trên máy cục bộ mà không cần phụ thuộc vào dịch vụ đám mây.
✨ Điểm nổi bật
- Định dạng GGUF Q6_K: Tối ưu cho llama.cpp, giảm kích thước mô hình nhưng giữ chất lượng sinh.
- Tương thích llama.cpp: Hỗ trợ chạy qua CLI hoặc server của llama.cpp.
- Cài đặt nhanh qua brew: Hỗ trợ cài đặt trên cả macOS và Linux.
- Hỗ trợ GPU: Có thể bật hỗ trợ CUDA khi biên dịch với
LLAMA_CUDA=1. - Tải trực tiếp từ Hugging Face: Sử dụng
--hf-repovà--hf-fileđể tải mô hình mà không cần tải về thủ công. - Linh hoạt triển khai: Có thể dùng thông qua lệnh CLI hoặc chạy như một server API.
💡 Vì sao đáng chú ý
Phiên bản GGUF này giúp người dùng dễ dàng triển khai mô hình ngôn ngữ lớn lên tới 24 tỷ tham số trên phần cứng cá nhân mà không cần máy chủ mạnh. Với kỹ thuật lượng tử hóa Q6_K, mô hình giảm đáng kể dung lượng nhưng vẫn duy trì khả năng sinh chất lượng tốt, thích hợp cho các ứng dụng như trò trò chuyện cục bộ, viết lệnh, hoặc hỗ trợ lập trình.
#Mistral #GGUF #llamacpp #Q6_K #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Read our How to Run Qwen3.8-27B Guide!(https://unsloth.ai/docs/models/qwen3.8) This GGUF uses Unsloth Dynamic V3.0 (preview) for SOTA quantization performance. Developer Role Support so Qwen3.8 can work in agentic tools like Codex and more! MTP for...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
!FLUX.1 dev Grid(./devgrid.jpg) FLUX.1 dev is a 12 billion parameter rectified flow transformer capable of generating images from text descriptions. For more information, please read our blog post(https://blackforestlabs.ai/announcing-black-forest-la...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators ELECTRA is a new method for self-supervised language representation learning. It can be used to pre-train transformer networks using relatively little compute. ELECTRA mode...
rippertnt/HyperCLOVAX-SEED-Text-Instruct-1.5B-Q4KM-GGUF This model was converted to GGUF format from naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-1.5B(https://huggingface.co/naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-1.5B) using llama.cpp...
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...