mradermacher/Nanbeige4.1-3B-GGUF
About static quants of https://huggingface.co/Nanbeige/Nanbeige4.1-3B For a convenient overview and download list, visit our model page for this model(https://hf.tst.eu/modelNanbeige4.1-3B-GGUF). weighted/imatrix quants are available at https://hugg...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 Nanbeige4.1-3B phiên bản GGUF — Chạy local mà không cần GPU đắt tiền
Bản đồ hóa tĩnh của mô hình Nanbeige/Nanbeige4.1-3B sang định dạng GGUF, hỗ trợ nhiều cấp độ lượng tử hóa khác nhau để tùi ứng dụng.
Đây là bản đồ hóa GGUF (static quantization) của mô hình ngôn ngữ lớn Nanbeige4.1-3B do người dùng mradermacher thực hiện. Mô hình gốc hỗ trợ tiếng Anh và tiếng Trung, được phân phối dưới giấy phép Apache-2.0. Bản đồ này giúp người dùng dễ dàng tải về và sử dụng mô hình trên các nền tảng hỗ trợ GGUF như llama.cpp, ngay cả khi chỉ có CPU.
✨ Điểm nổi bật
- Nhiều cấp độ lượng tử hóa: từ Q2_K (nhỏ nhất, ~1.7GB) đến f16 (~8.0GB), đáp ứng nhu cầu từ thiết bị di động đến workstation mạnh.
- Tối ưu tốc độ: các phiên bản Q4_K_S, Q4_K_M, Q8_0 được đánh dấu là "fast, recommended" hoặc "best quality".
- Hỗ trợ IQ-quants: bản đồ IQ4_XS cung cấp hiệu suất tốt ở kích thước nhỏ.
- Tương thích môi trường local: chạy trên CPU hoặc GPU không yêu cầu phần cứng cao cấp.
- Tài liệu tham khảo hữu ích: cung cấp đường link hướng dẫn sử dụng GGUF từ TheBloke và các tài liệu phân tích chất lượng từ cộng đồng.
- Bản đồ hóa weighted/imatrix riêng biệt: người dùng có thể truy cập bản đồ hóa tối ưu hơn tại trang Hugging Face riêng.
💡 Vì sao đáng chú ý
Nanbeige4.1-3B-GGUF cho phép người dùng khai thác sức mạnh của mô hình ngôn ngữ lớn mà không cần phụ thuộc vào dịch vụ đám mây hoặc phần cứng đắt tiền. Với nhiều lựa chọn lượng tử hóa, người dùng có thể cân bằng giữa tốc độ, kích thước và chất lượng phù hợp với thiết bị và nhu cầu sử dụng cụ thể.
#LLM #GGUF #Quantization #Nanbeige #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
GLM-5.2 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.2 blog and GLM-5 Technical report. 📍 Use GLM-5.2 API services on Z.ai API Platform. 🔜 Try GLM-5.2 here. Paper GitHub Introduction We're introducing GLM-5.2, our latest flagshi...
ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators ELECTRA is a new method for self-supervised language representation learning. It can be used to pre-train transformer networks using relatively little compute. ELECTRA mode...
Read our How to Run Qwen3.8-27B Guide!(https://unsloth.ai/docs/models/qwen3.8) This GGUF uses Unsloth Dynamic V3.0 (preview) for SOTA quantization performance. Developer Role Support so Qwen3.8 can work in agentic tools like Codex and more! MTP for...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...