mradermacher/gpt-oss-160b-kiwi-i1-GGUF
About weighted/imatrix quants of https://huggingface.co/LLMWildling/gpt-oss-160b-kiwi For a convenient overview and download list, visit our model page for this model(https://hf.tst.eu/modelgpt-oss-160b-kiwi-i1-GGUF). static quants are available at...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🧠 Bản quantized GGUF của gpt-oss-160b-kiwi — mô hình tiếng Việt dựa trên GPT-OSS
Bản quantized GGUF của mô hình gpt-oss-160b-kiwi, tối ưu cho phần cứng consumer GPU.
Đây là bản quantized GGUF của mô hình LLMWildling/gpt-oss-160b-kiwi, một mô hình ngôn ngữ lớn tiếng Việt được phát triển dựa trên kiến trúc GPT-OSS, hỗ trợ các tác vụ code và agentic. Bản quantized này do người dùng Hugging Face mradermacher tạo ra, sử dụng kỹ thuật weighted/imatrix để cung cấp nhiều cấp độ lượng tử hóa khác nhau, phù hợp với các thiết bị có tài nguyên hạn chế.
✨ Điểm nổi bật
- imatrix quantization: sử dụng kỹ thuật weighted/imatrix để tối ưu chất lượng mô hình.
- Nhiều cấp độ lượng tử hóa IQ: hỗ trợ từ IQ1_M, IQ1_S cho đến IQ4_XS, phù hợp nhiều phần cứng.
- Static quants riêng biệt: các bản quantized tĩnh có sẵn tại đây.
- Hỗ trợ multi-part files: một số bản quantized lớn được chia thành nhiều phần để tải xuống.
- Hướng dẫn chi tiết: người dùng mới có thể tham khảo README của TheBloke để biết cách sử dụng.
- Tương thích với vllm và mxfp4: hỗ trợ tích hợp với các công cụ và phần cứng hiện đại.
💡 Vì sao đáng chú ý
Bản quantized này mang lại khả năng chạy mô hình gpt-oss-160b-kiwi trên các thiết bị consumer GPU nhờ kỹ thuật lượng tử hóa hiệu quả. Với nhiều cấp độ lựa chọn từ thấp nhất (IQ1_M, IQ1_S) đến cao nhất (Q4_K_M, Q5_K_S), người dùng có thể cân bằng giữa tốc độ, kích thước và chất lượng phù hợp với nhu cầu và phần cứng của mình. Đây là lựa chọn tốt cho các nhà nghiên cứu và phát triển viên muốn khám phá mô hình tiếng Việt mạnh mẽ mà không cần phần cứng đắt đỏ.
#GGUF #Quantization #VietnameseLLM #GPT-OSS #TiniX
Similar Projects
Discover other similar projects and AI models.
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Read our How to Run Qwen3.8-27B Guide!(https://unsloth.ai/docs/models/qwen3.8) This GGUF uses Unsloth Dynamic V3.0 (preview) for SOTA quantization performance. Developer Role Support so Qwen3.8 can work in agentic tools like Codex and more! MTP for...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
SAM 3 is a unified foundation model for promptable segmentation in images and videos. It can detect, segment, and track objects using text or visual prompts such as points, boxes, and masks. Compared to its predecessor SAM 2(https://github.com/facebo...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...