Jiunsong/SuperGemma-4-12b-abliterated-gguf-4bit
SuperGemma-4-12b-abliterated - GGUF 4-bit This repository contains a llama.cpp GGUF Q4KM quantization of the BF16 parent model. Parent model: Jiunsong/SuperGemma-4-12b-abliterated(https://huggingface.co/Jiunsong/SuperGemma-4-12b-abliterated) Parent...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 SuperGemma-4-12b-abliterated phiên bản GGUF 4-bit — mô hình đã được tinh gọn để chạy trên máy cá nhân
Bản quantized Q4_K_M giúp mô hình 12B chạy hiệu quả trên phần cứng consumer với hỗ trợ llama.cpp.
Đây là bản quantized GGUF 4-bit (Q4_K_M) của mô hình BF16 gốc Jiunsong/SuperGemma-4-12b-abliterated, được thiết kế để triển khai cục bộ nhẹ và nhanh thông qua llama.cpp.
✨ Điểm nổi bật
- Quantized Q4_K_M 4-bit: giảm kích thước mô hình, phù hợp chạy local trên GPU/CPU consumer.
- Hỗ trợ llama.cpp: tương thích trực tiếp với công cụ llama-cli để chạy nhanh.
- Tăng điểm benchmark đáng kể: cải thiện đáng kể so với Gemma4 gốc ở các bài kiểm tra như HumanEval+ (+28), MBPP+ (+68).
- Hỗ trợ tiếng Anh và tiếng Hàn: phù hợp với đa số ngôn ngữ sử dụng thông thường.
- Dễ tích hợp: chỉ cần tải file .gguf và chạy bằng llama-cli.
💡 Vì sao đáng chú ý
Phiên bản này không chỉ giúp giảm kích thước mô hình mà còn duy trì và cải thiện hiệu suất so với mô hình gốc nhờ kỹ thuật abliterated. Đặc biệt phù hợp với người dùng muốn chạy mô hình 12B trên máy tính cá nhân mà không cần phụ thuộc vào dịch vụ đám mây.
#SuperGemma #GGUF #llamacpp #Quantized #TiniX
Similar Projects
Discover other similar projects and AI models.
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
GLM-5.2 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.2 blog and GLM-5 Technical report. 📍 Use GLM-5.2 API services on Z.ai API Platform. 🔜 Try GLM-5.2 here. Paper GitHub Introduction We're introducing GLM-5.2, our latest flagshi...