DreamFast/gemma-3-12b-it-heretic-v2
Gemma 3 12B IT - Heretic v2 (Abliterated) An abliterated version of Google's Gemma 3 12B IT(https://huggingface.co/google/gemma-3-12b-it) created using Heretic(https://github.com/p-e-w/heretic) v1.2.0. This model has reduced refusals while maintaini...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🧠 Gemma 3 12B IT - Heretic v2: text encoder "mở khóa" cho LTX-2
Abliterated Gemma 3 12B IT với refusal giảm từ 100/100 xuống 8/100, KL divergence chỉ 0.0801.
Gemma 3 12B IT - Heretic v2 là bản abliterated của Google Gemma 3 12B IT, tạo bằng Heretic v1.2.0. Mục tiêu là giảm refusal nhưng vẫn giữ chất lượng mô hình, phù hợp làm text encoder không kiểm duyệt cho mô hình sinh video như LTX-2. Tác giả cũng công khai docker, script và cấu hình tạo file trên repo Heretic Docker.
✨ Điểm nổi bật
- Heretic v1.2.0 với 200 trials: chọn Trial 174, tốt hơn v1 (v1 dùng v1.1.0, 100 trials, Trial 99).
- Refusal giảm mạnh: còn 8/100 so với 100/100 bản gốc, KL divergence 0.0801 (thiệt hại tối thiểu).
- Giữ nguyên vision: các biến thể ComfyUI vẫn chứa
vision_modelvàmulti_modal_projectorcho I2V prompt enhancement. - NVFP4 quantization: định dạng 4-bit native cho ComfyUI, nhỏ hơn ~3x so với bf16, tối ưu Blackwell GPU.
- GGUF được hỗ trợ: ComfyUI-GGUF đã merge hỗ trợ Gemma 3 (PR #402).
- Nhiều định dạng file: HuggingFace safetensors, ComfyUI (bf16/fp8/nvfp4) và GGUF từ F16 đến Q3_K_M.
- Nhiều mức quantization GGUF: từ F16 22GB đến Q3_K_M 5.6GB, Q4_K_M 6.8GB là lựa chọn cân bằng khuyến nghị.
- NVFP4 chạy được trên GPU cũ: Blackwell dùng tensor core native, GPU cũ dùng software dequantization (đã test trên RTX 4090).
💡 Vì sao đáng chú ý
Dự án hữu ích cho workflow LTX-2 trong ComfyUI, nơi text encoder ảnh hưởng trực tiếp đến prompt encoding. Abliteration vẫn loại bỏ soft censorship trong embeddings, có thể cho prompt encoding trung thực hơn cho nội dung sáng tạo. Tuy nhiên tác động mang tính nuance: Gemma không biết nội dung nó chưa từng được huấn luyện; LTX-2 được huấn luyện trên embeddings gốc; abliteration chủ yếu xảy ra ở layer 48 trong khi LTX-2 trung bình qua mọi layer, nên khác biệt có thể bị làm mờ.
#Gemma3 #LTX2 #ComfyUI #Abliteration #TiniX
Similar Projects
Discover other similar projects and AI models.
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Llama 2 Llama 2 is a collection of pretrained and fine-tuned generative text models ranging in scale from 7 billion to 70 billion parameters. This is the repository for the 7B fine-tuned model, optimized for dialogue use cases and converted for the...
Paper Link👁️ 1. Introduction We present DeepSeek-V3, a strong Mixture-of-Experts (MoE) language model with 671B total parameters with 37B activated for each token. To achieve efficient inference and cost-effective training, DeepSeek-V3 adopts Multi...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...