ethanfel/Qwen3-VL-4B-Heretic-ComfyUI-ConvRot-INT8
Qwen3-VL-4B Heretic — Dynamic ConvRot INT8 for ComfyUI Krea 2 This repository contains a true dynamic-ConvRot INT8 conversion of DreamFast/Qwen3-VL-4b-Heretic(https://huggingface.co/DreamFast/Qwen3-VL-4b-Heretic), packaged as a single-file ComfyUI t...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#2 Repository Của Tuần
🧩 Qwen3-VL 4B thu gọn cho Krea 2
Text encoder 4,84 GB, tương thích Krea 2, ưu tiên độ trung thành cao so với BF16.
Dự án đóng gói bản Heretic của DreamFast thành text encoder dành cho Krea 2 trong ComfyUI. Mô hình dùng Qwen3-VL-4B-Instruct conditioning, không phải kiến trúc Qwen3-4B chỉ xử lý văn bản. Bản INT8 Dynamic ConvRot nhỏ hơn đáng kể nhưng vẫn giữ các tensor nhạy cảm ở độ chính xác BF16.
✨ Điểm nổi bật
- Dynamic ConvRot thực sự: 356 trọng số được lượng tử hóa INT8 với FP32 scale theo từng hàng.
- Metadata đầy đủ: Cả 356 lớp lượng tử hóa chứa
convrot: truedành cho ComfyUI. - Ba nhóm kích thước Dynamic ConvRot: 216 lớp dùng group size 256, 72 lớp dùng 1.024 và 68 lớp dùng 4.096.
- BF16 cho tensor nhạy cảm: 357 embedding, norm, bias và tensor liên quan khác không bị lượng tử hóa.
- Quy trình có thể tái lập: Dùng
convert_to_quant1.3.1, seed 42 và Prodigy learned rounding. - Độ trung thành cao: Mean cosine similarity đạt 0,999853; mean relative L2 error là 2,13% so với BF16.
- Checkpoint một tệp: File
qwen3-vl-4b-heretic_int8_dynamic_convrot.safetensorsnặng 4,84 GB, SHA-256c766f6f078bbfe7474699faaceb9484251b0c7c8dd4bf2d5730b320feca54778. - Cài đặt trực tiếp: Đặt tệp vào
ComfyUI/models/text_encoders/, rồi chọn trongCLIPLoadervới typekrea2.
💡 Vì sao đáng chú ý
Cách tiếp cận không lượng tử hóa toàn bộ mô hình: 356 trọng số dùng INT8 Dynamic ConvRot, còn embedding, norm, bias và các tensor nhạy cảm giữ BF16. Dự án cũng cung cấp số đo trung thành trên bốn prompt và xác nhận GPU loading, tokenization, encoding end-to-end với output conditioning có dạng (1, 10, 30720).
Checkpoint phù hợp khi cần giảm dung lượng cho Krea 2 mà vẫn ưu tiên độ giống BF16. Đây là tệp text encoder một tệp cho ComfyUI, không phải repository Transformers hoàn chỉnh.
#Qwen3VL #ComfyUI #INT8 #Krea2 #TiniX
Similar Projects
Discover other similar projects and AI models.
Qwen3-VL-4B-Instruct Heretic (ComfyUI) 💬 Community: Join the Abliterlitics Discord(https://discord.gg/AqmDnBjPvM) for discussion, model releases and support. ComfyUI checkpoints of the Heretic abliteration(https://huggingface.co/DreamFast/Qwen3-VL-...
qwen3vl32bminimaxh3int8convrotuncensored-by-linjian257 中文 | English(english) 模型简介 这是一个供 MiniMax-H3 ComfyUI 工作流使用的 Qwen3-VL-32B INT8 TensorWise + ConvRot 社区修改版文本编码器。该版本由 linjian257 从修改后的 BF16 权重量化得到，重点是在保持 ComfyUI 工作流兼容性的同时明显降低权重文件体积。 本文件只是 MiniMax-H...
Qwen3-VL Text Encoders — INT8 INT8 quantized versions of the Qwen3-VL text encoders, for use in ComfyUI workflows (Boogu, Ideogram 4, and others that use Qwen3-VL as a text encoder). Files | File | Source | ConvRot Group Size | Notes | |---|---|---|...
Qwen3-VL-32B Ultra Uncensored Heretic — H3 ComfyUI BF16 + INT8 ConvRot This repository contains three ComfyUI safetensors files built from llmfan46/Qwen3-VL-32B-Instruct-ultra-uncensored-heretic(https://huggingface.co/llmfan46/Qwen3-VL-32B-Instruct-...
Qwen3-VL-32B Ultra Uncensored Heretic — MiniMax-H3 ComfyUI INT8 ConvRot This repository contains two ComfyUI safetensors files built from llmfan46/Qwen3-VL-32B-Instruct-ultra-uncensored-heretic(https://huggingface.co/llmfan46/Qwen3-VL-32B-Instruct-u...
Gemma 3 12B IT - Heretic v2 (Abliterated) An abliterated version of Google's Gemma 3 12B IT(https://huggingface.co/google/gemma-3-12b-it) created using Heretic(https://github.com/p-e-w/heretic) v1.2.0. This model has reduced refusals while maintaini...
Qwen3 8B - Heretic (Abliterated) An abliterated version of Qwen's Qwen3-8B(https://huggingface.co/Qwen/Qwen3-8B) created using Heretic(https://github.com/p-e-w/heretic) v1.2.0 (git master). This model has reduced refusals while maintaining model qua...
Qwen 3 4B - Heretic (Abliterated) An abliterated version of Qwen 3 4B(https://huggingface.co/Qwen/Qwen3-4B) created using Heretic(https://github.com/p-e-w/heretic) v1.2.0. This model has reduced refusals while maintaining model quality, making it su...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...