NicoLab28/ClipProj-MiniMax-H3
ClipProj — MiniMax H3 conditioning from a Qwen3-VL-4B Projection matrices that let a Qwen3-VL-4B replace the Qwen3-VL-32B text encoder of MiniMax H3. 15.7 GB → 5.2 GB of VRAM, with no change to the diffusion model, the VAEs or the sampler. ⚠️ Proof...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#3 Repository Của Tuần
#4 Repository Của Tuần
🎯 Thay thế Qwen3-VL-32B bằng Qwen3-VL-4B trong MiniMax H3 — chỉ với ma trận chiếu
Giảm tiêu thụ VRAM từ 15.7 GB xuống 5.2 GB, không thay đổi diffusion model, VAE hay sampler.
Đây là một proof of concept hoạt động thực sự, được đo lường trên phần cứng thực tế. Dự án cung cấp ma trận chiếu tuyến tính học được cho phép Qwen3-VL-4B sản sinh cùng tensor conditioning [seq, 5120] như Qwen3-VL-32B, nhờ cùng tokenizer (151936 token) và ridge regression không gradient.
✨ Điểm nổi bật
- Thay thế text encoder: Qwen3-VL-4B thay thế Qwen3-VL-32B trong MiniMax H3
- Tiết kiệm VRAM: 15.7 GB → 5.2 GB, không thay đổi diffusion/VAE/sampler
- Ma trận safetensors: tránh rủi ro pickle, lưu scalar trong header
- Attention sink vector: đã được đưa trở lại ma trận, tránh lỗi trên prompt ngắn
- Hỗ trợ 4B & 8B: ma trận 4B dùng cho Qwen3-VL-4B, 8B dùng cho Qwen3-VL-8B
- Ridge regression: calibration không cần gradient, epoch, learning rate
- CONDPROJ matrix: bổ sung cho so sánh, không phải mặc định
- Kiểm tra kích thước: node từ chối nếu mismatch input width (2560 vs 4096)
💡 Vì sao đáng chú ý
MiniMax H3 dùng Qwen3-VL-32B để sinh conditioning nhưng chiếm 15.7 GB VRAM. Dự án khai thác việc cùng tokenizer giữa các Qwen3-VL để học ánh xạ vị trí-vị trí giữa trạng thái ẩn của 4B và 32B. Ridge regression đơn giản nhưng hiệu quả.
CONDPROJ matrix được giữ lại vì có liên kết trên r/StableDiffusion. Không tốt hơn nhưng mang lại bài học: DiT không dùng trựng conditioning nguyên bản mà qua condition_proj, nên calibrating trực tiếp trên output của lớp này mới chính xác hơn.
#AI #TextToVideo #ComfyUI #Qwen3VL #TiniX
Similar Projects
Discover other similar projects and AI models.
MiniMax-H3 Turbo LoRA — 4-step audio-video generation (early preview) A LoRA for MiniMax-H3(https://huggingface.co/Comfy-Org/MiniMax-H3) that renders joint video + synchronized stereo audio in 4 sampling steps instead of the usual ~20 — roughly a 5×...
LTX-2.5 — Video, Audio & World Simulation Full control and customization — self-host on your infrastructure. Homepage Docs GitHub Research API Playground Discord LTX License LTX-2.5 — Video, Audio & World Simulation Full control and customiz...
HunyuanVideo: A Systematic Framework For Large Video Generation Model Training ----- This repo contains PyTorch model definitions, pre-trained weights and inference/sampling code for our paper exploring HunyuanVideo. You can find more visualizations...
Sulphur 2 An uncensored video generation model based on LTX 2.3 supporting both t2v and i2v natively, as well as all of the other ltx 2.3 formats. Join our Discord(https://discord.gg/C3d56f39Ah) Support the next version of the project, even just a fe...
Wan2.1 💜 Wan    ｜    🖥️ GitHub    |   🤗 Hugging Face   |   🤖 ModelScope   |    📑 Paper (Coming soon)    |    📑 Blog    |   💬 WeChat Group &nbs...
Mochi 1 Blog(https://www.genmo.ai/blog) | Direct Download(https://weights.genmo.dev/weights.zip) | Hugging Face Download(https://huggingface.co/genmo/mochi-1-preview/tree/main) | Playground(https://www.genmo.ai/play) | Careers(https://jobs.ashbyhq.c...
中文文档(./READMECN.md) HunyuanVideo-1.5 🎬 HunyuanVideo-1.5: A leading lightweight video generation model -- HunyuanVideo-1.5 is a video generation model that delivers top-tier quality with only 8.3B parameters, significantly lowering the barrier to usa...
AnimateDiff-Lightning AnimateDiff-Lightning is a lightning-fast text-to-video generation model. It can generate videos more than ten times faster than the original AnimateDiff. For more information, please refer to our research paper: AnimateDiff-Li...
Wan2.2 💜 Wan    ｜    🖥️ GitHub    |   🤗 Hugging Face   |   🤖 ModelScope   |    📑 Technical Report    |    📑 Blog    |   💬 WeChat Group   |...