nomadoor/flux-2-klein-9B-schematic-lora
FLUX.2 Klein 9B Schematic LoRA !FLUX.2 Klein Schematic LoRA thumbnail(samples/thumbnail.png) This project was inspired by Vision Banana(https://vision-banana.github.io/), which treats tasks such as depth, normal, and segmentation as image editing. I...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tháng
#1 Repository Của Tháng
🧪 Bộ LoRA biến CV thành bài toán chỉnh sửa ảnh trên FLUX.2 Klein 9B
Lấy cảm hứng từ Vision Banana: coi độ sâu, phân đoạn, pose như những lần chỉnh sửa ảnh.
Dự án nomadoor/flux-2-klein-9B-schematic-lora thử nghiệm áp dụng ý tưởng "treat computer vision tasks as image editing" và FLUX.2 [klein] 9B base, bằng cách huấn luyện sáu LoRA nhỏ cho từng nhiệm vụ. Đầu ra là ảnh RGB dạng sơ đồ (schematic), phục vụ thích hợp cho nghiên cứu và thử nghiệm. Chất lượng chưa đạt chuẩn production.
✨ Điểm nổi bật
- Sáu LoRA nhiệm vụ: relative depth, surface normal, body pose, full pose, binary segmentation, amodal segmentation.
- Cách tiếp cận mới: thay vì dùng mô hình CV chuyên biệt, dùng LoRA fine-tune trên FLUX.2 Klein 9B để sinh sơ đồ.
- Loại đầu ra: ảnh RGB sơ đồ (schematic images).
- Prompt đơn giản: dùng lệnh trực tiếp như "Generate a relative depth map of the input image."
- Hỗ trợ ComfyUI: có sẵn workflow JSON để tích hợp ngay.
- Bộ dữ liệu nhỏ: 1920 cặp ảnh cho toàn bộ nhiệm vụ.
- Cấu hình huấn luyện: ai-toolkit, LoRA rank 32 (linear) / 16 (conv), lr 5e-5, batch size 4.
💡 Vì sao đáng chú ý
Thay vì dựa trên các bộ tiền xử lý CV như DWPose, Depth Anything, SAM hay Lotus-2, dự án khám phá cách dùng LoRA để biến FLUX.2 Klein thành một cỗ máy sinh sơ đồ đa năng. Phù hợp với thí nghiệm, prototyping hoặc nghiên cứu kiến trúc mới trong image editing. Tuy nhiên, chất lượng còn hạn chế, đặc biệt ở pose và amodal segmentation.
#LoRA #FLUX2Klein #ComputerVision #ImageEditing #ComfyUI #TiniX
Similar Projects
Discover other similar projects and AI models.
FLUX.2 Klein 9B 360 ERP Outpaint LoRA !ComfyUI Node(https://img.shields.io/badge/ComfyUI-Panorama--Stickers-blue)(https://github.com/nomadoor/ComfyUI-Panorama-Stickers) !4B Model(https://img.shields.io/badge/Hugging%20Face-4B%20Model-green)(https://...
🔴 TUTORIALS COMING SOON — SUBSCRIBE NOW I'll be dropping in-depth tutorials on AI models, ComfyUI workflows, image & video generation, 3D tools and more. !YouTube(https://img.shields.io/badge/▶️Subscribe-@JettHuangAI-FF0000?style=for-the-badge&logo...
!FLUX.1 dev Grid(./devgrid.jpg) FLUX.1 dev is a 12 billion parameter rectified flow transformer capable of generating images from text descriptions. For more information, please read our blog post(https://blackforestlabs.ai/announcing-black-forest-la...
  🤗 HuggingFace   |   🤖 ModelScope   |    📑 Research Paper    |    📑 Blog    |    🤗 Demo    Introduction We are excited to introduce Qwen-Image-Layered, a model cap...
HiDream-O1-Image HiDream-O1-Image is a natively unified image generative foundation model built on a Pixel-level Unified Transformer (UiT) without external VAEs or disjoint text encoders, which natively encodes raw pixels, text, and task-specific co...
GGUF quants of Phr00t/Qwen-Image-Edit-Rapid-AIO from v11 Used https://github.com/city96/ComfyUI-GGUF tools for quantizing. From v11.4, files are Quantized using https://github.com/phil2sat/convert/tree/main/tools...
Ming-Image-0.1-Design-Layer Ming-Image-0.1-Design-Layer decomposes a flattened design image into a requested number of RGBA layers using an image and a layer plan. Quick Start Use the companion Ming-Image repository(https://github.com/inclusionAI/Mi...
HiDream-O1-Image-Dev-2604 for Text-to-Image Generation Models | Name | Script | Inference Steps | HuggingFace Repo | | :--- | :--- | :---: | :--- | | HiDream-O1-Image-Dev-2604 | inference.py | 28 | 🤗 HiDream-O1-Image-Dev-2604(https://huggingface.co...
Emu3.5: Native Multimodal Models are World Learners Emu3.5 Team, BAAI Project Page(https://emu.world/pages/web/landingPage) | 🤗HF Models(https://huggingface.co/collections/BAAI/emu35) | Paper(https://arxiv.org/pdf/2510.26583) | App(https://emu.worl...