yuvraj108c/LTX-2.3-22b-IC-LoRA-Any-Trajectory-Instruction
LTX-2.3 22B IC-LoRA Any Trajectory Instruction (ATI) This is an experimental IC-Lora for porting Any Trajectory Instruction (ATI)(https://github.com/bytedance/ATI) to LTX using minimal resources. Model Details - Base Model: LTX-2.3-22b Video - Train...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#3 Repository Của Tháng
🎯 IC-LoRA thử nghiệm: Điều khiển chuyển động bất kỳ trong LTX-2.3 22B
Port Any Trajectory Instruction (ATI) của ByteDance sang LTX-2.3 22B bằng IC-LoRA, dùng spline để ràng buộc chuyển động.
Đây là một IC-LoRA thử nghiệm nhằm mang tính năng Any Trajectory Instruction (ATI) từ ByteDance sang mô hình LTX-2.3-22B Video, sử dụng cách tiếp cận spline để ràng buộc vị trí chuyển động. Dự án được huấn luyện với mục tiêu khai thác tài nguyên tối thiểu nhưng vẫn đạt hiệu quả điều khiển chuyển động phức tạp trong sinh video.
✨ Điểm nổi bật
- IC LoRA: Loại LoRA điều kiện dùng cho việc tái tạo chuyển động video.
- Spline Motion Control: Sử dụng spline để xác định và ràng buộc đường đi chuyển động.
- 768x768x81: Kích thước bucket hình ảnh và khung hình tối ưu.
- 3000 bước huấn luyện: Thời gian huấn luyện ngắn nhưng hiệu quả.
- 1 GPU H100: Chỉ cần một thiết bị phần cứng mạnh để huấn luyện.
- Dưới 5 tiếng: Tổng thời gian huấn luyện rất nhanh.
- Hỗ trợ ComfyUI: Cung cấp workflow và cài đặt chi tiết cho người dùng.
💡 Vì sao đáng chú ý
Không giống các phương pháp điều khiển chuyển động truyền thống cần dữ liệu lớn và công suất tính toán khổng lồ, IC-LoRA này đạt được mục tiêu chỉ với 25 cặp video và dưới 5 tiếng huấn luyện trên một GPU H100. Điều này cho thấy tiềm năng của LoRA trong việc tối ưu hóa tài nguyên khi nâng cấp tính năng cho các mô hình video lớn.
Tuy nhiên, đây là checkpoint thử nghiệm đầu tiên, một số hạn chế vẫn tồn tại như hiện tượng điểm chuyển động xuất hiện ở các độ phân giải hoặc số khung hình khác nhau. Phù hợp với các nhà nghiên cứu và phát triển muốn khám phá cách tích hợp điều khiển chuyển động chi tiết vào quy trình sinh video.
#ICLoRA #LTX2.3 #VideoGeneration #LoRA #TiniX
Similar Projects
Discover other similar projects and AI models.
LTX-Video 2.3 22B — IC-LoRA: CrossView Prompt v0.9 A fine-tuned In-Context LoRA (IC-LoRA) adapter for LTX-Video 2.3 (22B) that acts as a virtual second camera: give it a reference video and a short camera-angle prompt, and it re-renders the same sce...
LTX-Video 2.3 22B — IC-LoRA: Cameraman v2 A fine-tuned In-Context LoRA (IC-LoRA) adapter for LTX-Video 2.3 (22B), trained to replicate camera movements from a reference video. This is v2 of the Cameraman IC-LoRA(https://huggingface.co/Cseti/LTX2.3-2...
LTX-2.3 22B IC-LoRA Reference Sheet Control This is an IC-LoRA trained on top of LTX-2.3-22B, which conditions video generation on a reference sheet — a single composite image inventorying the characters, props, and location of a scene — so that gen...
LTX-2.3 Clean Plate IC-LoRA An IC-LoRA for LTX-2.3-22B that removes people and other dynamic subjects from a source video and reconstructs the empty background, producing a clean "clean plate" of the same scene. It is based on the LTX-2.3(https://hu...
LTX Restore IC-LoRA An In-Context LoRA that restores old and damaged footage: it takes archive video (low-resolution web rips, low-bitrate broadcast transfers, tape, sepia or black-and-white film scans) as its reference and renders the same shot as...
LTX2.3 Audio Reactive LoRA LoRA adapter for LTX-2.3 audio-reactive video generation. V2 Update - June 15, 2026 V2 adds stronger audio-reactive motion, heavier beat impact, and more aggressive smoke/liquid-light movement driven by the track. This upd...
LTX-2.5 — Video, Audio & World Simulation Full control and customization — self-host on your infrastructure. Homepage Docs GitHub Research API Playground Discord LTX License LTX-2.5 — Video, Audio & World Simulation Full control and customiz...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
LTX-Video 2.3 22B — IC-LoRA: CrossView Warp 0.9 This is a PoC, that's why the 0.9. What it does: you give it a video and a camera offset (azimuth / elevation / distance), and it generates the same scene from that new viewpoint. It's an IC-LoRA for L...