TencentARC/VideoPainter
VideoPainter This repository contains the implementation of the paper "VideoPainter: Any-length Video Inpainting and Editing with Plug-and-Play Context Control" Keywords: Video Inpainting, Video Editing, Video Generation Yuxuan Bian(https://yxbian23...
🎬 VideoPainter: Inpainting video bất kỳ độ dài nào với kiểm soát ngữ cảnh thông minh
VideoPainter đưa ra một paradigm song hướng mới, kết hợp encoder ngữ cảnh hiệu quả (chỉ chiếm 6% tham số backbone) để xử lý video bị mất và tiêm thông tin nền ảnh hưởng vào bất kỳ mô hình video DiT nào.
VideoPainter là cách giới thiệu của nhóm nghiên cứu từ Tencent ARC Lab, The Chinese University of Hong Kong, The University of Tokyo, University of Macau và Ying Shan, dưới sự lãnh đạo của Zhaoyang Zhang. Dự án giải quyết bài toán inpainting và chỉnh sửa video với độ dài bất kỳ, sử dụng kỹ thuật ID resampling cho vùng mục tiêu mới lạ, đồng thời cung cấp bộ dữ liệu lớn nhất tới thời điểm đó: VPData (hơn 390K đoạn video với mask phân đoạn chính xác và caption dày đặc) và VPBench để đánh giá.
✨ Điểm nổi bật
- Dual-stream architecture: encoder ngữ cảnh nhẹ (6% tham số backbone) xử lý video bị mất, tiêm ngữ cảnh nền vào bất kỳ mô hình DiT nào.
- Plug-and-play context control: tích hợp ngữ cảnh nền một cách tuần tự, tuân thủ kiến trúc gốc của mô hình.
- Any-length video inpainting: kỹ thuật target region ID resampling cho phép xử lý video có độ dài tùy ý.
- VPData: bộ dữ liệu inpainting video lớn nhất thế giới với hơn 390K đoạn video, mask phân đoạn chính xác và caption dày đặc.
- VPBench: benchmark đánh giá inpainting video dựa trên mask phân đoạn.
- Cơ hội mở rộng: hỗ trợ ứng dụng downstream như video editing và sinh dữ liệu cặp chỉnh sửa video.
- Cơ sở mô hình: xây dựng trên nền tảng CogVideoX-5B của THUDM.
💡 Vì sao đáng chú ý
VideoPainter khác biệt so với các phương pháp inpainting video truyền thống bằng việc tách biệt rõ rệt giữa việc xử lý ngữ cảnh và sinh nội dung chính. Nhờ encoder ngữ cảnh nhẹ lẻ, mô hình giảm đáng kể độ phức tạp học và cho phép kiểm soát ngữ cảnh một cách linh hoạt mà không cần huấn luyện lại toàn bộ backbone. Kết hợp với VPData và VPBench — hai bộ dữ liệu/benchmark lớn nhất thế giới — dự án mở ra tiềm năng thực tiễn lớn cho việc chỉnh sửa video, tạo nội dung video và sinh dữ liệu huấn luyện.
#VideoInpainting #VideoEditing #VideoGeneration #CogVideoX #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
!FLUX.1 dev Grid(./devgrid.jpg) FLUX.1 dev is a 12 billion parameter rectified flow transformer capable of generating images from text descriptions. For more information, please read our blog post(https://blackforestlabs.ai/announcing-black-forest-la...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
!FLUX.1 schnell Grid(./schnellgrid.jpeg) FLUX.1 schnell is a 12 billion parameter rectified flow transformer capable of generating images from text descriptions. For more information, please read our blog post(https://blackforestlabs.ai/announcing-bl...
⚡️- ImageAn Efficient Image Generation Foundation Model with Single-Stream Diffusion Transformer !Official Site(https://img.shields.io/badge/Official%20Site-333399.svg?logo=homepage)(https://tongyi-mai.github.io/Z-Image-blog/)&160; !GitHub(https://im...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
VideoPainter This repository contains the implementation of the paper "VideoPainter: Any-length Video Inpainting and Editing with Plug-and-Play Context Control" Keywords: Video Inpainting, Video Editing, Video Generation Yuxuan Bian12, Zhaoyang Zhang1‡, Xuan Ju2, Mingdeng Cao3, Liangbin Xie4, Ying Shan1, Qiang Xu2✉ 1ARC Lab, Tencent PCG 2The Chinese University of Hong Kong 3The University of Tokyo 4University of Macau ‡Project Lead ✉Corresponding Author … See the full description on the dataset page: https://huggingface.co/datasets/TencentARC/VPData.
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...