KBlueLeaf/TTVidT
TT-VidT Decoupling the Temporal Axis for Efficient Motion-Centric Video Pretraining NeurIPS 2026 (main track) !Project Page(https://img.shields.io/badge/Project-Page-green)(https://kohakublueleaf.github.io/TTVidT/) !Paper(https://img.shields.io/badg...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 TT-VidT: Tách thời gian ra khỏi hình ảnh để học chuyển động video nhanh hơn
Một encoder video self-supervised tập trung vào chuyển động, dựa trên DINOv3 ViT-B/16, nơi mỗi khung hình được xử lý độc lập và kết nối thời gian qua lớp Temporal Transfer nhẹ.
TT-VidT (TT3D) là một mô hình video self-supervised được thiết kế đặc biệt để học biểu diễn chuyển động. Dựa trên DINOv3 ViT-B/16, mô hình xử lý từng khung hình độc lập qua đường xuất hiện, đồng thời sử dụng một đường truyền Temporal Transfer nhỏ gọn để biến mỗi khung hình thành một số token chuyển động, sau đó trao đổi thông tin giữa các thời điểm.
✨ Điểm nổi bật
- Kiến trúc chia tách: 12 lớp DINOv3 ViT-B/16 xử lý xuất hiện, xen kẽ với 12 lớp Temporal Transfer (TT3D) mã hoá chuyển động.
- Attention theo khối thời gian: Mỗi lớp TT3D thực hiện attention có tính bất đối xứng trên K=8 token chuyển động cùng token không gian được giảm 4 lần.
- Mục tiêu pretraining: Diff Compression — một bộ giải mã DiT tái tạo khung hình sau từ đặc trưng khung hình đầu tiên cộng token chuyển động tương ứng.
- Kích thước nhỏ gọn: Tổng cộng 195,5M tham số, trong đó có 85,1M thuộc đường xuất hiện DINOv3.
- Đầu ra rõ ràng: Trả về motion_output dạng [B, T, 1, 768], một vector nhúng 768 chiều cho mỗi khung hình.
- Dễ tích hợp: Hỗ trợ tải về và sử dụng trực tiếp qua Hugging Face Transformers với trust_remote_code.
💡 Vì sao đáng chú ý
Không như các mô hình video truyền thống gộp cả hình ảnh và thời gian trong cùng một không gian, TT-VidT tách rõ hai trục này. Điều này giúp mô hình học sâu các mô hình chuyển động mà không cần xử lý toàn bộ không gian thời gian phức tạp. Kết quả trên bộ nhận dạng hành động (ví dụ: 86.0% trên IARD, 72.9% trên Jester) cho thấy biểu diễn chuyển động dạng token nhẹ có hiệu quả cao trong các tác vụ hiểu video.
#SelfSupervisedLearning #VideoRepresentationLearning #DINOv3 #TemporalModeling #VideoClassification #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
BERT base model (uncased) Pretrained model on English language using a masked language modeling (MLM) objective. It was introduced in this paper(https://arxiv.org/abs/1810.04805) and first released in this repository(https://github.com/google-resear...