google/videoprism-lvt-large-f8r288
VideoPrism Model Card Paper: https://huggingface.co/papers/2402.13217 arXiv: https://arxiv.org/pdf/2402.13217 GitHub: https://github.com/google-deepmind/videoprism Blog: https://research.google/blog/videoprism-a-foundational-visual-encoder-for-video...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🎥 VideoPrism-LvT-L: Mã nguồn mở mã hóa video siêu mạnh từ Google DeepMind
VideoPrism-LvT-L là một encoder video + văn bản, dựa trên kiến trúc Vision Transformer và được huấn luyện trên 36M cặp video-ghi chú và 582M đoạn video.
VideoPrism-LvT-L là một phiên bản lớn của dự án VideoPrism do Google DeepMind phát triển. Đây là một mô hình mã hóa video (video encoder) và văn bản (text encoder) dựa trên kiến trúc Vision Transformer (ViT-L), hỗ trợ chuyển đổi video thành các vector embedding mịn. Mô hình này cho phép thực hiện nhiều nhiệm vụ hiểu video như phân loại, truy xuất và định vị hành động mà không cần fine-tuning.
✨ Điểm nổi bật
- Video + Text dual encoder: Mô hình đồng thời mã hóa cả video và văn bản thành embedding để đo độ tương đồng.
- 580 triệu tham số: Dung lượng mô hình lớn, hiệu năng cao trên nhiều bài toán hiểu video.
- Hỗ trợ đầu vào tùy biến: Chấp nhận video có số khung hình (num_frames) tùy ý bằng nội suy embedding thời gian.
- Xuất embedding spatiotemporal: Đầu ra có hình dạng (num_frames × 16 × 16 × feature_channels).
- Tương thích CLIP-style retrieval: Kết hợp với text encoder để hỗ trợ truy xuất video bằng văn bản.
- License Apache-2.0: Mã nguồn mở, dùng cho nghiên cứu và ứng dụng thương mại.
- Hiệu năng vượt trội: Trên 31/33 bài toán benchmark, mô hình vượt kết quả các mô hình nền tảng trước đó mà không cần fine-tuning.
💡 Vì sao đáng chú ý
VideoPrism-LvT-L nổi bật nhờ khả năng mã hóa đa phương thức (video + text) và hiệu năng vượt trội trên nhiều bài toán hiểu video. Khác với các mô hình chỉ xử lý video đơn lẻ, phiên bản này kết hợp trực tiếp text encoder, cho phép truy xuất video bằng mô tả ngôn ngữ tự nhiên. Đây là lựa chọn lý tưởng cho các nhà nghiên cứu và nhà phát triển cần một mô hình mạnh để xây dựng hệ thống hiểu video hoặc truy xuất nội dung video thông qua văn bản.
#VideoClassification #VideoEmbedding #OpenSource #GoogleDeepMind #TiniX
Similar Projects
Discover other similar projects and AI models.
VideoPrism Model Card Paper: https://huggingface.co/papers/2402.13217 arXiv: https://arxiv.org/pdf/2402.13217 GitHub: https://github.com/google-deepmind/videoprism Blog: https://research.google/blog/videoprism-a-foundational-visual-encoder-for-video...
V-JEPA 2 A frontier video understanding model developed by FAIR, Meta, which extends the pretraining objectives of VJEPA(https://ai.meta.com/blog/v-jepa-yann-lecun-ai-model-video-joint-embedding-predictive-architecture/), resulting in state-of-the-a...
X-CLIP (base-sized model) X-CLIP model (base-sized, patch resolution of 32) trained fully-supervised on Kinetics-400(https://www.deepmind.com/open-source/kinetics). It was introduced in the paper Expanding Language-Image Pretrained Models for Genera...
V-JEPA 2 A frontier video understanding model developed by FAIR, Meta, which extends the pretraining objectives of VJEPA(https://ai.meta.com/blog/v-jepa-yann-lecun-ai-model-video-joint-embedding-predictive-architecture/), resulting in state-of-the-a...
V-JEPA 2 A frontier video understanding model developed by FAIR, Meta, which extends the pretraining objectives of VJEPA(https://ai.meta.com/blog/v-jepa-yann-lecun-ai-model-video-joint-embedding-predictive-architecture/), resulting in state-of-the-a...
FAL - Framework For Automated Labeling Of Videos (FALVideoClassifier) FAL (Framework for Automated Labeling Of Videos) is a custom video classification model developed by SVECTOR and fine-tuned on the FAL-500 dataset. This model is designed for effi...
TT-VidT Decoupling the Temporal Axis for Efficient Motion-Centric Video Pretraining NeurIPS 2026 (main track) !Project Page(https://img.shields.io/badge/Project-Page-green)(https://kohakublueleaf.github.io/TTVidT/) !Paper(https://img.shields.io/badg...
Nikeytas/Videomae Crime Detector Maxdata V1 This model is a fine-tuned version of MCG-NJU/videomae-base(https://huggingface.co/MCG-NJU/videomae-base) on the UCF Crime dataset with event-based binary classification. It achieves the following results...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...