google/videoprism-large-f8r288
VideoPrism Model Card Paper: https://huggingface.co/papers/2402.13217 arXiv: https://arxiv.org/pdf/2402.13217 GitHub: https://github.com/google-deepmind/videoprism Blog: https://research.google/blog/videoprism-a-foundational-visual-encoder-for-video...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 VideoPrism-L: Mã nguồn mở video encoder đột phá từ Google DeepMind
VideoPrism-L vượt trội 31/33 bảng chuẩn video understanding mà không cần fine-tuning.
VideoPrism-L (google/videoprism-large-f8r288) là một mô hình mã nguồn mở từ Google DeepMind, thiết kế như một bộ mã hóa video (video encoder) nền tảng. Mô hình nhận khung hình video đầu vào và sinh ra các embedding mỏng gọn, dùng cho phân loại video, truy xuất video, hoặc kết nối với các mô hình ngôn ngữ lớn (LLM).
✨ Điểm nổi bật
- Hiệu suất vượt trội: Đạt kết quả tốt nhất trên 31/33 bảng chuẩn video understanding mà không cần fine-tuning.
- Cấu trúc mạnh mẽ: Kết hợp Vision Transformer (ViT-L) và bốn lớp Transformer chú ý thời gian.
- Đầu vào linh hoạt: Hỗ trợ video với số khung hình tùy ý bằng nội suy embedding thời gian.
- Ứng dụng đa dạng: Phân loại video, định vị thời gian/không gian, truy xuất video bằng văn bản.
- Bản quyền mở: Công bố dưới giấy phép Apache 2.0, hỗ trợ cộng đồng nghiên cứu.
💡 Vì sao đáng chú ý
VideoPrism-L không chỉ là một mô hình mã hóa video đơn thuần mà là một bước đột phá trong việc xây dựng các mô hình nền tảng cho hiểu biết video. Với khả năng vượt trội mà không cần fine-tuning, mô hình mở ra tiềm năng cho các ứng dụng mã nguồn mở mạnh mẽ, từ phân tích hành động trong video đến truy xuất video bằng văn bản.
#VideoClassification #VideoEmbedding #OpenSource #AI #TiniX
Similar Projects
Discover other similar projects and AI models.
VideoPrism Model Card Paper: https://huggingface.co/papers/2402.13217 arXiv: https://arxiv.org/pdf/2402.13217 GitHub: https://github.com/google-deepmind/videoprism Blog: https://research.google/blog/videoprism-a-foundational-visual-encoder-for-video...
V-JEPA 2 A frontier video understanding model developed by FAIR, Meta, which extends the pretraining objectives of VJEPA(https://ai.meta.com/blog/v-jepa-yann-lecun-ai-model-video-joint-embedding-predictive-architecture/), resulting in state-of-the-a...
X-CLIP (base-sized model) X-CLIP model (base-sized, patch resolution of 32) trained fully-supervised on Kinetics-400(https://www.deepmind.com/open-source/kinetics). It was introduced in the paper Expanding Language-Image Pretrained Models for Genera...
V-JEPA 2 A frontier video understanding model developed by FAIR, Meta, which extends the pretraining objectives of VJEPA(https://ai.meta.com/blog/v-jepa-yann-lecun-ai-model-video-joint-embedding-predictive-architecture/), resulting in state-of-the-a...
V-JEPA 2 A frontier video understanding model developed by FAIR, Meta, which extends the pretraining objectives of VJEPA(https://ai.meta.com/blog/v-jepa-yann-lecun-ai-model-video-joint-embedding-predictive-architecture/), resulting in state-of-the-a...
FAL - Framework For Automated Labeling Of Videos (FALVideoClassifier) FAL (Framework for Automated Labeling Of Videos) is a custom video classification model developed by SVECTOR and fine-tuned on the FAL-500 dataset. This model is designed for effi...
TT-VidT Decoupling the Temporal Axis for Efficient Motion-Centric Video Pretraining NeurIPS 2026 (main track) !Project Page(https://img.shields.io/badge/Project-Page-green)(https://kohakublueleaf.github.io/TTVidT/) !Paper(https://img.shields.io/badg...
Nikeytas/Videomae Crime Detector Maxdata V1 This model is a fine-tuned version of MCG-NJU/videomae-base(https://huggingface.co/MCG-NJU/videomae-base) on the UCF Crime dataset with event-based binary classification. It achieves the following results...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...