nvidia/nemotron-labs-audio-visual-flamingo-hf
Model Overview Nemotron-Labs-Audio-Visual Flamingo: Open Audio-Visual Intelligence for Long and Complex Videos Nemotron-Labs-Audio-Visual Flamingo (AVF) is a fully open audio-visual large language model for joint understanding and reasoning over aud...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🎬 Nemotron-Labs Audio-Visual Flamingo: Trí tuệ đa phương thức mở cho video dài và phức tạp
Mô hình ngôn ngữ lớn đa phương thức (audio-visual LLM) hoàn toàn mở, thiết kế cho việc hiểu và lý luận đồng thời trên âm thanh, hình ảnh và video thực tế.
Nemotron-Labs-Audio-Visual Flamingo (AVF) là một mô hình ngôn ngữ lớn đa phương thức (audio-visual LLM) hoàn toàn mở, phát triển bởi NVIDIA và Đại học Maryland, dùng cho việc hiểu và lý luận đồng thời trên âm thanh, hình ảnh và video. Bản checkpoint nvidia/nemotron-labs-audio-visual-flamingo-hf là phiên bản được huấn luyện bằng chỉ thị (instruction-tuned), tạo ra văn bản từ video dài và phức tạp. AVF được thiết kế cho những trường hợp câu trả lời phụ thuộc vào cả hình ảnh và âm thanh: lời nói, tiếng nền, nhạc, hành động, chuyển cảnh, thứ tự thời gian và sự căn chỉnh giữa các kênh.
✨ Điểm nổi bật
- Kiến trúc đa phương thức: Kết hợp SigLIP vision tower, AF-Whisper audio encoder và Qwen2.5-7B decoder-only backbone.
- Dynamic-S2 preprocessing: Xử lý hình ảnh độ phân giải cao và video dài một cách hiệu quả.
- CRTE (Constrained Rotary Time Embeddings): Nhúng thời gian quay hoá để căn chỉnh âm thanh và hình ảnh đồng bộ.
- Dự án AV-Skills: Bộ dữ liệu 7 triệu mẫu caption và hỏi đáp.
- Hỗ trợ lý luận thời gian: Phân tích thứ tự sự kiện, chuyển đổi cảnh và ngữ cảnh dài.
- TAVIT: Lý luận âm-thanh-hình ảnh thời gian thực.
- Giao diện chat đa phương thức: Hỗ trợ prompt hình ảnh, âm thanh, video và văn bản trong một giao diện thống nhất.
- Mã nguồn mở: Tích hợp với Transformers thông qua nhánh phát triển riêng.
💡 Vì sao đáng chú ý
Khác với các hệ thống xử lý video và âm thanh độc lập, AVF căn chỉnh các đoạn hình ảnh và âm thanh đồng bộ, xen kẽ chúng theo trục thời gian và đưa vào mô hình ngôn ngữ. Điều này giúp mô hình chú ý đến các sự kiện thị giác và âm thanh đồng thời xảy ra. AVF phù hợp cho việc trả lời câu hỏi dựa trên video, tạo caption chi tiết, lý luận thời gian và căn chỉnh sự kiện âm thanh-hình ảnh.
#AudioVisualFlamingo #MultimodalAI #VideoUnderstanding #OpenSource #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...