Quay lại Trending
Modelvoice-activity-detection
nvidia

nvidia/Frame_VAD_Multilingual_MarbleNet_v2.0

Frame-VAD Multilingual MarbleNet v2.0 Description: Frame-VAD Multilingual MarbleNet v2.0 is a convolutional neural network for voice activity detection (VAD) that serves as the first step for Speech Recognition and Speaker Diarization. It is a frame...

52thích
3.8ktải xuống
6lượt xem

Thành tựu nổi bật

Những danh hiệu mới nhất của dự án

1
TINIX TRENDING·Chủ đề: arxiv:2010.13886

#1 Repository Của Tháng

1
TINIX TRENDING·Chủ đề: MarbleNet

#1 Repository Của Tháng

1
TINIX TRENDING·Chủ đề: VAD

#1 Repository Của Tháng

🗣️ VAD đa ngôn ngữ siêu nhẹ từ NVIDIA – Chỉ 91.5K tham số

Frame-VAD Multilingual MarbleNet v2.0 là mô hình CNN nhận diện hoạt động giọng nói theo khung thời gian, phát phát hiện giọng nói từng khung 20ms, thích hợp làm bước đầu cho nhận dạng giọng nói và phân định người nói.

Đây là mô hình mạng nơ-ron convolutional (CNN) dùng cho voice activity detection (VAD), đóng làm bước đầu tiên cho Speech Recognition và Speaker Diarization. Mô hình hoạt động theo khung thời gian (frame-based), đưa ra xác suất giọng nói cho từng khung âm thanh 20 mili giây. Với chỉ 91.5K tham số, mô hình rất nhẹ và hiệu quả cho các ứng dụng thời gian thực. Để giảm lỗi dương tính giả (false positive), mô hình được huấn luyện với nhiễu trắng và nhiễn thực tế, đồng thời thay đổi âm lượng và bao gồm mẫu âm thanh không phải giọng nói.

✨ Điểm nổi bật

  • Mô hình nhẹ: Chỉ với 91.5K tham số, dễ dàng triển khai trên thiết bị di động hoặc hệ thống thời gian thực.
  • Chịu lỗi thấp: Được huấn luyện với nhiễu trắng và nhiễn thực tế để giảm phát hiện giọng nói sai.
  • Dự đoán từng khung thời gian: Đưa ra xác suất giọng nói cho từng khung 20ms.
  • Hỗ trợ đa ngôn ngữ: Tiếng Anh, Tây Ban Nha, Pháp, Đức, Nga, Trung.
  • Không cần tiền xử lý: Chấp nhận trực tiếp âm thanh WAV 16kHz mono.
  • Hỗ trợ ONNX: Có thể xuất sang định dạng ONNX để chạy trên nhiều nền tảng.
  • Sẵn sàng thương mại: Được cấp phép cho sử dụng thương mại.

💡 Vì sao đáng chú ý

Khác với các mô hình VAD truyền thống nặng nề hoặc chỉ hỗ trợ một ngôn ngữ, MarbleNet v2.0 kết hợp hiệu suất cao với khả năng nhẹ nhàng nhờ kiến trúc 1D Time-Channel Separable CNN. Đặc biệt, việc huấn luyện với các loại nhiễu khác nhau giúp mô hình vận hành ổn định ngay cả trong môi trường tiếng ồn. Phù hợp cho các nhà phát triển, kỹ sư xử lý giọng nói và nhà nghiên cứu AI cần một bước khởi đầu vững chắc cho các hệ thống nhận dạng giọng nói.


#VoiceActivityDetection #MarbleNet #NVIDIA #NeMo #MultilingualVAD #TiniX

Dự án tương tự

Khám phá các dự án và mô hình AI khác có sự tương đồng.

Modelautomatic-speech-recognition
nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B

NVIDIA-Nemotron-3.5-Transcribe-30B-A4B !Nemotron 3.5 Transcribe overview: one speech LLM transcribes a recording in the style selected by the instruction(hero.png) Nemotron 3.5 Transcribe is an open-weight, offline speech and audio model for transcr...

♥0
94.5k
Oct 29, 2026
Modelautomatic-speech-recognition
openai/whisper-large-v3

Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...

♥0
3.2M
Aug 12, 2024
Modelsentence-similarity
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...

♥0
25.5M
Jan 28, 2026
Modelimage-to-video
Lightricks/LTX-2.5

LTX-2.5 — Video, Audio & World Simulation Full control and customization — self-host on your infrastructure. Homepage Docs GitHub Research API Playground Discord LTX License LTX-2.5 — Video, Audio & World Simulation Full control and customiz...

♥0
3.0M
Oct 11, 2026
Modelautomatic-speech-recognition
openai/whisper-large-v3-turbo

Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...

♥0
4.6M
Oct 4, 2024
Modelfeature-extraction
intfloat/multilingual-e5-large

Multilingual-E5-large Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 24 layers and the embedding size is...

♥0
7.3M
Apr 2, 2026
Modelfill-mask
FacebookAI/xlm-roberta-base

XLM-RoBERTa (base-sized model) XLM-RoBERTa model pre-trained on 2.5TB of filtered CommonCrawl data containing 100 languages. It was introduced in the paper Unsupervised Cross-lingual Representation Learning at Scale(https://arxiv.org/abs/1911.02116)...

♥0
8.5M
Feb 19, 2024
Modelsentence-similarity
intfloat/multilingual-e5-small

Multilingual-E5-small Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 12 layers and the embedding size is...

♥0
9.5M
Apr 2, 2026
Modeltext-to-speech
openbmb/VoxCPM2

VoxCPM2 VoxCPM2 is a tokenizer-free, diffusion autoregressive Text-to-Speech model — 2B parameters, 30 languages, 48kHz audio output, trained on over 2 million hours of multilingual speech data. !GitHub(https://img.shields.io/badge/GitHub-VoxCPM-blu...

♥0
972.0k
Nov 9, 2026