mistralai/Voxtral-Mini-4B-Realtime-2602
Voxtral Mini 4B Realtime 2602 Voxtral Mini 4B Realtime 2602 is a multilingual, realtime speech-transcription model and among the first open-source solutions to achieve accuracy comparable to offline systems with a delay of = 3600 / 0.8 = 45000. In t...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tuần
#1 Repository Của Ngày
🗣️ Voxtral-Mini-4B-Realtime-2602: Chuyển đổi giọng nói thành văn bản thời gian thực mạnh túc
Mô hình ASR thời gian thực đa ngôn ngữ từ Mistral AI, đạt độ trễ dưới 500ms với độ chính xác cạnh tranh với các hệ thống offline.
Voxtral Mini 4B Realtime 2602 là một mô hình chuyển đổi giọng nói thành văn bản thời gian thực đa ngôn ngữ, được phát triển bởi Mistral AI. Đây là một trong những giải pháp mã nguồn mở đầu tiên đạt được độ chính xác tương đương với các hệ thống offline nhưng với độ trễ chỉ dưới 500ms. Mô hình hỗ trợ 13 ngôn ngữ khác nhau, phù hợp cho các ứng dụng như trợ lý ảo và phụ đề trực tuyến.
✨ Điểm nổi bật
- Kiến trúc streaming: Sử dụng kiến trúc streaming và bộ mã hóa âm thanh causal được huấn luyện riêng, cho phép cấu hình độ trễ từ 240ms đến 2.4s.
- Hỗ trợ 13 ngôn ngữ: Bao gồm tiếng Anh, Pháp, Tây Ban Nha, Đức, Nga, Trung, Nhật, Ý, Bồ Đào Nha, Hà Lan, ả, Hindi, Hàn.
- Tối ưu triển khai trên thiết bị: Với 4 tỷ tham số, mô hình được thiết kế để chạy hiệu quả trên phần cứng tối thiểu.
- Hiệu suất cao: Chạy thời gian thực với tốc độ xử lý vượt 12.5 token/giây.
- Cấu hình linh hoạt: Cho phép điều chỉnh độ trễ để cân bằng giữa độ chính xác và tốc độ.
- Bản quyền linh hoạt: Phát hành dưới giấy phép Apache-2.0, phù hợp cho nghiên cứu và sử dụng thương mại.
💡 Vì sao đáng chú ý
Voxtral Mini 4B Realtime nổi bật nhờ khả năng kết hợp giữa tốc độ thời gian thực và độ chính xác gần sẵn với các mô hình offline. Điều này giúp giảm đáng kể độ trễ trong khi vẫn duy trì chất lượng chuyển đổi giọng nói. Đặc biệt, mô hình có thể cấu hình độ trễ tùy theo nhu cầu, từ 80ms cho các ứng dụng cần phản hồi nhanh đến 2.4s cho độ chính xác cao.
Mô hình phù hợp cho các trường hợp sử dụng như ghi âm cuộc họp riêng tư, tạo phụ đề trực tuyến, và phát triển trợ lý ảo thời gian thực.
#ASR #RealtimeTranscription #Multilingual #OpenSource #Voxtral #MistralAI #TiniX
Similar Projects
Discover other similar projects and AI models.
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Whisper Whisper is a pre-trained model for automatic speech recognition (ASR) and speech translation. Trained on 680k hours of labelled data, Whisper models demonstrate a strong ability to generalise to many datasets and domains without the need for...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
VibeVoice-ASR !GitHub(https://img.shields.io/badge/GitHub-Repo-black?logo=github)(https://github.com/microsoft/VibeVoice) !Live Playground(https://img.shields.io/badge/Live-Playground-green?logo=gradio)(https://aka.ms/vibevoice-asr) !Technical Repor...
Nemotron 3.5 ASR h1, h2, h3, h4, h5, h6 { color: 76b900; / NVIDIA green / font-weight: 700; } hr { border: none; border-top: 1px solid e5e7eb; margin: 2rem 0; } / Improve list spacing / ul, ol { margin-top: 0.5rem; margin-bottom: 0.5rem; } / Badge a...
🎉Phi-4: mini-reasoning(https://huggingface.co/microsoft/Phi-4-mini-reasoning) | reasoning(https://huggingface.co/microsoft/Phi-4-reasoning) | multimodal-instruct(https://huggingface.co/microsoft/Phi-4-multimodal-instruct) | onnx(https://huggingface....
Whisper Whisper is a pre-trained model for automatic speech recognition (ASR) and speech translation. Trained on 680k hours of labelled data, Whisper models demonstrate a strong ability to generalise to many datasets and domains without the need for...
XLM-RoBERTa (base-sized model) XLM-RoBERTa model pre-trained on 2.5TB of filtered CommonCrawl data containing 100 languages. It was introduced in the paper Unsupervised Cross-lingual Representation Learning at Scale(https://arxiv.org/abs/1911.02116)...