openai/whisper-large-v3
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#2 Repository Của Tháng
#2 Repository Của Tháng
🗣️ Whisper large-v3: Mô hình nhận dạng giọng nói đa ngôn ngữ hàng đầu từ OpenAI
Whisper large-v3 hỗ trợ hơn 100 ngôn ngữ, cải tiến lỗi 10–20% so với large-v2 nhờ huấn luyện trên 5 triệu giờ dữ liệu âm thanh.
Whisper large-v3 là phiên bản nâng cấp của dòng mô hình Whisper do OpenAI phát triển, dựa trên kiến trúc transformer. Được huấn luyện trên hơn 5 triệu giờ dữ liệu âm thanh (bao gồm cả dữ liệu yếu nhãn và dữ liệu giả nhãn), mô hình mang lại khả năng tổng quát hóa mạnh mẽ trên nhiều ngôn ngữ và miền dữ liệu khác nhau.
✨ Điểm nổi bật
- Hỗ trợ 100+ ngôn ngữ: Bao gồm tiếng Anh, Trung, Pháp, Tây Ban Nha, Nhật, Hàn, Việt…
- Cải tiến lỗi âm thanh: Giảm 10–20% lỗi so với large-v2 nhờ huấn luyện thêm 1 triệu giờ dữ liệu yếu nhãn và 4 triệu giờ giả nhãn.
- Tích hợp sẵn trên Hugging Face Transformers: Dùng
pipelinedễ dàng chuyển đổi giọn nói thành văn bản. - Hỗ trợ phiên dịch thời gian thực: Tự động dự đoán ngôn ngữ nguồn và hỗ trợ dịch thành tiếng Anh.
- Trả về thời gian từng câu/từ: Dùng
return_timestampsđể lấy thời gian xuất hiện của từng đoạn hoặc từng từ. - Tối ưu cho GPU: Hỗ trợ
torch.float16,low_cpu_mem_usage, vàuse_safetensorsđể giảm tải bộ nhớ. - Tùy chỉnh chiến lược giải mã: Hỗ trợ beam search, temperature fallback, condition on previous tokens.
💡 Vì sao đáng chú ý
Không chỉ là một mô hình chuyển đổi giọn nói sang văn bản, Whisper large-v3 là một giải pháp toàn diện cho cả nhận dạng và dịch thuật đa ngôn ngữ. Khả năng học từ dữ liệu yếu nhãn và giả nhãn giúp mô hình vượt trội ở môi trường thực tế với dữ liệu không sạch. Đặc biệt phù hợp cho các ứng dụng như hệ thống ghi âm hội thảo, chatbot giọng nói đa ngôn ngữ, hoặc nền tảng học ngôn ngữ thông minh.
#Whisper #ASR #SpeechRecognition #OpenAI #HuggingFace #Multilingual #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Whisper Whisper is a pre-trained model for automatic speech recognition (ASR) and speech translation. Trained on 680k hours of labelled data, Whisper models demonstrate a strong ability to generalise to many datasets and domains without the need for...
Whisper Whisper is a pre-trained model for automatic speech recognition (ASR) and speech translation. Trained on 680k hours of labelled data, Whisper models demonstrate a strong ability to generalise to many datasets and domains without the need for...
OmniVoice 🌍 OmniVoice is a massively multilingual zero-shot text-to-speech (TTS) model supporting over 600 languages. Built on a novel diffusion language model-style architecture, it delivers high-quality speech w...
Whisper large-v3 model for CTranslate2 This repository contains the conversion of openai/whisper-large-v3(https://huggingface.co/openai/whisper-large-v3) to the CTranslate2(https://github.com/OpenNMT/CTranslate2) model format. This model can be used...
Whisper Whisper is a pre-trained model for automatic speech recognition (ASR) and speech translation. Trained on 680k hours of labelled data, Whisper models demonstrate a strong ability to generalise to many datasets and domains without the need for...
Whisper Whisper is a pre-trained model for automatic speech recognition (ASR) and speech translation. Trained on 680k hours of labelled data, Whisper models demonstrate a strong ability to generalise to many datasets and domains without the need for...
XLM-RoBERTa (base-sized model) XLM-RoBERTa model pre-trained on 2.5TB of filtered CommonCrawl data containing 100 languages. It was introduced in the paper Unsupervised Cross-lingual Representation Learning at Scale(https://arxiv.org/abs/1911.02116)...
Multilingual-E5-large Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 24 layers and the embedding size is...