microsoft/VibeVoice-1.5B
VibeVoice: A Frontier Open-Source Text-to-Speech Model VibeVoice is a novel framework designed for generating expressive, long-form, multi-speaker conversational audio, such as podcasts, from text. It addresses significant challenges in traditional...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🎙️ VibeVoice-1.5B: Mở rộng TTS đa người nói lên tới 90 phút từ văn bản
VibeVoice sinh audio đa người nói tự nhiên, phù hợp podcast, từ văn bản bằng cách kết hợp LLM và tokenizer khung thời gian thấp.
VibeVoice là khung mô hình TTS mở nguồn do Microsoft phát triển, sinh audio đa người nói, dài hạn, biểu cảm tự nhiên như podcast từ văn bản. Giải quyết thách thức về khả năng mở rộng, nhất quán giọng người và chuyển lượt tự nhiên trong hội thoại.
✨ Điểm nổi bật
- Tokenizer liên tục 7.5 Hz: Bảo toàn chất lượng âm thanh, tăng tính toán hiệu quả cho chuỗi dài.
- Khung diffusion next-token: Dùng LLM hiểu ngữ cảnh văn bản, diffusion head sinh chi tiết âm thanh.
- Sinh 90 phút, 4 người nói: Vượt giới hạn 1-2 người nói của mô hình truyền thống.
- LLM Qwen2.5-1.5B: Lõi ngôn ngữ hiểu sâu ngữ cảnh.
- Tokenizer âm thanh σ-VAE: Tỷ lọc 3200x từ âm thanh 24kHz, cấu trúc mã hoá/giải mã đối xứng.
- Diffusion head nhẹ (123M tham số): Sinh chi tiết âm thanh VAE bằng DDPM, hỗ trợ CFG và DPM-Solver.
- Độ dài ngữ cảnh 64K token: Huấn luyện với chiến lược curriculum tăng dần.
💡 Vì sao đáng chú ý
VibeVoice không chỉ tăng cường độ sinh âm thanh mà còn giữ nguyên nhất quán giọng người qua tokenizer liên tục và diffusion, khác biệt với các mô hình TTS truyền thống. Phù hợp cho podcast, giáo dục, storytelling đa người nói dài hạn.
#TextToSpeech #MultiSpeaker #Podcast #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Kokoro is an open-weight TTS model with 82 million parameters. Despite its lightweight architecture, it delivers comparable quality to larger models while being significantly faster and more cost-efficient. With Apache-licensed weights, Kokoro can be...
GLM-5.2 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.2 blog and GLM-5 Technical report. 📍 Use GLM-5.2 API services on Z.ai API Platform. 🔜 Try GLM-5.2 here. Paper GitHub Introduction We're introducing GLM-5.2, our latest flagshi...
Chatterbox TTS Made with ❤️ by Latest Release: Chatterbox Multilingual V3 Chatterbox Multilingual V3 is the latest general-purpose multilingual TTS model in the Chatterbox family. It keeps the same 0.5B model size while improving speaker similarity,...
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...