nari-labs/Dia-1.6B
Dia is a 1.6B parameter text to speech model created by Nari Labs. It was pushed to the Hub using the PytorchModelHubMixin(https://huggingface.co/docs/huggingfacehub/packagereference/mixinshuggingfacehub.PyTorchModelHubMixin) integration. Dia direct...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#4 Repository Của Tuần
#5 Repository Của Tuần
🎙️ Dia-1.6B — Mô hình TTS sinh hội thoại siêu thực tế từ Nari Labs
Dia-1.6B sinh hội thoại thực tế trực tiếp từ kịch bản, hỗ trợ điều khiển cảm xúc, giọng nói và cả âm thanh phi lời như cười, họ, rên tiếng.
Dia-1.6B là mô hình text-to-speech (TTS) mở trọng số với 1.6 tỷ tham số, do Nari Labs phát triển. Mô hình được đẩy lên Hugging Face thông qua PytorchModelHubMixin, hỗ trợ sinh hội thoại từ kịch bản bằng cách dùng thẻ [S1] và [S2] để phân biệt người nói. Hiện chỉ hỗ trợ tiếng Anh.
✨ Điểm nổi bật
- Sinh hội thoại thực tế: trực tiếp sinh âm thanh hội thoại từ kịch bản bằng thẻ
[S1]/[S2]. - Điều khiển cảm xúc & giọng nói: hỗ trợ conditioning trên âm thanh để điều chỉnh tông giọng và cảm xúc.
- Âm thanh phi lời: sinh các hành vi như
(laughs),(coughs),(sighs), v.v. - Voice cloning: hỗ trợ nhân bản giọng nói qua file âm thanh và bản ghi âm.
- Gradio UI: chạy nhanh qua giao diện web bằng
uv run app.py. - ZeroGPU Space: có sẵn bản demo trên Hugging Face Spaces.
- Tốc độ thực tế: trên GPU A4000, sinh ~40 token/s (86 token = 1s âm thanh).
- Apache 2.0: mã nguồn mở, dùng cho nghiên cứu và giáo dục.
💡 Vì sao đáng chú ý
Khác với các mô hình TTS thông thường chỉ sinh ra giọng nói đơn lẽ, Dia-1.6B có khả năng sinh toàn bộ một đoạn hội thoại với nhiều người nói, cùng với các biểu cảm phi lời như cười, họ, thở dài. Điều này giúp mô hình rất phù hợp cho việc tạo nội dung giả lập hội thoại, kịch bản âm thanh, hoặc demo AI mang tính sinh động hơn. Mô hình được tối ưu cho GPU, hỗ trợ torch.compile, và có kế hoạch ra mắt bản quantized để giảm yêu cầu bộ nhớ.
#TextToSpeech #OpenSource #AI #DialogueGeneration #TiniX
Similar Projects
Discover other similar projects and AI models.
Kokoro is an open-weight TTS model with 82 million parameters. Despite its lightweight architecture, it delivers comparable quality to larger models while being significantly faster and more cost-efficient. With Apache-licensed weights, Kokoro can be...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
ⓍTTS ⓍTTS is a Voice generation model that lets you clone voices into different languages by using just a quick 6-second audio clip. There is no need for an excessive amount of training data that spans countless hours. This is the same or similar mo...
OmniVoice 🌍 OmniVoice is a massively multilingual zero-shot text-to-speech (TTS) model supporting over 600 languages. Built on a novel diffusion language model-style architecture, it delivers high-quality speech w...
VibeVoice: A Frontier Open-Source Text-to-Speech Model VibeVoice is a novel framework designed for generating expressive, long-form, multi-speaker conversational audio, such as podcasts, from text. It addresses significant challenges in traditional...
CSM 1B 2025/05/20 - CSM is availabile natively in Hugging Face Transformers(https://huggingface.co/docs/transformers/main/en/modeldoc/csm) 🤗 as of version 4.52.1 2025/03/13 - We are releasing the 1B CSM variant. The checkpoint is hosted on Hugging...
Qwen3-TTS Overview Introduction Qwen3-TTS covers 10 major languages (Chinese, English, Japanese, Korean, German, French, Russian, Portuguese, Spanish, and Italian) as well as multiple dialectal voice profiles to meet global application needs. In add...
Chatterbox TTS Made with ❤️ by Latest Release: Chatterbox Multilingual V3 Chatterbox Multilingual V3 is the latest general-purpose multilingual TTS model in the Chatterbox family. It keeps the same 0.5B model size while improving speaker similarity,...