Modeltext-to-speech
nari-labs

nari-labs/Dia-1.6B

Dia is a 1.6B parameter text to speech model created by Nari Labs. It was pushed to the Hub using the PytorchModelHubMixin(https://huggingface.co/docs/huggingfacehub/packagereference/mixinshuggingfacehub.PyTorchModelHubMixin) integration. Dia direct...

2.9klikes
4.9kdownloads
4views

Thành tựu nổi bật

Những danh hiệu mới nhất của dự án

1
TINIX TRENDING·Chủ đề: arxiv:2305.09636

#1 Repository Của Tuần

4
TINIX TRENDING·Chủ đề: model_hub_mixin

#4 Repository Của Tuần

5
TINIX TRENDING·Chủ đề: pytorch_model_hub_mixin

#5 Repository Của Tuần

🎙️ Dia-1.6B — Mô hình TTS sinh hội thoại siêu thực tế từ Nari Labs

Dia-1.6B sinh hội thoại thực tế trực tiếp từ kịch bản, hỗ trợ điều khiển cảm xúc, giọng nói và cả âm thanh phi lời như cười, họ, rên tiếng.

Dia-1.6B là mô hình text-to-speech (TTS) mở trọng số với 1.6 tỷ tham số, do Nari Labs phát triển. Mô hình được đẩy lên Hugging Face thông qua PytorchModelHubMixin, hỗ trợ sinh hội thoại từ kịch bản bằng cách dùng thẻ [S1] và [S2] để phân biệt người nói. Hiện chỉ hỗ trợ tiếng Anh.

✨ Điểm nổi bật

  • Sinh hội thoại thực tế: trực tiếp sinh âm thanh hội thoại từ kịch bản bằng thẻ [S1]/[S2].
  • Điều khiển cảm xúc & giọng nói: hỗ trợ conditioning trên âm thanh để điều chỉnh tông giọng và cảm xúc.
  • Âm thanh phi lời: sinh các hành vi như (laughs), (coughs), (sighs), v.v.
  • Voice cloning: hỗ trợ nhân bản giọng nói qua file âm thanh và bản ghi âm.
  • Gradio UI: chạy nhanh qua giao diện web bằng uv run app.py.
  • ZeroGPU Space: có sẵn bản demo trên Hugging Face Spaces.
  • Tốc độ thực tế: trên GPU A4000, sinh ~40 token/s (86 token = 1s âm thanh).
  • Apache 2.0: mã nguồn mở, dùng cho nghiên cứu và giáo dục.

💡 Vì sao đáng chú ý

Khác với các mô hình TTS thông thường chỉ sinh ra giọng nói đơn lẽ, Dia-1.6B có khả năng sinh toàn bộ một đoạn hội thoại với nhiều người nói, cùng với các biểu cảm phi lời như cười, họ, thở dài. Điều này giúp mô hình rất phù hợp cho việc tạo nội dung giả lập hội thoại, kịch bản âm thanh, hoặc demo AI mang tính sinh động hơn. Mô hình được tối ưu cho GPU, hỗ trợ torch.compile, và có kế hoạch ra mắt bản quantized để giảm yêu cầu bộ nhớ.


#TextToSpeech #OpenSource #AI #DialogueGeneration #TiniX

Similar Projects

Discover other similar projects and AI models.

Modeltext-to-speech
hexgrad/Kokoro-82M

Kokoro is an open-weight TTS model with 82 million parameters. Despite its lightweight architecture, it delivers comparable quality to larger models while being significantly faster and more cost-efficient. With Apache-licensed weights, Kokoro can be...

♥0
13.3M
Apr 10, 2025
Modelsentence-similarity
sentence-transformers/all-MiniLM-L6-v2

all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...

♥0
166.8M
Jun 1, 2026
Modelautomatic-speech-recognition
openai/whisper-large-v3

Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...

♥0
3.2M
Aug 12, 2024
Modeltext-to-speech
coqui/XTTS-v2

ⓍTTS ⓍTTS is a Voice generation model that lets you clone voices into different languages by using just a quick 6-second audio clip. There is no need for an excessive amount of training data that spans countless hours. This is the same or similar mo...

♥0
4.9M
Dec 11, 2023
Modeltext-to-speech
k2-fsa/OmniVoice

OmniVoice 🌍           OmniVoice is a massively multilingual zero-shot text-to-speech (TTS) model supporting over 600 languages. Built on a novel diffusion language model-style architecture, it delivers high-quality speech w...

♥0
4.3M
Nov 20, 2026
Modeltext-to-speech
microsoft/VibeVoice-1.5B

VibeVoice: A Frontier Open-Source Text-to-Speech Model VibeVoice is a novel framework designed for generating expressive, long-form, multi-speaker conversational audio, such as podcasts, from text. It addresses significant challenges in traditional...

♥0
214.3k
Jan 22, 2026
Modeltext-to-speech
sesame/csm-1b

CSM 1B 2025/05/20 - CSM is availabile natively in Hugging Face Transformers(https://huggingface.co/docs/transformers/main/en/modeldoc/csm) 🤗 as of version 4.52.1 2025/03/13 - We are releasing the 1B CSM variant. The checkpoint is hosted on Hugging...

♥0
42.1k
Dec 1, 2025
Modeltext-to-speech
Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice

Qwen3-TTS Overview Introduction Qwen3-TTS covers 10 major languages (Chinese, English, Japanese, Korean, German, French, Russian, Portuguese, Spanish, and Italian) as well as multiple dialectal voice profiles to meet global application needs. In add...

♥0
1.1M
Jan 29, 2026
Modeltext-to-speech
ResembleAI/chatterbox

Chatterbox TTS Made with ❤️ by Latest Release: Chatterbox Multilingual V3 Chatterbox Multilingual V3 is the latest general-purpose multilingual TTS model in the Chatterbox family. It keeps the same 0.5B model size while improving speaker similarity,...

♥0
2.7M
Jun 10, 2026