ResembleAI/chatterbox
Chatterbox TTS Made with ❤️ by Latest Release: Chatterbox Multilingual V3 Chatterbox Multilingual V3 is the latest general-purpose multilingual TTS model in the Chatterbox family. It keeps the same 0.5B model size while improving speaker similarity,...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tuần
🗣️ Chatterbox TTS: Mô hình TTS đa ngôn ngữ mã nguồn mở vượt trội từ Resemble AI
Chatterbox TTS hỗ trợ 23+ ngôn ngữ, kiểm soát cảm xúc độc nhất với mã nguồn mở hoàn toàn.
Chatterbox TTS là dự án text-to-speech (TTS) đa ngôn ngữ mã nguồn mở (giấy phép MIT) do Resemble AI phát triển. Phiên bản mới nhất là Chatterbox Multilingual V3, được thiết kế như mô hình đa ngôn ngữ chung (0.5B tham số) với cải tiến về độ tương tự giọng nói, giảm thiểu lỗi sinh và tăng tính tự nhiên khi nói đa ngôn ngữ. Dự án hỗ trợ 23 ngôn ngữ bao gồm tiếng Anh, Trung, Nhật, Hàn, Pháp, Tây Ban Nha, v.v.
✨ Điểm nổi bật
- Hỗ trợ 23+ ngôn ngữ toàn cầu: Bao gồm tiếng Anh, Trung Quốc, Nhật Bản, Hàn Quốc, Pháp, Tây Ban Nya, Tây Ban Nha, và nhiều ngôn ngữ khác.
- Kiểm soát cảm xúc độc nhất: Hỗ trợ tính năng điều chỉnh mức độ cảm xúc (exaggeration/intensity) — đặc tính hiếm thấy trong mô hình TTS mã nguồn mở.
- Chất lượng tương đương hàng đầu: Được đánh giá tốt hơn các mô hình đóng (closed-source) như ElevenLabs trong các bài thử nghiệm so sánh trực tiếp.
- Phiên bản V3 cải tiến: Cải thiện độ tương tự giọng nói, giảm lỗi sinh âm thanh, và tạo ra giọng nói tự nhiên, gần gũi như cuộc trò chuyện.
- Bản đồ mô hình đa dạng: Cung cấp cả mô hình đa ngôn ngữ chung và các bản tinh chỉnh riêng cho ngôn ngữ như Trung Quốc, Tây Ban Nha Latinh, Bồ Đào Nha Brazil, v.v.
- Hỗ trợ chuyển đổi giọng nói dễ dàng: Cung cấp công cụ chuyển đổi giọng nói (voice conversion) đơn giản.
- Đầu ra được đánh dấu nước: Tất cả các đầu ra âm thanh đều được thêm dấu nước để phòng chống lạm dụng.
- Mã nguồn mở hoàn toàn: Phân phối dưới giấy phép MIT, phù hợp cho cả nghiên cứu và sản phụm thương mại.
💡 Vì sao đáng chú ý
Chatterbox TTS nổi bật nhờ khả năng kết hợp giữa tính đa ngôn ngữ rộng lớn và khả năng kiểm soát cảm xúc độc nhất trong khuôn khổ mã nguồn mở. Không chỉ hỗ trợ nhiều ngôn ngữ, mô hình còn cho phép người dùng điều chỉnh mức độ cảm xúc của giọng nói — một tính năng thường chỉ có ở các dịch vụ TTS trả phí. Đặc biệt, Chatterbox Multilingual V3 đã được tối ưu để giảm thiểu lỗi sinh âm thanh và cải thiện tính ổn định trong việc sao chép giọng nói liên ngôn ngữ, phù hợp cho các ứng dụng toàn cầu, đa dạng hóa nội dung, hoặc phát triển AI agent.
#TTS #TextToSpeech #MultilingualTTS #VoiceCloning #OpenSource #AI #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
VoxCPM2 VoxCPM2 is a tokenizer-free, diffusion autoregressive Text-to-Speech model — 2B parameters, 30 languages, 48kHz audio output, trained on over 2 million hours of multilingual speech data. !GitHub(https://img.shields.io/badge/GitHub-VoxCPM-blu...
OmniVoice 🌍 OmniVoice is a massively multilingual zero-shot text-to-speech (TTS) model supporting over 600 languages. Built on a novel diffusion language model-style architecture, it delivers high-quality speech w...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
XLM-RoBERTa (base-sized model) XLM-RoBERTa model pre-trained on 2.5TB of filtered CommonCrawl data containing 100 languages. It was introduced in the paper Unsupervised Cross-lingual Representation Learning at Scale(https://arxiv.org/abs/1911.02116)...
Multilingual-E5-large Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 24 layers and the embedding size is...
Multilingual-E5-small Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 12 layers and the embedding size is...
Whisper Whisper is a pre-trained model for automatic speech recognition (ASR) and speech translation. Trained on 680k hours of labelled data, Whisper models demonstrate a strong ability to generalise to many datasets and domains without the need for...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...