Audio8/Audio8-TTS-Preview-0.6b
Audio8 TTS Preview 0.6B: SOTA-Class TTS at Compact Scale A 0.6B-parameter multilingual text-to-speech model with zero-shot voice cloning. !GitHub(https://img.shields.io/badge/GitHub-Audio8TTS-black?style=for-the-badge&logo=github)(https:...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tuần
#3 Repository Của Tháng
🗣️ Audio8 TTS Preview 0.6B: TTS đa ngôn ngữ SOTA ở quy mô siêu nhỏ
Mô hình TTS 0.6B tham số, hỗ trợ 11 ngôn ngữ và sao chép giọng nói zero-shot chỉ với vài giây audio tham chiếu.
Audio8 TTS Preview 0.6B là một mô hình chuyển đổi văn bản thành giọ nói (text-to-speech) đa ngôn ngữ với kiến trúc DualAR, được phát triển bởi nhóm Audio8-AI. Dù chỉ có 0.6 tỷ tham số — nhỏ nhất trong các mô hình so sánh — nhưng nó vẫn đạt hiệu suất SOTA trên các bộ chuẩn Seed-TTS và CV3, đặc biệt xuất sắc ở tiếng Anh (WER thấp nhất) và tiếng Trung (CER cạnh tranh).
✨ Điểm nổi bật
- Zero-shot voice cloning: sao chép giọng nói từ vài giây audio tham chiếu, không cần huấn luyện lại.
- Đa ngôn ngữ hỗ trợ 11 ngôn ngữ: tiếng Quảng Đông, Trung, Hà Lan, Anh, Pháp, Đức, Ý, Nhật, Hàn, Ba Lan, Tây Ban Nha.
- Kiến trúc DualAR: slow AR dự đoán token ngữ nghĩa, fast AR tạo mã hóa âm thanh dựa trên trạng thái ẩn.
- Codec tích hợp 44.1 kHz: mã hóa audio tham chiếu và giải mã sóng âm thanh, không cần codec riêng.
- Hỗ trợ Transformers: chạy qua Hugging Face Transformers với
trust_remote_code=True. - Đánh giá SOTA: tốt nhất về EN WER và cạnh tranh về ZH CER trên Seed-TTS.
- Bản ghi âm không cần tham chiếu: có thể sinh giọ nói mà không cần audio tham chiếu.
- Mã nguồn mở Apache 2.0: triển khai trên GitHub kèm demo trực tuyến.
💡 Vì sao đáng chú ý
Audio8 TTS Preview cho thấy một mô hình nhỏ (0.6B) vẫn có thể cạnh tranh trực tiếp với các hệ lớn như Fish S2 Pro (4.6B), CosyVoice3 (1.5B) hay VoxCPM2 (2.3B). Điều này mở ra khả năng triển khai TTS hiệu quả trên thiết bị cá nhân hoặc môi trường có giới hạn tính toán. Đặc biệt, hiệu suất xuất sắc trên Seed-TTS cổ phiếu cho tiềm năng thay thế các giải pháp đắt đỏ hiện nay.
#TextToSpeech #VoiceCloning #Multilingual #OpenSource #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
OmniVoice 🌍 OmniVoice is a massively multilingual zero-shot text-to-speech (TTS) model supporting over 600 languages. Built on a novel diffusion language model-style architecture, it delivers high-quality speech w...
VoxCPM2 VoxCPM2 is a tokenizer-free, diffusion autoregressive Text-to-Speech model — 2B parameters, 30 languages, 48kHz audio output, trained on over 2 million hours of multilingual speech data. !GitHub(https://img.shields.io/badge/GitHub-VoxCPM-blu...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
Chatterbox TTS Made with ❤️ by Latest Release: Chatterbox Multilingual V3 Chatterbox Multilingual V3 is the latest general-purpose multilingual TTS model in the Chatterbox family. It keeps the same 0.5B model size while improving speaker similarity,...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Multilingual-E5-large Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 24 layers and the embedding size is...
The embedding model trained by Jina AI. jina-embeddings-v3: Multilingual Embeddings With Task LoRA Quick Start Blog(https://jina.ai/news/jina-embeddings-v3-a-frontier-multilingual-embedding-model/parameter-dimensions) | Azure(https://azuremarketplac...
🎉Phi-4: mini-reasoning(https://huggingface.co/microsoft/Phi-4-mini-reasoning) | reasoning(https://huggingface.co/microsoft/Phi-4-reasoning) | multimodal-instruct(https://huggingface.co/microsoft/Phi-4-multimodal-instruct) | onnx(https://huggingface....