RMSnow/Vevo2

🎵 Vevo2: Khung thống nhất sinh tạo giọng nói & nhạc cao điều khiển linh hoạt

Vevo2 kết nối sinh tạo giọng nói và nhạc cao thông qua học tập prosody thống nhất, hỗ trợ đa dạng nhiệm vụ như TTS không cần huấn luyện lại, chuyển đổi giọng nói, chỉnh sửa và chuyển đổi phong cách nhạc cao.

Vevo2 là một khung sinh tạo giọng nói và nhạc cao thống nhất, cho phép người dùng thực hiện nhiều tác vụ phức tạp chỉ với một mô hình duy nhất. Dựa trên việc học tập prosody thống nhất giữa giọng nói và nhạc cao, Vevo2 hỗ trợ các tác vụ bao gồm: sinh tạo giọng nói từ văn bản không cần mẫu (zero-shot TTS), sinh tạo nhạc cao từ văn bản, chuyển đổi giọng nói và nhạc cao giữ nguyên hoặc thay đổi phong cách, chỉnh sửa giọng nói/nhạc cao, chuyển đổi phong cách nhạc cao, cũng như chuyển đổi từ âm thanh thầm thì hoặc nhạc cụ sang nhạc cao.

✨ Điểm nổi bật

• Zero-shot TTS & Text-to-Singing: Hỗ trợ sinh tạo giọng nói và nhạc cao từ văn bản mà không cần huấn luyện lại mô hình.
• Chuyển đổi giọng nói/nhạc cao (VC/SVC): Bảo toàn hoặc thay đổi phong cách âm giác trong quá trình chuyển đổi.
• Chỉnh sửa giọng nói/nhạc cao: Cho phép chỉnh sửa nội dung của giọng nói hoặc bản nhạc gốc một cách linh hoạt.
• Chuyển đổi phong cách nhạc cao: Thay đổi phong cách biểu diễn của bản nhạc một cách tự nhiên.
• Humming-to-Singing & Instrument-to-Singing: Chuyển đổi từ âm thanh thầm thì hoặc nhạc cụ sang bản nhạc có lời.
• Prosody Tokenizer: Mã hóa prosody thành token, hỗ trợ cả giọng nói và nhạc cao với tần số khung 6.25 Hz.
• Content-Style Tokenizer: Mã hóa nội dung và phong cách thành token với tần số khung 12.5 Hz.
• Mô hình AR và Flow-matching Transformer: Sử dụng Qwen2.5-0.5B và transformer matching dòng chảy để sinh token và dự đoán mel-spectrogram.
• Vocoder Vocos: Sinh audio từ mel-spectrogram với mô hình vocoder dựa trên Vocos (250M).

💡 Vì sao đáng chú ý

Vevo2 nổi bật bằng cách thống nhất các tác vụ sinh tạo giọng nói và nhạc cao trong một khung chung, giảm đáng kể độ phức tạp so với các phương pháp truyền thống cần nhiều mô hình riêng biệt. Nhờ học tập prosody thống nhất, mô hình có thể xử lý cả hai miền dữ liệu này một cách nhất quán, tạo ra kết quả tự nhiên và mượt mà. Đặc biệt, Vevo2 hỗ trợ nhiều tác vụ cao cấp như chuyển đổi phong cách nhạc cao hoặc sinh tạo từ âm thanh thầm thì — những điều mà trước đây đều cần các giải pháp riêng lẻ.

#Vevo2 #TTS #VoiceConversion #SingingVoiceSynthesis #AI #TiniX