PlayVoice/VI-SVS

🎵 VI-SVS: Bản VITS không truyền thống cho học tập

Dựa trên VITS nhưng loại bỏ MAS và DurationPredictor — một dự án mở để học và phát triển thêm.

VI-SVS (Variational Inference with adversarial learning for end-to-end Singing Voice Synthesis) là một dự án mã nguồn mở dựa trên VITS, khác biệt với VISinger bằng cách bỏ qua cơ chế Monotonic Alignment Search (MAS) và Duration Predictor. Dự án hiện tập trung như một môi trường học tập, với mục tiêu phát triển Pitch và Duration dưới dạng mô-đun cắm thêm trong tương lai.

✨ Điểm nổi bật

• VITS không MAS: Xây dựng trên nền tảng VITS nhưng loại bỏ hoàn toàn MAS và DurationPredictor.
• Tập trung học tập: Thiết kế như một dự án tham khảo để nghiên cứu và hiểu rõ kiến trúc SVS.
• Pitch cần cải thiện: Dự án thừa nhận việc dự báo Pitch còn hạn chế, là hướng phát triển tiếp theo.
• Hỗ trợ dữ liệu OpenCPop: Sử dụng bộ dữ liệu OpenCPop làm nguồn huấn luyện chính.
• Pipeline huấn luyện rõ ràng: Cung cấp các bước từ tiền xử lý, gán nhãn, chia tập, huấn luyện đến xuất mô hình.
• Hỗ trợ inference hoàn chỉnh: Cho phép sinh F0 từ nhịp điệu hoặc dự đoán Pitch, cùng công cụ sinh bài hát đầy đủ.
• Mô hình tham khấu phong phú: Tham chiếu từ BigVGAN, VITS gốc, UnivNet, DiffSinger, Muskits và các dự án liên quan.

💡 Vì sao đáng chú ý

VI-SVS khác với các dự án SVS khác ở chỗ nó công khai là một dự án học tập — không cố tạo ra một hệ thống hoàn hảo, mà là nền tảng để người dùng hiểu sâu kiến trúc VITS và cách các thành phần như MAS hay DurationPredictor đóng vai trò gì. Việc loại bỏ MAS giúp dự án trở nên đơn giản hơn để triển khai và thử nghiệm, đồng thời mở đường cho việc thay thế bằng các phương pháp khác như Diffusion Pitch trong tương lai.

Đây là lựa chọn lý tưởng nếu bạn muốn bắt đầu từ một kiến trúc VITS cơ bản và dần mở rộng bằng cách thêm các tính năng như dự báo Pitch hoặc Duration một cách có chọn lọc.

#SVS #VITS #SingingVoiceSynthesis #OpenSource #TiniX