neosapience/mlp-singer

🎵 MLP Singer: Tổng hợp giọng hát điện nước nhanh như chớp bằng kiến trúc MLP hoàn toàn mới

MLP Singer — hệ thống tổng hợp giọng hát tiếng Hàn nhanh paralell đầu tiên dùng kiến trúc MLP hoàn toàn, không autoregressive.

MLP Singer là cài đặt chính thức của nghiên cứu "MLP Singer: Towards Rapid Parallel Korean Singing Voice Synthesis" (IEEE MLSP 2021) từ Neosapience. Dự án giải quyết vấn đề tốc độ chậm của các hệ thống tổng hợp giọng hát thần-neurôn truyền thống bằng cách áp dụng kiến trúc MLP-Mixer — lấy cảm hứng từ lĩnh vực thị giác — để xây dựng mạng neuron hoàn toàn dựa trên MLP. Điểm đặc biệt: đây là công trình đầu tiên dùng MLP hoàn toàn cho tổng hợp âm thanh.

✨ Điểm nổi bật

• Kiến trúc MLP hoàn toàn: Không dùng attention hay RNN, chỉ dựa trên MLP để xử lý paralell.
• Tốc độ siêu nhanh: Đạt RTF lên tới 200 trên CPU và 3400 trên GPU.
• Kết quả vượt trội: Tốt hơn cả hệ thống GAN autoregressive lớn hơn về chất lượng và tốc độ.
• Hỗ trợ inference đơn giản: Chỉ cần checkpoint và lệnh python inference.py.
• Dựa trên HiFi-GAN: Dùng HiFi-GAN làm vocoder, có thể thay thế bằng WaveGlow.
• Hỗ trợ huấn luyện tùy chỉnh: Dùng bất kỳ dataset nào có lyrics, MIDI, và audio a cappella.
• MIT License: Mã nguồn mở hoàn toàn, dùng cho nghiên cứu và ứng dụng thương mại.

💡 Vì sao đáng chú ý

Thay vì dựa trên thiết kế autoregressive chậm như các hệ thống hiện tại, MLP Singer khai thác sức mạnh của MLP-Mixer để xử lý paralell toàn bộ chuỗi thời gian — giúp tốc độ sinh âm thanh nhanh hàng chục lần. Đây là bước đột phá quan trọng trong lĩnh vực tổng hợp giọng hát, nơi tốc độ truyền thống thường là rào cản lớn. Phù hợp cho ứng dụng thời gian thực, demo sản phẩm, hoặc nghiên cứu tiếp cận kiến trúc nhẹ và nhanh.

---

#MLPSinger #SingingVoiceSynthesis #PyTorch #TiniX