MoonInTheRiver/DiffSinger

🎵 DiffSinger: Sinh âm nhạc thanh nhạc bằng diffusion mechanism nông

DiffSinger là mô hình phát âm thanh ca khúc (SVS) và phát âm văn bản thành giọng nói (TTS) dựa trên cơ chế diffusion nông, được trình bày tại AAAI 2022.

DiffSinger là mã nguồn mở PyTorch chính thức của nghiên cứu AAAI 2022, đề xuất cơ chế diffusion nông để sinh ra giọng ca khúc chất lượng cao. Dự án hỗ trợ cả TTS (DiffSpeech) và SVS (DiffSinger), với khả năng tăng tốc bằng PNDM và PLMS. Được huấn luyện trên bộ dữ liệu Ljspeech, PopCS và OpenCpop.

✨ Điểm nổi bật

• Shallow Diffusion Mechanism: Sử dụng cơ chế diffusion nông thay vì diffusion truyền thống, giảm đáng kể thời gian suy diễn.
• Hỗ trợ TTS và SVS: DiffSpeech cho phát âm văn bản thành giọng nói, DiffSinger cho phát âm lời bài hát thành giọng ca khúc.
• Tăng tốc PNDM/PLMS: Tích hợp PNDM (ICLR 2022) và PLMS để tăng tốc quá trình suy diễn mà không cần huấn luyện lại mô hình.
• Đa dạng pipeline: Hỗ trợ các pipeline như Text->F0, Lyric+F0->Mel, Lyric+MIDI->Mel, cùng các phương pháp dự đoán F0 ngầm hoặc rõ ràng.
• Vocoder đa dạng: Sử dụng HiFiGAN cho TTS và NSF-HiFiGAN cho SVS, đảm bảo chất lượng âm thanh tự nhiên.
• Bộ dữ liệu mẫu: Hỗ trợ huấn luyện và đánh giá trên Ljspeech, PopCS và OpenCpop.
• Tensorboard hỗ trợ: Theo dõi quá trình huấn luyện và đánh giá mô hình trực quan qua Tensorboard.
• Mã nguồn mở: Dễ dàng tù biến và mở rộng cho nghiên cứu và ứng dụng thực tế.

💡 Vì sao đáng chú ý

DiffSinger khác biệt từ các phương pháp sinh giọng ca khúc truyền thống bằng cách áp dụng cơ chế diffusion nông, giảm đáng kể chi phí tính toán mà vẫn duy trì chất lượng âm thanh cao. Phương pháp này phù hợp cho các ứng dụng cần tạo ra giọng ca khúc tự động, như sản xuất nhạc số, hệ thống hỗ trợ soạn nhạc và các dự án nghiên cứu về sinh giọng thanh bằng AI. Đặc biệt, việc tích hợp PNDM và PLMS giúp tăng tốc suy diễn mà không cần thay đổi cấu trúc mô hình, rất tiện lợi cho triển khai thực tế.

#TextToSpeech #SingingVoiceSynthesis #DiffusionModel #AAAI2022 #OpenSource #TiniX