CorentinJ/Real-Time-Voice-Cloning

🎯 Clone giọng nói thời gian thực chỉ với 5 giây

Một framework deep learning ba giai đoạn: tạo đại diện số của một giọng nói từ vài giây âm thanh, sau đó sinh ra giọn nói tùy ý từ văn bản.

Real-Time Voice Cloning là cách cài đặt của nghiên cứu "Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis" (SV2TTS) kết hợp với vocoder hỗ trợ hoạt động thời gian thực. Đây là khóa luận của Corentin J. – một framework deep learning ba giai đoạn, trong đó giai đoạn 1 tạo ra một đại diện số của giọng nói từ vài giây âm thanh, giai đoạn 2 và 3 sử dụng đại diện này để sinh giọn nói từ bất kỳ văn bản nào.

✨ Điểm nổi bật

• Sao chép giọng nói nhanh: Chỉ cần 5 giây âm thanh để tạo đại diện số của giọng nói.
• Sinh giọn nói thời gian thực: Hỗ trợ phát sinh giọn nói liên tục từ văn bản.
• Ba giai đoạn xử lý: Tạo đại diện giọng nói → Sinh ra mel-spectrogram → Chuyển đổi thành sóng âm thanh.
• Hỗ trợ GPU và CPU: Chạy trên cả Windows và Linux, với lựa chọn CUDA hoặc CPU.
• Tự động tải mô hình: Các mô hình được huấn luyện sẵn được tải tự động từ Hugging Face.
• Công cụ demo đa dạng: Cung cấp giao diện GUI (demo_toolbox.py) và dòng lệnh (demo_cli.py).
• Kết hợp nhiều công nghệ: Dựa trên Tacotron, WaveRNN và GE2E.
• Nguồn mở hoàn toàn: Xây dựng bằng Python, PyTorch và TensorFlow.

💡 Vì sao đáng chú ý

Khác với các dịch vụ thương mại hiện nay, dự án này mang lại cách tiếp cận mã nguồn mở để clone giọng nói và sinh giọn nói thời gian thực. Dù chất lượng có thể không bằng các dịch vụ trả phí, nhưng đây là nền tảng tuyệt vời cho nghiên cứu và phát triển tiếp theo trong lĩnh vực TTS.

#VoiceCloning #DeepLearning #TextToSpeech #TiniX