AIGC-Audio/AudioGPT

🎧 AudioGPT: Bộ công cụ AI đa năng cho giọng nói, âm nhạc, âm thanh và video

Một khung làm việc thống nhất kết nối nhiều mô hình AI chuyên xử lý âm thanh và hình ảnh.

AudioGPT là dự án nguồn mở cung cấp cách cài đặt và mô hình tiền huấn luyện để thực hiện nhiều nhiệm vụ liên quan đến giọng nói, âm nhạc, âm thanh và sinh video talking head. Dự án dựa trên LangChain và Whisper, hỗ trợ nhiều mô hình nền mạnh như VITS, FastSpeech, SyntaSpeech, Conformer, TF-GridNet, Make-An-Audio, DiffSinger, GeneFace và nhiều hơn nữa.

✨ Điểm nổi bật

• Text-to-Speech (TTS): Hỗ trợ FastSpeech, SyntaSpeech, VITS — chuyển đổi văn bản thành giọng nói tự nhiên.
• Speech Recognition & Translation: Dùng Whisper và Conformer để nhận dạng và dịch thuật giọng nói.
• Speech Enhancement & Separation: Cải thiện chất lượng và tách nguồn giọng nói bằng ConvTasNet và TF-GridNet.
• Text-to-Sing: Sinh bài hát từ văn bản bằng DiffSinger và VISinger.
• Text/Image-to-Audio: Tạo âm thanh từ văn bản hoặc hình ảnh bằng Make-An-Audio.
• Sound Detection & Extraction: Phát hiện và tách âm thanh mục tiêu bằng Audio Transformer, TSDNet và LASSNet.
• Talking Head Synthesis: Tạo video avatar nói chuyện từ giọng nói bằng GeneFace.
• Mono-to-Binaural: Chuyển âm thanh mono sang dạng có không gian âm thanh 3D bằng NeuralWarp.

💡 Vì sao đáng chú ý

AudioGPT khác biệt bằng cách tích hợp nhiều mô hình chuyên biệt vào một nền tảng thống nhất, giúp người dùng dễ dàng chuyển đổi giữa các tác vụ âm thanh và hình ảnh mà không cần cài đặt riêng lẻ từng mô hình. Dự án phù hợp cho các ứng dụng như sản xuất nội dung AI, giáo dục, trò chơi, và nghiên cứu âm thanh.

#AIGC #AudioGPT #AI #OpenSource #TiniX