instant-high/wav2lip-onnx-HQ

🔥 Wav2Lip ONNX HQ: Đồng bộ hóa labial chuẩn do-local trên CPU/GPU

Phiên bản nâng cấp đầy đủ của wav2lip-onnx với căn chỉnh khuôn mặt, nâng cấu khuôn mặt và khả năng xử lý âm thanh thông minh.

Đây là một dự án cài đặt Wav2Lip HQ hoàn chỉnh, chạy hoàn toàn trên các mô hình ONNX đã chuyển đổi từ Torch, bao gồm: phát hiện khuôn mặt, nhận dạng khuôn mặt, căn chỉnh khuôn mặt, phân đoạn khuôn mặt, nâng cấu khuôn mặt và suy luận Wav2Lip. Dự án hỗ trợ chạy trên cả CPU và GPU NVIDIA, và được kiểm thử ổn định ngay cả khi không phát hiện được khuôn mặt nào trong khung hình.

✨ Điểm nổi bật

• Căn chỉnh khuôn mặt thông minh: Hỗ trợ xoay đầu ±60º, thay thế InsightFace bằng RetinaFace để dễ cài đặt hơn.
• Bốn bộ nâng cấu khuôn mặt: Lựa chọn từ bốn công cụ nâng cấu khác nhau với mức độ tăng cường điều chỉnh được.
• Khử tiếng ồn âm thanh Resemble: Áp dụng bộ khử tiếng ồn để tránh chuyển động labial không mong muốn.
• Tăng cường khung hình bằng Real-ESRGAN: Hỗ trợ nâng cấp khung hình với mô hình clear_reality_x4.
• Chọn khuôn mặt mục tiêu: Cho phép chọn khuôn mặt cụ thể từ khung hình đầu tiên để đồng bộ hóa.
• Hỗ trợ hai tệp âm thanh: Sử dụng một tệp âm thanh làm lái xe và một tệp âm thanh khác làm nhạc nền cho đầu ra cuối cùng.
• Tùy chỉnh vòng lặp: Chuyển đổi giữa chế độ lặp pingpong và lặp gốc, thiết lập vị trí cắt trong/ra để tạo vòng lặp hoặc cắt video dài.
• Tự động giải phóng bộ nhớ: Thu thập rác để giải phóng RAM/VRAM sau khi khử tiếng ồn âm thanh.

💡 Vì sao đáng chú ý

Khác với các phiên bản Wav2Lip khác chỉ tập trung vào đồng bộ hóa labial, wav2lip-onnx-HQ tích hợp toàn bộ pipeline xử lý khuôn mặt từ A-Z ngay trong một công cụ duy nhất. Nhờ sự kết hợp giữa RetinaFace, BlendMasker, Real-ESRGAN và bộ khử tiếng ồn Resemble, người dùng có thể tạo ra video có chất lượng cao mà không cần lắp đặt thêm phần mềm hỗ trợ bên ngoài. Đặc biệt phù hợp cho máy tính có cấu hình thấp như RTX 3060 6GB, nơi mà dự án vẫn hoạt động ổn định ngay cả khi bật đồng thời nhiều tính năng nặng.

---

#Wav2Lip #ONNX #LipSync #FaceEnhancement #TiniX