hecomi/uLipSync

🎯 LipSync thời gian thực không plugin, mạnh như thể máy tính đang nói chuyện cùng bạn

uLipSync dùng MFCC phân tích sóng âm thanh, tính độ tương đồng với nguyên âm a-i-u-e-o, rồi điều khiển blendshape miệng chính xác.

uLipSync là một plugin lip-sync cho Unity, sử dụng hệ thống MFCC (Mel-Frequency Cepstrum Coefficients) để phân tích âm thanh và điều khiển chuyển động miệng của nhân vật. Không cần plugin nền tảng nhờ dựa trên Job System và Burst Compiler, hỗ trợ cả phân tích thời gian thực và xử lý trước (pre-bake), đồng thời tích hợp với Timeline và xuất ra AnimationClip.

✨ Điểm nổi bật

• Job System + Burst Compiler: Chạy nhanh trên mọi nền tảng mà không cần plugin gốc.
• Hồ sơ nhân vật (Profile): Hỗ trợ hiệu chỉnh để tạo hồ sơ riêng cho từng nhân vật.
• Phân tích thời gian thực: Xử lý âm thanh trực tiếp từ AudioSource hoặc micro.
• Xử lý trước (Pre-Bake): Hỗ trợ tích hợp với Timeline để tạo animation trước.
• Xuất AnimationClip: Dữ liệu đã xử lý có thể chuyển đổi thành AnimationClip.
• Hỗ trợ VRM: Tương thích với mô hình nhân vật VRM.
• Hỗ trợ WebGL: Chạy trên nền tảng WebGL mà không vấn đề.
• Điều chỉnh blendshape: Cấu hình phạm vi âm lượng và tốc độ phản hồi của miệng.

💡 Vì sao đáng chú ý

uLipSync không chỉ là công cụ đồng bộ miệng — nó biến bất kỳ âm thanh nào thành dữ liệu ngôn ngữ rõ rệt thông qua MFCC, sau đó ánh xạ chính xác tới các nguyên âm. Điểm mạnh là sự linh hoạt: dùng thời gian thực cho tương tác, hoặc pre-bake cho chất lượng cao và tích hợp Timeline. Đặc biệt, không cần plugin nền tảng nhờ Burst Compiler, mở rộng hỗ trợ đến cả WebGL — nơi thường gặp khó khăn với lip-sync truyền thống.

#LipSync #Unity #MFCC #BurstCompiler #VRM #WebGL #TiniX