met4citizen/HeadAudio

🎧 HeadAudio: Đồng bộ môi thời gian thực trực tiếp từ âm thanh

HeadAudio biến bất kỳ luồng âm thanh hay TTS nào thành giá trị viseme blend-shape mà không cần văn bản hoặc thời gian đánh dấu.

HeadAudio là một Audio Worklet node/processor dùng cho phát hiện viseme và đồng bộ môi thời gian thực trong trình duyệt. Dự án sử dụng vectơ đặc trưng MFCC và nguyên mẫu Gaussian cùng bộ phân loại Mahalanobis để sinh giá trị blend-shape kiểu Oculus ngay trong trình duyệt, tích hợp dễ dàng vào vòng lặp hoạt họa 3D hiện có.

✨ Điểm nổi bật

• Xử lý âm thanh thời gian thực: Chạy hoàn toàn trên trình duyệt bằng Audio Worklet, hỗ trợ mọi luồng âm thanh hoặc TTS.
• Không cần văn bản: Dựa trên đặc trưng âm thanh MFCC thay vì phụ thuộc transcript hoặc timestamp.
• Phân loại Mahalanobis: Dùng Gaussian prototypes và khoảng cách Mahalanobis để phân loại viseme chính xác.
• Giá trị blend-shape Oculus: Tạo trực tiếp giá trị viseme (ví dụ: viseme_aa) trong khoảng [0,1].
• Tích hợp TalkingHead tốt: Tương thích hoàn toàn với dự án TalkingHead của cùng tác giả.
• Không phụ thuộc bên ngoài: Toàn bộ xử lý và phân loại diễn ra trong trình duyệt, không cần server.
• Hỗ trợ đa nền tảng: Đã kiểm thử trên Chrome, Edge, Firefox, Safari desktop và thiết bị iPad/iPhone.
• Công cụ hỗ trợ: Cung cấp app demo tích hợp OpenAI Realtime API và app tester thử nghiệm tham số.

💡 Vì sao đáng chú ý

HeadAudio khác biệt so với cách tiếp cận dựa văn bản như TalkingHead bằng việc xử lý hoàn toàn từ tín hiệu âm thanh, do đó hoạt động với bất kỳ nguồn giọng nói nào mà không cần nhận dự liệu văn bản. Tuy nhiên, do giới hạn của nhận dạng âm thanh thời gian thực trong trình duyệt, độ chính xác và VAD sẽ thấp hơn so với phương pháp text-driven, đặc biệt khi SNR kém.

Dự án phù hợp cho các ứng dụng như avatar 3D đồng bộ môi theo giọng nói, demo WebXR, hoặc hệ thống TTS + lip-sync tích hợp sẵn. Được cấp phép MIT, dễ tích hợp và triển khai ngay.

#Viseme #LipSync #WebAudio #MFCC #BlendShape #Oculus #TalkingHead #TiniX