PeizhiYan/flame-head-tracker

🔥 FLAME Head Tracker: Tái xây dựng đầu 3D từ ảnh/video đơn nhãn với mô hình FLAME

Tracker FLAME offline cho single-image reconstruction và monocular video tracking — tốc độ ~0.9s/frame (landmark) và ~1.9s/frame (photometric) trên RTX 4090.

FLAME Head Tracker của Peizhi Yan là công cụ nghiên cứu tái xây dựng mô hình đầu 3D dạng FLAME từ một ảnh tĩnh hoặc chuỗi video đơn nhãn. Dự án phục vụ trực tiếp cho hai bài báo WACV: "Gaussian Deja-vu" (2025) và "ArchitectHead" (2026). Code chạy dạng Jupyter Notebook, cấp phép MIT, phiên bản mới nhất v4.1 (tháng 8/2025) đã tối ưu tốc độ và thêm hỗ trợ tối ưu FOV camera.

✨ Điểm nổi bật

• Single-Image Reconstruction: Khôi phục shape, expression, pose, texture, ánh sáng SH, camera 6DoF và FOV từ một ảnh.
• Monocular Video Tracking: Theo dõi từng frame video, tối ưu expression, jaw pose, eye pose, light, camera mỗi frame; shape/texture dùng chung (canonical).
• Landmark-based Fitting: Chế độ nhanh (~0.9s/frame), dùng landmark 68 điểm Dlib + tai/mắt + blendshape MediaPipe làm ràng buộc.
• Photometric Fitting: Chế độ chính xác hơn (~1.9s/frame), tối ưu theo sai số pixel (render so với ảnh gốc), xuất thêm texture map canonical.
• Optimizable Camera FOV: FOV camera được tối ưu cùng các tham số khác thay vì cố định.
• Face Parsing & Alignment: Tự động căn chỉnh ảnh, phân đoạn ngữ nghĩa khuôn mặt (parsing) để cải thiện fitting.
• Rich Output: Trả về dict đầy đủ các hệ số FLAME (shape 300, exp 100, pose các bộ phận, tex 50, light SH 9x3, cam 6DoF, fov, K, landmarks, parsing, rendered visualization).
• Reproducible Examples: Cung cấp 2 notebook ví dụ đầy đủ cho single-image và video tracking.

💡 Vì sao đáng chú ý

Dự án tập trung giải quyết bài toán "in-the-wild" head reconstruction/tracking với mô hình FLAME chuẩn học thuật — cái mà nhiều repo khác chỉ demo trên dữ liệu sạch. Hai chế độ fitting cho phép trade-off tốc độ vs chất lượng tùy mục đích: landmark mode đủ nhanh cho pipeline tiền xử lý dataset lớn; photometric mode cho kết quả chất lượng cao dùng downstream (avatar, relighting, animation). Việc xuất canonical texture map khi photometric fitting rất tiện cho việc build textured 3D avatar. Codebase gọn, document rõ ràng, dễ tích hợp vào pipeline nghiên cứu 3D head avatar, Gaussian head, NeRF-based talking head.

#3DFaceReconstruction #FLAME #HeadTracking #ComputerVision #TiniX