zju3dv/Diffuman4D

🔄 Diffuman4D — Tổng hợp góc nhìn người 4D từ video thưa góc nhìn

Từ vài góc máy duy nhất, Diffuman4D xây dựng toàn bộ góc nhìn 4D nhất quán của một buổi biểu diễn người.

Dự án đến từ phòng thí nghiệm 3D Vision của Đại học Zhejiang (zju3dv), được công bố tại ICCV 2025. Diffuman4D giải quyết bài toán render góc nhìn tự do (free-viewpoint rendering) của hiệu suất con người từ video thưa góc nhìn — chỉ cần 4 góc máy đầu vào, mô hình sinh ra lưới ảnh 4D đầy đủ (44 góc × nhiều khung hình) bằng mô hình khuếch tán không-thời gian (spatio-temporal diffusion).

✨ Điểm nổi bật

• Synthesize từ thưa: chỉ cần 4 góc máy đầu vào để sinh ra toàn bộ góc nhìn 4D (44 cameras × 150 frames)
• Mô hình khuếch tán không-thời gian: kết hợp thông tin không gian và thời gian để đảm bảo tính nhất quán 4D
• Tương thích 3DGS/4DGS: xuất kết quả để tái tạo mô hình 3D Gaussian Splatting và 4D Gaussian Splatting
• Interactive Demo: có thể trải nghiệm trực tiếp tại 4dv.ai với rendering 4DGS sống động
• Dataset DNA-Rendering đã xử lý: cung cấp lại 1000+ chuỗi video đa góc nhìn người với 10 triệu ảnh, bao gồm mặt nạ nền, skeleton 2D/3D, tham số camera
• Pretrained model trên Hugging Face: tải model sẵn để inference nhanh
• Pipeline đầy đủ: từ dữ liệu thô → inference → tái tạo 3DGS/4DGS

💡 Vì sao đáng chú ý

Phương pháp này giải quyết đúng nút thắt thực tế của việc capture hiệu suất người: quay đa góc đồng thời rất tốn kém và phức tạp. Diffuman4D chỉ cần vài góc máy, sau đó dùng mô hình khuếch tán để 'điền' toàn bộ không gian 4D còn thiếu. Kết quả là khả năng render tự do mọi góc nhìn mà không cần thu thêm dữ liệu.

Dự án còn mở rộng giá trị bằng việc xử lý lại và công bố dataset DNA-Rendering với các annotation chất lượng cao (foreground masks, skeleton, camera parameters), tạo nền tảng cho nghiên cứu sinh 3D/4D người trong tương lai. Sự kết hợp giữa diffusion model và Gaussian Splatting cho thấy một hướng tiếp cận thực tiễn để tạo ra nội dung 3D/4D chất lượng cao từ dữ liệu đầu vào tối thiểu.

#3D-Vision #Avatar-Generation #DiffusionModel #GaussianSplatting #TiniX