Zielon/INSTA-pytorch

🧠 INSTA - Instant Volumetric Head Avatars (PyTorch)

Phép triển khai PyTorch của mạng neural tạo avatar đầu khối tượng volumetric ngay lập tức từ ảnh hoặc video đầu vào.

Dự án INSTA-pytorch của Zielon, Bolkart và Justus Thies (Max Planck Institute for Intelligent Systems) là phiên bản Python sử dụng PyTorch, dựa trên torch-ngp, triển khai phần lớn logic từ phiên bản C++ gốc. Dự án nhằm tạo ra các mô hình avatar đầu 3D volumetric có thể huấn luyện và render nhanh chóng thông qua công nghệ neural radiance fields (NeRF) kết hợp với 3DMM (3D Morphable Model).

✨ Điểm nổi bật

• Dựa trên torch-ngp: Sử dụng kiến trúc instant-ngp để tối ưu tốc độ huấn luyện và render.
• Hỗ trợ CUDA ray marching: Bắt buộc bật --cuda-ray để tăng hiệu năng tính toán trên GPU.
• Tích hợp BVH: Dùng thư viện Bicubic Voronoi Hashing (BVH) cho tìm kiếm nearest neighbor nhanh.
• Tương thích với C++ version: Cấu trúc dataset và avatar phát hành tương thích với bản C++ gốc.
• Hỗ trợ render offscreen và GUI: Cung cấp hai chế độ chạy: python main_insta.py ... với hoặc không có --gui.
• Tùy chỉnh mesh qua GUI: Người dùng có thể điều khiển lưới mesh trong menu Options khi dùng giao diện đồ họa.

💡 Vì sao đáng chú ý

INSTA-pytorch mang công nghệ volumetric neural rendering đến với việc tạo avatar đầu 3D mượt mà và chi tiết trong thời gian thực. Không phải là bản port 1:1 từ C++, nhưng đây là lựa chọn thông minh cho cộng đồng nghiên cứu và phát triển muốn thử nghiệm nhanh trên nền tảng PyTorch. Phù hợp với các ứng dụng như AI avatar, điện toán thực tế ảo (VR/AR), hoặc nghiên cứu đại diện số cá nhân hóa.

#3DMM #NeRF #VolumetricRendering #PyTorch #InstantNGP #TiniX