huajian-zeng/stablehand

🤖 StableHand: Ước lượng chuyển động bàn tay song thế 4D từ video egocentric chính xác ngay cả khi bàn tay bị che khuất

StableHand áp dụng flow matching có nhận thức chất lượng để khôi phục chuyển động bàn tay hai tay trong không gian thế giới từ video egocentric, ngay cả khi bàn tay mất kéo dài hoặc bị che khuất bởi vật cản.

StableHand là một khung truy xuất chuyển động 4D của hai bàn tay tương tác trong không gian thế giới từ video egocentric. Dự án do các nhà nghiên cứu từ MBZUAI, UIUC và Imperial College London phát triển, giải quyết bài toán ước lượng chuyển động bàn tay khi bàn tay bị mất hoặc che khuất kéo dài. StableHand phân tích quan sát bàn tay nhiễu thành bốn kênh chất lượng (dịch tịch toàn cục cổ tay và động tác ngón tay của cả hai tay), dựa trên mạng chất lượng học được, điều chỉnh tốc độ, mục tiêu vận tốc và khởi tạo ODE một cách thông minh.

✨ Điểm nổi bật

• Flow matching chất lượng: Khôi phục chuyển động 4D hai bàn tay trong không gian thế giới từ video egocentric.
• Xử lý che khuất phức tạp: Hoạt động hiệu quả ngay cả khi bàn tay mất kéo dài hoặc bị che khuất bởi vật cản.
• Bốn kênh chất lượng: Phân tích quan sát bàn tay nhiễu thành dịch tịch cổ tay và động tác ngón tay của cả hai tay.
• Lịch trình tiến trình trên từng kênh: Sử dụng tín hiệu chất lượng để điều chỉnh lịch trình lan truyền.
• AdaLN điều chỉnh tốc độ: Điều chỉnh mục tiêu vận tốc và modul DiT dựa trên chất lượng quan sát.
• Khởi tạo ODE có nhận thức chất lượng: Gắn các quan sát đáng tin cậy, tái tạo các quan sát không đáng tin cậy từ mô hình tiền nghiện.
• Kết quả tốt trên HOT3D và ARCTIC: Giảm W-MPJPE 20–25% so với các phương pháp baseline mạnh nhất.
• Hỗ trợ demo trực tuyến: Có sẵn mô hình, dữ liệu và bản ghi Rerun để truyền tải kết quả.

💡 Vì sao đáng chú ý

StableHand khác biệt so với các phương pháp truyền thống bằng cách sử dụng mạng chất lượng học được để phân tích và điều chỉnh từng thành phần chuyển động. Điều này giúp hệ thống linh hoạt xử lý các trường hợp bàn tay bị che khuất phức tạp mà không cần dựa vào dữ liệu đầy đủ. Phương pháp rất phù hợp cho các ứng dụng thực tế như robot tương tác, AR/VR và phân tích hành vi người dùng trong môi trường đầu tiên.

---

#StableHand #FlowMatching #WorldSpace #DualHandMotion #EgocentricVideo #ComputerVision #TiniX