haosulab/ManiSkill-Legacy

🤖 ManiSkill: Bộ chuẩn thao tác đối tượng 3D cho học sâu và học tăng cường

Bài toán thao tác đối tượng từ đầu vào thị giác 3D — benchmark đầy đủ vật lý, thiết kế cho nghiên cứu mô hình nhận thức và chính sách chung.

ManiSkill (SAPIEN Manipulation Skill Benchmark) là một bộ chuẩn được đề xuất tại NeurIPS 2021 nhằm đánh giu khả năng thao tác đối tượng trong môi trường mô phỏng vật lý đầy đủ (full-physics simulator). Khác với các bộ chuẩn khác, ManiSkill cung cấp 3D assets với độ đa dạng cao về hình học và hình học bên trong cùng lớp, phản ánh thực tế phức tạp của thế giới thực. Dự án hỗ trợ cả học tăng cường (từ tương tác) và học từ bản ghi (learning-from-demonstrations), kèm ~36.000 bản ghi thành công và ~1.5M khung hình đám mây điểm/ảnh RGB-D.

✨ Điểm nổi bật

• 4 nhiệm vụ chuẩn: OpenCabinetDoor, OpenCabinetDrawer, PushChair, MoveBucket — mỗi nhiệm vụ khác nhau về thách thức thao tác.
• 162 đối tượng 3D đa dạng: các mô hình có sự thay đổi lớn về hình học và topology trong cùng một lớp.
• Môi trường mô phỏng vật lý đầy đủ: sử dụng SAPIEN để mô phỏng chính xác lực lượng, va chạm và động lực học.
• Camera quan sát toàn cảnh di chuyển: trả về đám mây điểm hoặc ảnh RGB-D theo góc nhìn ego-centric.
• Hỗ trợ học tăng cường: giao diện tương thích OpenAI Gym, dễ tích hợp với framework RL hiện có.
• Bản ghi hành động chất lượng cao: khoảng 36.000 chuyến bay thành công, hỗ trợ huấn luyện mô hình học từ bản ghi.
• Mã nguồn mở toàn bộ: bao gồm mô phỏng, môi trường, SDK và baseline bằng học sâu 3D và LfD.

💡 Vì sao đáng chú ý

Không chỉ là một bộ dữ liệu, ManiSkill còn là một môi trường huấn luyện đầy đủ tích hợp mô phỏng vật lý và dữ liệu thực tế. Điểm mạnh nằm ở sự đa dạng hình học của đối tượng — giúp các nhà nghiên cứu kiểm chứng khả năng tổng chung của mô hình thay vì ghi nhớ hình dạng cụ thể. Đặc biệt phù hợp cho nhóm nghiên cứu 3D deep learning, robot học và học tăng cường muốn khám phá kết hợp thị giác và hành động trong không gian 3D.

#Robotics #ReinforcementLearning #3DComputerVision #ManiSkill #TiniX