InternRobotics/GenManip

🤖 GenManip: Bộ mô phỏng robotics cho thao tác thao túng theo lệnh tổng quát

GenManip biến Isaac Sim thành nền tảng "mở rộng như game DLC" — cài benchmark, sinh dữ liệu, đánh giá model qua một API duy nhất, scale tới 1500 instance song song.

GenManip do nhóm InternRobotics phát triển (CVPR 2025) là một simulation suite toàn diện xây dựng trên NVIDIA Isaac Sim, tập trung vào bài toán general robotic manipulation — làm sao robot thực hiện nhiều nhiệm vụ thao túng khác nhau theo chỉ dẫn ngôn ngữ tự nhiên. Dự án giải quyết triệt để mâu thuẫn giữa cần dữ liệu lớn, đa dạng để train policy tổng quát và chi phí xây dựng benchmark, sinh data thủ công. Nó cung cấp chuỗi công cụ thống nhất: từ thiết kế cảnh thủ công (handcrafted) → sinh dữ liệu quy mô lớn bằng procedural generation + domain randomization → benchmark thống nhất → baseline development, tất cả tuân thủ convention dữ liệu LeRobot GR00t.

✨ Điểm nổi bật

• GenManip Package System: Cài đặt hoặc phát hành benchmark assets bằng một lệnh duy nhất, mở rộng như DLC game; mọi thứ giao tiếp qua black-box unified API.
• Unified Benchmark Interface: Bao gồm GenManip Scaling Pick-and-Place, GenManip IROS Benchmark và nhiều benchmark khác; cùng một API khiến việc đánh giá model trở thành plug-and-play.
• Full-Stack Domain Randomization: Ngẫu nhiên hóa đối tượng, bố cục, ánh sáng, camera, texture, phòng — cho phép sinh dữ liệu robust ở quy mô lớn.
• Cross-Embodiment Support: Hỗ trợ sẵn Franka Panda + Panda Hand, Franka + Robotiq 2F-85, Aloha Split, Lift2 — không cần viết adapter riêng.
• Rule/Execution Set System: Cú pháp có cấu trúc định nghĩa logic hoàn thành nhiệm vụ (quan hệ top/left/right/front/back/in + tổ hợp logic); tính toán rule và sinh data bằng execution set, ra dữ liệu thao tác photo-realistic.
• Massive Parallel Execution: Chạy hàng nghìn Isaac Sim instance trên nhiều server; đã stress-test 1500 instance đồng thời trên 500 GPU RTX 4090 (48GB).
• High-Performance Data Generation Pipeline: Xây trên cuRobo + generalized oracle rules; scale từ single GPU đến hàng trăm GPU.
• Meta Object System: Hệ thống đối tượng meta cho composition cảnh linh hoạt và thay thế đối tượng, phục vụ tạo dataset/benchmark có khả năng mở rộng.

💡 Vì sao đáng chú ý

GenManip không chỉ là một simulator wrapper — nó thiết kế lại toàn bộ workflow dữ liệu cho manipulation research. Điểm khác biệt cốt lõi là tư duy "package system": tách hoàn toàn nội dung benchmark (scene, task, rule) khỏi code chạy simulation, đóng gói thành package cài một lệnh. Điều này cho phép cộng đồng chia sẻ, tái sử dụng, mở rộng benchmark như cài mod game, đồng thời API thống nhất loại bỏ boilerplate khi đổi model/benchmark. Kết hợp domain randomization full-stack và execution set based generation, pipeline sinh ra dữ liệu photo-realistic, đa dạng, đúng logic nhiệm vụ — phù hợp để train policy tổng quát (generalist policy) theo hướng LLM-driven như paper đề xuất. Việc scale tới 1500 instance trên 500 GPU RTX 4090 chứng minh kiến trúc pipeline sẵn sàng cho production-scale data generation, không chỉ demo lab.

#Robotics #Simulation #IsaacSim #Manipulation #CVPR2025 #TiniX