Germany
sahilrajpurkar03/nlp-pnp-robotic-arm
SPARC is an intelligent ROS2 Humble-based pick-and-place robotic system integrating MoveIt, YOLOv8-OBB, and Isaac Sim. It enables real-time object detection, motion planning for Franka Panda and UR5 arms, and natural language control via an Ollama-powered chatbot—making robotic manipulation smart, interactive, and human-friendly.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🤖 SPARC: Robot lấy đặt thông minh điều khiển bằng tiếng nói tự nhiên
SPARC kết hợp AI và robotics để bạn chỉ cần nói bằng tiếng Anh, robot sẽ tự động nhận diện, lên kế hoạch và thực hiện tác vụ lấy và đặt vật phẩm.
SPARC (Smart Pick-n-Place with AI Robotics and Chatbot) là một hệ thống robot thông minh được xây dựng trên nền tảng ROS2 Humble, Isaac Sim và MoveIt. Dự án tích hợp YOLOv8-OBB để nhận diện vật phẩm thời gian thực, điều khiển robot Franka Panda hoặc UR5 bằng MoveIt, đồng thời sử dụng chatbot dựa trên Ollama LLM để người dùng có thể điều khiển robot bằng ngôn ngữ tự nhiên. Đây là một bước tiến lớn trong việc làm cho robot cơ khí trở nên thân thiện và dễ sử dụng hơn với con người.
✨ Điểm nổi bật
- Nhận diện vật phẩm thời gian thực: Sử dụng YOLOv8-OBB để phát hiện và xác định vật phẩm chính xác ngay trong môi trường mô phỏng.
- Điều khiển robot qua MoveIt + ROS2: Hệ thống hỗ trợ điều khiển cả hai loại robot Franka Panda và UR5 một cách trơn tru.
- Giao diện chatbot bằng ngôn ngữ tự nhiên: Người dùng có thể gõ lệnh bằng tiếng Anh thông thường để robot thực hiện nhiệm vụ.
- Hiệu chuẩn camera từ Isaac Sim: Tự động trích xuất các tham số fx, fy, cx, cy từ môi trường mô phỏng.
- Hỗ trợ nhiều loại robot: Tương thích với cả robot Franka Panda và UR5, mang lại linh hoạt trong lựa chọn.
- Xuất bản điểm mục tiêu: Kết nối liền mạch giữa giai đoạn nhận diện và lên kế hoạch chuyển động.
💡 Vì sao đáng chú ý
SPARC khác biệt so với các hệ thống robot truyền thống ở chỗ sự kết hợp mượt mà giữa ba thành phần: nhận diện thị giác máy tính, lập kế hoạch chuyển động và giao tiếp bằng ngôn ngữ tự nhiên. Thay vì phải lập trình từng bước chi tiết, người dùng chỉ cần mô tả yêu cầu bằng ngôn ngữ tự nhiên, và hệ thống sẽ tự động thực hiện toàn bộ quy trình từ nhận diện vật phẩm đến điều khiển robot thực hiện. Điều này mở ra tiềm năng lớn cho các ứng dụng trong môi trường công nghiệp, giáo dục và nghiên cứu robotics.
#AI #Robotics #ROS2 #MoveIt #YOLOv8 #TiniX
Similar Projects
Discover other similar projects and AI models.
AutoGPT is the vision of accessible AI for everyone, to use and to build on. Our mission is to provide the tools, so that you can focus on what matters.
The agent harness performance optimization system. Skills, instincts, memory, security, and research-first development for Claude Code, Codex, Opencode, Cursor and beyond.
a.k.a. Awesome ChatGPT Prompts This is a Dataset Repository mirror of prompts.chat — a social platform for AI prompts. 📢 Notice This Hugging Face dataset is a mirror. For the latest prompts, features, and community contributions, please visit: 🌐 Website: prompts.chat 📦 GitHub: github.com/f/awesome-chatgpt-prompts About prompts.chat is an open-source platform where users can share, discover, and collect AI prompts from the community. The project can… See the full description on the dataset page: https://huggingface.co/datasets/fka/prompts.chat.
Makes your AI agent think like the laziest senior dev in the room. The best code is the code you never wrote.
This repository contains code examples for the Stanford's course: TensorFlow for Deep Learning Research.
[CVPR 2025] Official implementation of "GenManip: LLM-driven Simulation for Generalizable Instruction-Following Manipulation"
🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.