patrick-tssn/Streaming-Grounded-SAM-2

🎯 Theo dõi đối tượng thông minh trong video trực tuyến bằng ngôn ngữ tự nhiên

Hệ thống kết hợp LLM, GroundingDINO và SAM 2 để theo dõi đối tượng trong video theo truy vấn bằng ngôn ngữ tự nhiên.

Streaming-Grounded-SAM-2 là một dự án nguồn mở cho phép người dùng theo dõi các đối tượng trong video trực tuyến chỉ bằng cách mô tả bằng ngôn ngữ tự nhiên (ví dụ: "theo dõi người đang đội mũ xanh"). Dự án kết hợp ba thành phần chính: LLM để phân tích câu truy vấn, GroundingDINO để xác định vị trí đối tượng, và SAM 2 để theo dõi liên tục trên các khung hình video.

✨ Điểm nổi bật

• LLM phân tích truy vấn: Hỗ trợ GPT-4o và Qwen2 để hiểu câu hỏu ích người dùng.
• GroundingDINO tham chiếu đối tượng: Xác định vị trí và phân vùng đối tượng trong khung hình.
• SAM 2 theo dõi thời gian thực: Theo dõi liên tục đối tượng qua các khung hình video.
• Hỗ trợ camera thời gian thực: Chạy trực tiếp trên luồng video từ camera.
• Cài đặt đa dạng mô hình: Lựa chọn giữa GPT-4o hoặc Qwen2-7B-Instruct-AWQ.
• Tích hợp checkpoint từ Hugging Face: Dễ dàng tải mô hình thông qua huggingface-cli.

💡 Vì sao đáng chú ý

Khác với các hệ thống theo dõi truyền thống cần cấu hình ROI thủ công, dự án này cho phép người dùng chỉ cần nhập mô tả bằng ngôn ngữ tự nhiên để hệ thống tự động nhận diện và theo dõi đối tượng. Phù hợp cho các ứng dụng như giám sát an ninh, phân tích hành vi trong video, hoặc các hệ thống AI đa phương tiện tương tác.

---

#GroundedSAM #StreamingVideo #ObjectTracking #SAM2 #TiniX