sPappalard/RotoAI

🟣 RotoAI - Phân đoạn video thông minh không cần huấn luyện

RotoAI biến prompt ngôn ngữ tự nhiên thành mask video chính xác bằng SAM2 & Grounding DINO, chạy UI cục bộ nhưng đẩy inference ra GPU đám mây.

RotoAI là một studio phân đoạn video dẫa trên prompt, kết hợp kiến trúc Cloud-Local: giao diện React 18 mượt mà chạy trên máy người dùng, trong khi quá trình inference nặng nề được gửi lên GPU Google Colab (T4) thông qua đường hầm ngrok bảo mật. Dự án sử dụng các mô hình nền tảng tiên tiến là SAM2 và Grounding DINO để thực hiện phân đoạn zero-shot chất lượng cao.

✨ Điểm nổi bật

• Phân đoạn zero-shot: Sử dụng Grounding DINO để chọn đối tượng qua prompt văn bản (ví dụ: "người mặc áo đỏ")
• Kiến trúc Cloud-Local: Giao diện cục bộ nhanp nhạy kết hợp GPU đám mây mạnh mẽ
• Xử lý video dài: Chia nhỏ 5s + tự động điều chỉnh độ phân giải để tránh lỗi OOM
• Hai chế độ phát hiện: Zero-shot chung + mô hình YOLO tùy chỉnh
• 6 hiệu ứng chuyên nghiệp: Bokeh Blur, Chroma Key, B&W Color Pop, Neon Glow, Color Pop, Luminous Edge
• Quản lý VRAM thông minh: Tối ưu bộ nhớ để chạy trên phần cứng miễn phí

💡 Vì sao đáng chú ý

RotoAI khác biệt bằng cách kết hợp UI cục bệt responsive với sức mạnh GPU đám mây, giúp người dùng thực hiện rotoscoping chất lượng cao mà không cần phần cứng mạnh. Đặc biệt, công nghệ Smart Chunking và Auto-Resolution Scaling giúp xử lý video dài và độ phân giải cao trên nền tảng Colab miễn phí mà không gặp giới hạn bộ nhớ.

#AI #VideoSegmentation #Rotoscoping #SAM2 #GroundingDINO #OpenSource #TiniX