simonkamronn/kvae

🤖 KVAE: Tách biệt nhận dạng và động lực học trong học không giám sát

KVAE kết hợp VAE nhận dạng và mô hình trạng thái Gaussian tuyến tính để học động lượt từ video.

Dự án kvae cài đặt mô hình từ bài báo NIPS 2017 của Fraccaro, Kamronn, Paquet và Winther. Mục tiêu: học không giám sát dữ liệu tuần tự (ví dụ video) bằng cách tách hai không gian ẩn: một cho biểu diễn đối tượng (qua VAE tích giác phân), một cho động lực học (qua mô hình trạng thái Gaussian tuyến tĩnh LGSSM).

✨ Điểm nổi bật

• Recognition model: VAE tích giác phân (CNN) mã hóa khung hình thành biểu diễn đối tượng.
• Latent dynamics: LGSSM mô tả chuyển động của đối tượng qua thời gian.
• Huấn luyện end-to-end: toàn bộ mô hình được tối ưu cùng lúc.
• Sinh sequence mới: khả năng tạo video mới từ không gian ẩn học được.
• Imputation dữ liệu: điền dữ liệu thiếu mà không cần sinh khung hình đầy đủ.
• Bouncing ball dataset: dữ liệu mẫu đi kèm hỗ trợ chạy nhanh.

💡 Vì sao đáng chú ý

KVAE khác biệt so với VAE thông thường ở việc tách rõ biệt nhận dạng (what) và động lực học (how). Điều này giúp mô hình không chỉ tái tạo video mà còn hỗ trợ sinh sequence và imputation chính xác. Phù hợp cho các bài toán video không giám sát, robotics và mô phỏng vật lý.

#KalmanVAE #VariationalInference #DeepLearning #UnsupervisedLearning #TiniX