ElenaRyumina/EMO-AffectNetModel

🧠 Mô hình nhận diện cảm xúc khuôn mặt đa nguồn dựa trên ResNet50 và LSTM

Nghiên cứu lớn nhất về nhận diện cảm xúc gương mặt đa nguồn (cross-corpus) cho đến nay, kết hợp backbone tĩnh và mạng LSTM thời gian thực.

Dự án EMO-AffectNetModel của Elena Ryumina trình bày một khung nhận diện cảm xúc khuôn mặt end-to-end gồm hai phần chính: (1) mô hình backbone dựa trên ResNet50 (từ VGGFace2) để dự đoán cảm xúc từ ảnh đơn, đã đạt 66.4% độ chính xác trên AffectNet; (2) khối LSTM xếp chồn lên trên backbone, huấn luyện trên nhiều bộ dữ liệu động như RAVDESS, CREMA-D, IEMOCAP, Aff-Wild2 bằng giao thức cross-corpus.

✨ Điểm nổi bật

• Backbone ResNet50: mô hình nhận diện cảm xúc tĩnh từ ảnh khuôn mặt, đạt 66.4% độ chính xác trên AffectNet.
• Label smoothing: kỹ thuật cải thiện độ chính xác lên 66.5%.
• 6 mô hình LSTM: được huấn luyện qua leave-one-corpus-out cross-validation.
• Hỗ trợ TensorFlow và TorchScript: các mô hình đã chuyển đổi sang TorchScript để dễ tích hợp.
• Dự đoán theo thời gian thực qua webcam: hỗ trợ kiểm tra cả backbone và mô hình CNN+LSTM.
• Dự đoán cảm xúc video: chạy python run.py --path_video video/ --path_save report/.
• Visualize dự đoán: tạo video có nhãn cảm xúc từng khung hình bằng python visualization.py.

💡 Vì sao đáng chú ý

Không chỉ là mô hình đơn lẻ, dự án cung cấp hệ thống lưỡng thanh (backbone + LSTM) được kiểm chứng qua giao thức cross-corpus khắt khe — giúp đánh giá khả năng tổng quát hóa thực sự. Kết quả UAR trên các bộ dữ liệu khác nhau cho thấy sự chênh lệch lớn (từ 25.1% đến 76.1%), phản ánh thách thức khi áp dụng mô hình trên nguồn khác với nguồn huấn luyện.

---

#AffectNet #EmotionRecognition #ResNet50 #LSTM #TensorFlow #TorchScript #TiniX