IDSIA/hhmarl_2D

🛩️ HHMARL 2D: Học tăng cường phân cấp cho chiến đấu không gian

Một khung giúp các tác nhân hàng không học cách chiến đấu và trốn thoát thông qua cấp chính sách phân cấp.

HHMARL 2D là bản cài đặt của phương pháp được đề xuất trong bài báo này, dùng cho việc huấn luyện các tác nhân hàng không trong môi trường chiến đấu 2D. Dự án sử dụng Ray RLlib và PyTorch để xây dựng các mô hình học tăng cường đa tác nhân (MARL) với cấu trúc phân cấp.

✨ Điểm nổi bật

• Chính sách cấp thấp: Huấn luyện riêng cho hai chế độ fight (chiến đấu) và escape (trốn thoát).
• Chính sách cấp cao: Quản lý tổng thể chiến lược thông qua vai trò commander.
• Curriculum Learning: Huấn luyện theo từng cấp độ (1-5), bắt đầu với đối thủ đơn giản và dần phức tạp hơn.
• Hỗ trợ huấn luyện 2vs2 và 3vs3: Cấu hình linh hoạt tùy theo giai đoạn huấn luyện.
• Đánh giá linh hoạt: Cho phép thay đổi số lượng tác nhân và đối thủ trong quá trình đánh giá.
• Lưu trữ chính sách: Các chính sách học được được lưu trữ để sử dụng trong các cấp độ sau.

💡 Vì sao đáng chú ý

HHMARL 2D khác biệt ở việc phân tách rõ rệt giữa chiến lược cấp thấp và cấp cao, giúp tối ưu hóa từng giai đoạn học một cách hiệu quả. Khả năng linh hoạt trong cấu hình số lượng tác nhân và đối thủ giúp mô hình dễ dàng mở rộng sang các kịch bản phức tạp hơn. Dự án đặc biệt phù hợp cho nghiên cứu về tương tác đa tác nhân trong môi trường chiến tranh điện tử hoặc mô phỏng quân sự.

---

#MARL #ReinforcementLearning #AirCombat #HierarchicalRL #TiniX