AmyangXYZ/reze-mipo

🎬 Nhảy cùng MMD ngay trong trình duyệt — không cần phần mềm

Bạn chỉ cần một chiếc webcam. Nhân vật MMD của bạn sẽ nhảy cùng bạn thật — trực tiếp, ngay trên trình duyệt, và kết quả được lưu ngay thành file .vmd để bạn mở ra MMD chỉnh sửa tiếp.

Đó là Reze MiPo (tên cũ: MiKaPo) — một phần của bộ công cụ Reze MMD, giúp bạn thu thập chuyển động toàn thân trong thời gian thực bằng MediaPipe, rồi áp dụng ngay lên nhân vật MMD của bạn. Chỉ cần kéo thả thư mục PMX và bắt đầu nhảy — mọi thứ diễn ra mượt mà ở 60 FPS.

✨ Điểm nổi bật

• Bắt đủ từ một lần quét: Toàn thân, hai tay (21 điểm mỗi tay), và khuôn mặt, tất cả chỉ trong một lần chạy MediaPipe duy nhất.
• Bone thật, morph thật: 33 điểm pose được chuyển thành quaternion cho từng bone, kể cả ngón tay và lưỡi cánh tay. Các morph khuôn mặt như まばたき, あ, ワ, ウィンク được kích hoạt tự động.
• Tự động cảnh quạt mô hình: Chỉ cần kéo thả thư mục PMX — bộ giải sẽ tự động hiệu chuẩn với tư thế nghỉ của nhân vật bạn.
• Xuất file .vmd ngay: Mỗi lần quay được lưu thành file VMD, có thể mở trực tiếp trong phần mềm MMD để chỉnh sửa thêm.
• Giữ nguyên vị trí: センター (Center bone) di chuyển theo chiều cao, giữ cho nhân vật ở đúng vị trí ngay cả khi người dùng ngồi xuống hoặc nhấc chân.
• Quay video ở 30 FPS: Kết quả video được sinh ra khung bằng khung, đảm bảo đồng nhất trên mọi máy.
• Lưu làm việc tự động: Mô hình và đoạn quay của bạn sẽ không mất ngay cả khi làm mới trang.

💡 Vì sao đáng chú ý

MiPo không chỉ là một công cụ bắt tay — nó xây dựng toàn bộ pipeline từ nhận dạng chuyển động bằng MediaPipe đến áp dụng lên skeleton MMD một cách chính xác. Phần khó nhất — chuyển đổi từ hệ tọa độ MediaPipe sang quaternion theo frame cha trong MMD — được giải quyết bằng một bảng bone chung, áp dụng tính toán quaternion và lọc One-Euro để giảm nhiễu.

Đặc biệt, dự án tận dụng WebGPU thông qua Reze Engine để đạt 60 FPS mượt mà, đồng thời chạy MediaPipe trong Web Worker để không làm chặn bởi luồng chính. Đây là lựa chọn lý tưởng cho người dùng MMD muốn nhanh chóng tạo ra các đoạn animation sống động mà không cần phần mềm nặặng.

#RealTimeMMD #MediaPipe #MotionCapture #VMD #WebGPU #NextJS #TiniX