tencent/HY-World-2.0

🌍 HY-World 2.0: Mô hình thế giới 3D đa phương thức từ Tencent

HY-World 2.0 chuyển pixel thành thế giới — dựa trên văn bản, hình ảnh hoặc video để tạo ra mô hình 3D có thể chỉnh sửa, lưu trữ và nhập trực tiếp vào các engine như Blender, Unity, Unreal Engine.

HY-World 2.0 là một khung mô hình thế giới đa phương thức từ Tencent, hỗ trợ hai nhiệm vụ chính: tạo thế giới 3D từ văn bản hoặc hình ảnh đơn, và tái tạo thế giới 3D từ hình ảnh đa góc hoặc video. Khác với các mô hình thế giới dựa trên video chỉ sinh ra luồng pixel không thể chỉnh sửa, HY-World 2.0 trực tiếp tạo ra tài sản 3D thực sự — lưới tam giác (mesh) hoặc Gaussian Splatting (3DGS) — có tính chỉnh sửa cao và khả năng tái sử dụng vĩnh viễn.

✨ Điểm nổi bật

• Tạo thế giới từ văn bản/hình ảnh: sử dụng HY-Pano 2.0, WorldNav, WorldStereo 2.0, WorldMirror 2.0 để tạo cảnh 3D điều hướng được qua bốn giai đoạn.
• Tái tạo thế giới từ video/hình ảnh đa góc: WorldMirror 2.0 dự đoán đồng thời độ sâu, pháp tuyếnn bề mặt, tham số camera, đám mây điểm 3D và thuộc tính 3DGS trong một lần lan truyền duy nhất.
• Đầu ra 3D thực sự: hỗ trợ xuất khẩu dưới dạng lưới (mesh) hoặc Gaussian Splatting (3DGS), có thể nhập trực tiếp vào Blender, Unity, Unreal Engine, Isaac Sim.
• Kiến trúc bốn giai đoạn: Panorama Generation → Trajectory Planning → World Expansion → World Composition.
• Mở nguồn toàn bộ trọng lượng mô hình và mã nguồn: hỗ trợ tái tạo và nghiên cứu mở rộng.
• Khả năng mở rộng thời gian: khác với video có thời lượng giới hạn (~1 phút), mô hình 3D có thể kéo dài vô thời hạn.
• Hiệu suất thời gian thực: trên GPU tiêu dùng, có thể kết xuất mô hình 3D ngay lập tức mà không cần suy diễn lại.
• Kiểm soát chính xác: hỗ trợ điều khiển vật lý thực tế, ánh sáng chính xác và tương tác không lỗi.

💡 Vì sao đáng chú ý

HY-World 2.0 khác biệt so với các mô hình thế giới dựa trên video như Genie 3, Cosmos hay HY-World 1.5 ở chỗ nó không chỉ sinh ra video pixel mà còn tạo ra tài sản 3D có thể chỉnh sửa. Điều này giải quyết nhiều hạn chế lâu đời của mô hình video: không thể chỉnh sửa, thời lượng giới hạn, lỗi nhất quán giữa các góc nhìn, và chi phí suy diễn cao. Mô hình phù hợp cho các ứng dụng như phát triển game, mô phỏng môi trường ảo, giáo dục 3D và nội dung sáng tạo.

#WorldModel #ImageTo3D #OpenSource #3DReconstruction #TiniX