tencent/HY-WorldPlay
This repository contains the WorldPlay model, a streaming video diffusion model, presented in the paper WorldPlay: Towards Long-Term Geometric Consistency for Real-Time Interactive World Modeling(https://huggingface.co/papers/2512.14614). 🎮 HY-World...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🎮 WorldPlay: Mô hình streaming video diffusion cho thế giới ảo tương tác thời gian thực
WorldPlay giải quyết bài toán sinh video dài hạn với độ nhất quán hình học ổn định, vận hành ở tốc độ 24 FPS thời gian thực.
WorldPlay là một mô hình diffusion video streaming được phát triển bởi nhóm nghiên cứu Tencent HY-World, được trình bày trong bài báo WorldPlay: Towards Long-Term Geometric Consistency for Real-Time Interactive World Modeling. Đây là phần mở rộng của HY-World 1.0, nâng cấp lên phiên bản 1.5 với khả năng sinh thế giới 3D tương tác thời gian thực, khắc phục hạn chế của quá trình sinh offline và thiếu tương tác trực tiếp.
✨ Điểm nổi bật
-Dual Action Representation: Biểu diễn hành động kép cho phép kiểm soát hành động mượt mà theo đầu vào bàn phím và chuột. -Reconstituted Context Memory: Tái cấu trúc bố nhớ ngữ cảnh từ khung hình trước đó để duy trì độ nhất quán thời gian dài. -WorldCompass: Khung huấn luyện bằng học tăng cường (RL) cải thiện chất lượng hình ảnh và khả năng tuân thủ hành động. -Context Forcing: Phương pháp rút gọn bộ nhớ (distillation) nhằm giảm độ trễ suy diễn và duy trì thông tin dài hạn. -Tốc độ 24 FPS: Sinh video dài hạn với tốc độ thời gian thực, vượt trội so với các phương pháp hiện tại. -Hỗ trợ nhiều góc nhìn: Cả góc nhìn người thứ nhất và thứ ba trong môi trường thực tế và họa sĩ. -Pipeline huấn luyện đầy đủ: Bao phủ toàn bộ quy trình từ dữ liệu, huấn luyện đến triển khai suy diễn. -Mã nguồn mở: Hỗ trợ cả mô hình diffusion hai chiều và tự động sinh (autoregressive).
💡 Vì sao đáng chú ý
WorldPlay nổi bật nhờ sự kết hợp của bố năm thiết kế đột phá, cho phép sinh video liên tục với độ trễ thấp và độ nhất quán hình học vững chắc. Khác với các phương pháp truyền thống chỉ sinh một lượt, WorldPlay sử dụng bộ nhớ ngữ cảnh linh hoạt và huấn luyện tăng cường để cải thiện hành vi dài hạn. Mô hình phù hợp với các ứng dụng như tái tạo 3D, sinh sự kiện theo lời nhắn, và mở rộng thế giới vô hạn.
#WorldPlay #WorldModel #ImageToVideo #AI #Tencent #TiniX
Similar Projects
Discover other similar projects and AI models.
LTX-2.5 — Video, Audio & World Simulation Full control and customization — self-host on your infrastructure. Homepage Docs GitHub Research API Playground Discord LTX License LTX-2.5 — Video, Audio & World Simulation Full control and customiz...
HunyuanWorld-Mirror is a versatile feed-forward model for comprehensive 3D geometric prediction. It integrates diverse geometric priors (camera poses, calibrated intrinsics, depth maps) and simultaneously generates various 3D representations (point...
LTX-2.3 Model Card This model card focuses on the LTX-2.3 model, which is a significant update to the LTX-2 model(https://huggingface.co/Lightricks/LTX-2) with improved audio and visual quality as well as enhanced prompt adherence. LTX-2 was present...
LTX-2 Model Card This model card focuses on the LTX-2 model, as presented in the paper LTX-2: Efficient Joint Audio-Visual Foundation Model(https://huggingface.co/papers/2601.03233). The codebase is available here(https://github.com/Lightricks/LTX-2...
MiniMax H3 System Overview MiniMax H3 is a general-purpose, omni-modal generative system. It supports unified understanding of multimodal contexts composed of text, images, video, and audio, and can generate video with native stereo audio at resolut...
Stable Video Diffusion Image-to-Video Model Card !row01(outputtile.gif) Stable Video Diffusion (SVD) Image-to-Video is a diffusion model that takes in a still image as a conditioning frame, and generates a video from it. Please note: For commercial...
LTX-Video Model Card This model card focuses on the model associated with the LTX-Video model, codebase available here(https://github.com/Lightricks/LTX-Video). LTX-Video is the first DiT-based video generation model capable of generating high-quali...
//: ( ) //: ( ) //: ( ) “ Living out everyone’s imagination on creating and manipulating 3D assets.” This repository contains the models of the paper Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation(https://h...
//: ( ) //: ( ) //: ( ) "To see a World in a Grain of Sand, and a Heaven in a Wild Flower" 🔗 BibTeX @misc{hunyuanworld2025tencent, title={HunyuanWorld 1.0: Generating Immersive, Explorable, and Interactive 3D Worlds from Words or Pixels}, author={T...