XGENlabs/XGEN-JING
Watch the demo XGEN-JING: An Egocentric Interactive Experience Model XGEN Team --- We present XGEN-JING, an egocentric interactive experience model built on MiniMax-H3(https://github.com/MiniMax-AI/MiniMax-H3). Given actions, reference images, and o...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tháng
#1 Repository Của Tuần
🎮 XGEN-JING: Mô hình trải nghiệm tương tác theo góc nhìn người dùng
XGEN-JING sinh video và âm thanh góc nhìn người dùng từ hành động, hình ảnh tham chiếu và lịch sử quan sát.
XGEN-JING là mô hình trải nghiệm tương tác theo góc nhìn người dùng (egocentric), dựa trên MiniMax-H3. Mô hình sinh video và âm thanh góc nhìn người dùng cho các hành động di chuyển, tương tác vật phẩm và đối thoại. Phiên bản JING-Flash-v1 sử dụng suy luận hai chiều bốn bước.
✨ Điểm nổi bật
- Điều khiển camera: Dò thẳng phong cảnh hàng ngày và thế giới ảo qua di chuyển bàn phím.
- Tương tác và hội thoại: Điều khiển tương tác vật phẩm và đố thoại nhân vật bằng văn bản, sinh video và âm thanh đồng thời.
- Điều kiện hình ảnh tham chiếu: Kết hợp hình ảnh nhân vật, vật phẩm, cảnh quan để tạo trải nghiệm và khám phá hành động khác nhau.
- Suy luận hai chiều bốn bước: Phiên bản JING-Flash-v1 hỗ trợ suy luận nhanh hai chiều.
- Kỹ năng Prompt: Tạo trường hợp suy luận hợp lệ từ câu chuyện và hình ảnh tham chiếu.
💡 Vì sao đáng chú ý
XGEN-JING tích hợp sinh video và âm thanh đồng thời, cho phép người dùng tương tác trực tiếp với môi trường ảo thông qua bàn phím và văn bản. Khác với các mô hình sinh video truyền thống, JING tập trung vào trải nghiệm góc nhìn người dùng, phù hợp cho mô phỏng môi trường ảo, giáo dục tương tác và trò chơi.
#AI #VideoGeneration #WorldModel #Egocentric #XGEN #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
MiniMax H3 System Overview MiniMax H3 is a general-purpose, omni-modal generative system. It supports unified understanding of multimodal contexts composed of text, images, video, and audio, and can generate video with native stereo audio at resolut...
LTX-2.5 — Video, Audio & World Simulation Full control and customization — self-host on your infrastructure. Homepage Docs GitHub Research API Playground Discord LTX License LTX-2.5 — Video, Audio & World Simulation Full control and customiz...
This is a cross attention transfer from Eros 1.5 to stylize and alter minimax-H3 based on an LTX model in it's first experimental version. That's a cross model transfer but only at gate head level and certain block attention, 32 ltx heads mapped to a...
MiniMax-H3 GGUF GGUF for MiniMax-H3, compatible on most platforms including stablediffusion.cpp, ComfyUI, Unsloth and more. Run MiniMax-H3 via Unsloth You can run MiniMax-H3 via Unsloth: https://github.com/unslothai/unsloth/ GGUF quantizations of Mi...
MiniMax H3 Realism People LoRA Trigger word: r34l1sm A LoRA adapter for MiniMax H3 specialized in realistic people: faces that hold up in close-up, natural skin texture, believable expressions and gestures, film-style lighting and documentary camera...
HyperFlow for MiniMax-H3 By downloading or using these weights you accept the MiniMax H3 Community License Agreement(LICENSE), including its territorial scope (not licensed in the EU, UK, South Korea or the US without MiniMax's separate authorizatio...
HyperFlow for MiniMax-H3 By downloading or using these weights you accept the MiniMax H3 Community License Agreement(LICENSE), including its territorial scope (not licensed in the EU, UK, South Korea or the US without MiniMax's separate authorizatio...
!FLUX.1 dev Grid(./devgrid.jpg) FLUX.1 dev is a 12 billion parameter rectified flow transformer capable of generating images from text descriptions. For more information, please read our blog post(https://blackforestlabs.ai/announcing-black-forest-la...
MiniMax-H3 360° Orbit LoRA (first–last frame) A LoRA for MiniMax-H3(https://huggingface.co/MiniMaxAI/MiniMax-H3) (FL2VA variant) that turns one photo into a frozen-time 360° camera orbit, and lands back on the exact frame it started from. Give the m...