RepositoryPython
NExT-GPT

NExT-GPT/NExT-GPT

Code and models for ICML 2024 paper, NExT-GPT: Any-to-Any Multimodal Large Language Model

3.6kstars
359forks
81issues
4views

Thành tựu nổi bật

Những danh hiệu mới nhất của dự án

1
TINIX TRENDING·Chủ đề: multi-modal-chatgpt

#1 Repository Của Tuần

1
TINIX TRENDING·Chủ đề: visual-language-learning

#1 Repository Của Tuần

3
TINIX TRENDING·Chủ đề: instruction-tuning

#3 Repository Của Tuần

🚀 NExT-GPT — Mô hình LLM đa phương tiện đầu tiên xử lý "bất kỳ đến bất kỳ"

NExT-GPT là MM-LLM end-to-end đầu tiên có thể tiếp nhận và sinh ra đầu ra ở mọi kết hợp giữa text, image, video, và audio.

NExT-GPT (ICML 2024 Oral) là mô hình ngôn ngữ đa phương tiện (MM-LLM) đầu tiên có khả năng perceives input và generates output ở mọi tổ hợp tùy ý của text, image, video, và audio. Được phát triển bởi NExT++ Research Center, Trường Computing, Đại học Quốc gia Singapore, mô hình xây dựng trên nền tảng LLM tiền huấn luyện, multimodal encoder, và các mô hình diffusion hàng đầu, với instruction tuning end-to-end đầy đủ.

✨ Điểm nổi bật

  • Any-to-Any: xử lý và sinh đầu ra ở mọi kết hợp của text, image, video, audio — không giới hạn cặp input-output cố định
  • Kiến trúc 3 giai đoạn: Multimodal Encoding → LLM Understanding & Reasoning → Multimodal Generation
  • Modality signal tokens: LLM sinh token tín hiệu đặc biệt để điều khiển decoder biết cần đầu ra ở modality nào
  • Projector layer: chuyển biểu diễn đa phương tiện thành dạng ngôn ngữ-like để LLM xử lý
  • Built on SOTA: sử dụng LLM mã nguồn mở, multimodal encoder đã được thiết lập, và diffusion models tiên tiến
  • Checkpoint công khai: mô hình 7b_tiva_v0 có sẵn trên HuggingFace
  • Code & data mở: mã nguồn và dataset công khai theo giấy phép BSD

💡 Vì sao đáng chú ý

NExT-GPT không chỉ là một model mà là hệ thống MM-LLM end-to-end hoàn chỉnh. Khác với đa số mô hình đa phương tiện hiện tại chỉ xử lý fixed input-output pairs (ví dụ image→text), NExT-GPT cho phép bất kỳ tổ hợp nào — text→video, audio→image, hay video→audio. Cách tiếp cận dùng "modality signal" tokens để LLM ra lệnh cho decoder đầu ra mang lại sự linh hoạt cao hơn so với việc sử dụng separate decoder cho mỗi modality.

Dự án phù hợp cho nghiên cứu nền tảng multimodal và ứng dụng thực tế cần xử lý luồng dữ liệu đa phương tiện hỗn hợp. Với checkpoint và code công khai, cộng đồng có thể tiếp tục fine-tuning và mở rộng sang thêm nhiều modality.


#Multimodal #LLM #AI #ICML2024 #TiniX

Similar Projects

Discover other similar projects and AI models.

RepositoryPython
haotian-liu/LLaVA

[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) built towards GPT-4V level capabilities and beyond.

25.1k
Aug 12, 2024
RepositoryMDX
f/prompts.chat

f.k.a. Awesome ChatGPT Prompts. Share, discover, and collect prompts from the community. Free and open source — self-host for your organization with complete privacy.

178.3k
Nov 22, 2026
RepositoryPython
binary-husky/gpt_academic

为GPT/GLM等LLM大语言模型提供实用化交互接口,特别优化论文阅读/润色/写作体验,模块化设计,支持自定义快捷按钮&函数插件,支持Python和C++等项目剖析&自译解功能,PDF/LaTex论文翻译&总结功能,支持并行问询多种LLM模型,支持chatglm3等本地模型。接入通义千问, deepseekcoder, 讯飞星火, 文心一言, llama2, rwkv, claude2, moss等。

71.7k
Jan 25, 2026
RepositoryPython
InternLM/InternLM-XComposer

InternLM-XComposer2.5-OmniLive: A Comprehensive Multimodal System for Long-term Streaming Video and Audio Interactions

2.9k
May 26, 2025
RepositoryPython
NousResearch/hermes-agent

The agent that grows with you

265.4k
Nov 22, 2026
RepositoryPython
langflow-ai/langflow

Langflow is a powerful tool for building and deploying AI-powered agents and workflows.

156.8k
Nov 19, 2026
RepositoryPython
langchain-ai/langchain

The agent engineering platform.

150.0k
Nov 22, 2026
RepositoryPython
hiyouga/LlamaFactory

Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)

76.1k
Nov 19, 2026
RepositoryJupyter Notebook
rasbt/LLMs-from-scratch

Implement a ChatGPT-like LLM in PyTorch from scratch, step by step

108.8k
Nov 21, 2026