NExT-GPT/NExT-GPT
Code and models for ICML 2024 paper, NExT-GPT: Any-to-Any Multimodal Large Language Model
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#3 Repository Của Tuần
🚀 NExT-GPT — Mô hình LLM đa phương tiện đầu tiên xử lý "bất kỳ đến bất kỳ"
NExT-GPT là MM-LLM end-to-end đầu tiên có thể tiếp nhận và sinh ra đầu ra ở mọi kết hợp giữa text, image, video, và audio.
NExT-GPT (ICML 2024 Oral) là mô hình ngôn ngữ đa phương tiện (MM-LLM) đầu tiên có khả năng perceives input và generates output ở mọi tổ hợp tùy ý của text, image, video, và audio. Được phát triển bởi NExT++ Research Center, Trường Computing, Đại học Quốc gia Singapore, mô hình xây dựng trên nền tảng LLM tiền huấn luyện, multimodal encoder, và các mô hình diffusion hàng đầu, với instruction tuning end-to-end đầy đủ.
✨ Điểm nổi bật
- Any-to-Any: xử lý và sinh đầu ra ở mọi kết hợp của text, image, video, audio — không giới hạn cặp input-output cố định
- Kiến trúc 3 giai đoạn: Multimodal Encoding → LLM Understanding & Reasoning → Multimodal Generation
- Modality signal tokens: LLM sinh token tín hiệu đặc biệt để điều khiển decoder biết cần đầu ra ở modality nào
- Projector layer: chuyển biểu diễn đa phương tiện thành dạng ngôn ngữ-like để LLM xử lý
- Built on SOTA: sử dụng LLM mã nguồn mở, multimodal encoder đã được thiết lập, và diffusion models tiên tiến
- Checkpoint công khai: mô hình 7b_tiva_v0 có sẵn trên HuggingFace
- Code & data mở: mã nguồn và dataset công khai theo giấy phép BSD
💡 Vì sao đáng chú ý
NExT-GPT không chỉ là một model mà là hệ thống MM-LLM end-to-end hoàn chỉnh. Khác với đa số mô hình đa phương tiện hiện tại chỉ xử lý fixed input-output pairs (ví dụ image→text), NExT-GPT cho phép bất kỳ tổ hợp nào — text→video, audio→image, hay video→audio. Cách tiếp cận dùng "modality signal" tokens để LLM ra lệnh cho decoder đầu ra mang lại sự linh hoạt cao hơn so với việc sử dụng separate decoder cho mỗi modality.
Dự án phù hợp cho nghiên cứu nền tảng multimodal và ứng dụng thực tế cần xử lý luồng dữ liệu đa phương tiện hỗn hợp. Với checkpoint và code công khai, cộng đồng có thể tiếp tục fine-tuning và mở rộng sang thêm nhiều modality.
#Multimodal #LLM #AI #ICML2024 #TiniX
Similar Projects
Discover other similar projects and AI models.
[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) built towards GPT-4V level capabilities and beyond.
f.k.a. Awesome ChatGPT Prompts. Share, discover, and collect prompts from the community. Free and open source — self-host for your organization with complete privacy.
为GPT/GLM等LLM大语言模型提供实用化交互接口,特别优化论文阅读/润色/写作体验,模块化设计,支持自定义快捷按钮&函数插件,支持Python和C++等项目剖析&自译解功能,PDF/LaTex论文翻译&总结功能,支持并行问询多种LLM模型,支持chatglm3等本地模型。接入通义千问, deepseekcoder, 讯飞星火, 文心一言, llama2, rwkv, claude2, moss等。
InternLM-XComposer2.5-OmniLive: A Comprehensive Multimodal System for Long-term Streaming Video and Audio Interactions
Langflow is a powerful tool for building and deploying AI-powered agents and workflows.
Implement a ChatGPT-like LLM in PyTorch from scratch, step by step