Hoa Kỳhaotian-liu/LLaVA
[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) built towards GPT-4V level capabilities and beyond.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#2 Repository Của Tuần
#2 Repository Của Tuần
🔥 LLaVA: Trợ lý đa phương thức mở rộng tầm nhìn thông minh
LLaVA kết hợp LLM và mô hình thị giác để hiểu ảnh và trò chuyện như con người.
LLaVA (Large Language and Vision Assistant) là dự án nghiên cứu thuộc nhóm foundation models, phát triển bởi các nhà nghiên cứu từ Đại học Wisconsin-Madison và Microsoft Research. Dự án giới thiệu phương pháp visual instruction tuning — huấn luyện mô hình bằng cặp lệnh hình ảnh + văn bản — với mục tiêu đạt tới mức độ thông minh cấp bậc GPT-4V. Phiên bản LLaVA-NeXT tiếp tục mở rộng với hỗ trợ LLaMA-3, Qwen-1.5, và tính năng xử lý video không giám sát.
✨ Điểm nổi bật
- Visual Instruction Tuning: Kết hợp dữ liệu hình ảnh và văn bản để huấn luyện mô hình hiểu sâu bán thể tĩnh.
- LLaVA-NeXT: Phiên bản nâng cấp mạnh mẽ với hỗ trợ LLaMA-3 (8B), Qwen-1.5 (72B/110B), và khả năng xử lý 4x pixel.
- Hỗ trợ video: Xử lý video chỉ với huấn luyện trên ảnh tĩnh, chuyển giao không giám sát xuyên modality.
- LoRA fine-tuning: Tinh chỉnh nhẹ mô hình với ít RAM GPU nhưng vẫn đạt hiệu suất gần bằng fine-tuning toàn mô hình.
- Đánh giá mạnh: LLaVA đạt SoTA trên 11 bộ chuẩn đo đạt điểm cao như VQAv2, GQA, TextVQA.
- Cộng đồng mở rộng: Hỗ trợ tích hợp vào llama.cpp, Colab, Hugging Face Spaces, Replicate và AutoGen.
ỡ Vì sao đáng chú ý
LLaVA khác biệt bằng cách dùng visual instruction tuning thay vì huấn luyện truyền thống, giúp mô hình không chỉ hiểu ảnh mà còn trò chuyện tự nhiên theo hướng dẫn. Với LLaVA-NeXT, mô hình mở rộng khả năng xử lý video và hình ảnh độ phân giải cao, mở ra ứng dụng thực tế trong trợ lý ảo đa phương thức, phân tích nội dung hình ảnh và tạo nội dung thông minh.
#LLaVA #MultimodalAI #VisualInstructionTuning #FoundationModel #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Code and models for ICML 2024 paper, NExT-GPT: Any-to-Any Multimodal Large Language Model
Langchain-Chatchat(原Langchain-ChatGLM)基于 Langchain 与 ChatGLM, Qwen 与 Llama 等语言模型的 RAG 与 Agent 应用 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM, Qwen and Llama) RAG and Agent app with langchain
InternLM-XComposer2.5-OmniLive: A Comprehensive Multimodal System for Long-term Streaming Video and Audio Interactions
[CVPR 2025 Highlight] Official code for "Olympus: A Universal Task Router for Computer Vision Tasks"
a.k.a. Awesome ChatGPT Prompts This is a Dataset Repository mirror of prompts.chat — a social platform for AI prompts. 📢 Notice This Hugging Face dataset is a mirror. For the latest prompts, features, and community contributions, please visit: 🌐 Website: prompts.chat 📦 GitHub: github.com/f/awesome-chatgpt-prompts About prompts.chat is an open-source platform where users can share, discover, and collect AI prompts from the community. The project can… See the full description on the dataset page: https://huggingface.co/datasets/fka/prompts.chat.
f.k.a. Awesome ChatGPT Prompts. Share, discover, and collect prompts from the community. Free and open source — self-host for your organization with complete privacy.
Leaked system prompts of ChatGPT, Claude, Gemini and more. The hidden system prompt of every popular chatbot, in full, every version since May 2025. Also Anthropic Claude Code, OpenAI Codex, Google Antigravity, xAI Grok, Meta Muse, Moonshot Kimi, Alibaba Qwen, Z.ai GLM ZCode, MiniMax, Cursor, Perplexity, DeepSeek and 30+ others. Updated daily.