RepositoryPythonUSUnited States
HA

haotian-liu/LLaVA

[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) built towards GPT-4V level capabilities and beyond.

25.1kstars
2.8kforks
1.1kissues
2views

Thành tựu nổi bật

Những danh hiệu mới nhất của dự án

1
TINIX TRENDING·Chủ đề: visual-language-learning

#1 Repository Của Tuần

2
TINIX TRENDING·Chủ đề: instruction-tuning

#2 Repository Của Tuần

2
TINIX TRENDING·Chủ đề: multi-modality

#2 Repository Của Tuần

🔥 LLaVA: Trợ lý đa phương thức mở rộng tầm nhìn thông minh

LLaVA kết hợp LLM và mô hình thị giác để hiểu ảnh và trò chuyện như con người.

LLaVA (Large Language and Vision Assistant) là dự án nghiên cứu thuộc nhóm foundation models, phát triển bởi các nhà nghiên cứu từ Đại học Wisconsin-Madison và Microsoft Research. Dự án giới thiệu phương pháp visual instruction tuning — huấn luyện mô hình bằng cặp lệnh hình ảnh + văn bản — với mục tiêu đạt tới mức độ thông minh cấp bậc GPT-4V. Phiên bản LLaVA-NeXT tiếp tục mở rộng với hỗ trợ LLaMA-3, Qwen-1.5, và tính năng xử lý video không giám sát.

✨ Điểm nổi bật

  • Visual Instruction Tuning: Kết hợp dữ liệu hình ảnh và văn bản để huấn luyện mô hình hiểu sâu bán thể tĩnh.
  • LLaVA-NeXT: Phiên bản nâng cấp mạnh mẽ với hỗ trợ LLaMA-3 (8B), Qwen-1.5 (72B/110B), và khả năng xử lý 4x pixel.
  • Hỗ trợ video: Xử lý video chỉ với huấn luyện trên ảnh tĩnh, chuyển giao không giám sát xuyên modality.
  • LoRA fine-tuning: Tinh chỉnh nhẹ mô hình với ít RAM GPU nhưng vẫn đạt hiệu suất gần bằng fine-tuning toàn mô hình.
  • Đánh giá mạnh: LLaVA đạt SoTA trên 11 bộ chuẩn đo đạt điểm cao như VQAv2, GQA, TextVQA.
  • Cộng đồng mở rộng: Hỗ trợ tích hợp vào llama.cpp, Colab, Hugging Face Spaces, Replicate và AutoGen.

ỡ Vì sao đáng chú ý

LLaVA khác biệt bằng cách dùng visual instruction tuning thay vì huấn luyện truyền thống, giúp mô hình không chỉ hiểu ảnh mà còn trò chuyện tự nhiên theo hướng dẫn. Với LLaVA-NeXT, mô hình mở rộng khả năng xử lý video và hình ảnh độ phân giải cao, mở ra ứng dụng thực tế trong trợ lý ảo đa phương thức, phân tích nội dung hình ảnh và tạo nội dung thông minh.


#LLaVA #MultimodalAI #VisualInstructionTuning #FoundationModel #TiniX

Similar Projects

Discover other similar projects and AI models.

RepositoryPython
NExT-GPT/NExT-GPT

Code and models for ICML 2024 paper, NExT-GPT: Any-to-Any Multimodal Large Language Model

3.6k
May 13, 2025
RepositoryPython
chatchat-space/Langchain-Chatchat

Langchain-Chatchat(原Langchain-ChatGLM)基于 Langchain 与 ChatGLM, Qwen 与 Llama 等语言模型的 RAG 与 Agent 应用 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM, Qwen and Llama) RAG and Agent app with langchain

38.7k
Nov 10, 2025
RepositoryPython
InternLM/InternLM-XComposer

InternLM-XComposer2.5-OmniLive: A Comprehensive Multimodal System for Long-term Streaming Video and Audio Interactions

2.9k
May 26, 2025
RepositoryPython
yuanze-lin/Olympus

[CVPR 2025 Highlight] Official code for "Olympus: A Universal Task Router for Computer Vision Tasks"

428
Aug 5, 2026
Dataset
fka/prompts.chat

a.k.a. Awesome ChatGPT Prompts This is a Dataset Repository mirror of prompts.chat — a social platform for AI prompts. 📢 Notice This Hugging Face dataset is a mirror. For the latest prompts, features, and community contributions, please visit: 🌐 Website: prompts.chat 📦 GitHub: github.com/f/awesome-chatgpt-prompts About prompts.chat is an open-source platform where users can share, discover, and collect AI prompts from the community. The project can… See the full description on the dataset page: https://huggingface.co/datasets/fka/prompts.chat.

♥0
21.3k
Nov 22, 2026
RepositoryPython
NousResearch/hermes-agent

The agent that grows with you

265.4k
Nov 22, 2026
RepositoryMDX
f/prompts.chat

f.k.a. Awesome ChatGPT Prompts. Share, discover, and collect prompts from the community. Free and open source — self-host for your organization with complete privacy.

178.3k
Nov 22, 2026
RepositoryPython
hiyouga/LlamaFactory

Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)

76.1k
Nov 19, 2026
RepositoryPython
asgeirtj/system_prompts_leaks

Leaked system prompts of ChatGPT, Claude, Gemini and more. The hidden system prompt of every popular chatbot, in full, every version since May 2025. Also Anthropic Claude Code, OpenAI Codex, Google Antigravity, xAI Grok, Meta Muse, Moonshot Kimi, Alibaba Qwen, Z.ai GLM ZCode, MiniMax, Cursor, Perplexity, DeepSeek and 30+ others. Updated daily.

72.4k
Nov 20, 2026