gokaygokay/paligemma-rich-captions
Fine tuned version of PaliGemma(https://huggingface.co/google/paligemma-3b-pt-224-jax) model on google/docci(https://huggingface.co/datasets/google/docci) dataset with middle size captions between 200 and 350 characters. This model has less halucinat...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tháng
#2 Repository Của Tháng
🖼️ PaliGemma fine-tune: Caption phong phú, giảm thiểu hallucination
Bản fine-tune PaliGemma trên google/docci, sinh caption dài 200–350 ký tự với độ chính xác cao.
PaliGemma-rich-captions là phiên bản fine-tune của mô hình PaliGemma (google/paligemma-3b-pt-224-jax) trên dataset google/docci. Mô hình được huấn luyện để sinh ra các caption có độ dài vừa phải (200–350 ký tự), giúp mô tả chi tiết hình ảnh đồng thời giảm thiểu hiện tượng hallucination. Phù hợp cho các tác vụ image-text-to-text.
✨ Điểm nổi bật
- Fine-tune PaliGemma: Dựa trên mô hình google/paligemma-3b-pt-224-jax.
- Dataset google/docci: Huấn luyện trên bộ dữ liệu chất lượng cao từ Google.
- Caption dài 200–350 ký tự: Cung cấp mô tả phong phú, chi tiết.
- Giảm hallucination: Cải thiện độ tin cậy của mô tả hình ảnh.
- Hỗ trợ Transformers: Dễ dàng tích hợp với thư viện Hugging Face Transformers.
- Pipeline image-text-to-text: Áp dụng trực tiếp cho tác vụ sinh caption.
💡 Vì sao đáng chú ý
Khác với các mô hình sinh caption ngắn gọn, PaliGemma-rich-captions tập trung vào caption có chiều dài vừa phải, giúp người dùng nhận được thông tin chi tiết hơn từ hình ảnh. Việc giảm thiểu hallucination là yếu tố quan trọng, đặc biệt trong các ứng dụng yêu cầu độ chính xác cao như hệ thống quản lý nội dung hoặc công cụ mô tả hình ảnh tự động.
#AI #PaliGemma #ImageCaptioning #HuggingFace #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
Model Card for T5 Small !model image(https://camo.githubusercontent.com/623b4dea0b653f2ad3f36c71ebfe749a677ac0a1/68747470733a2f2f6d69726f2e6d656469756d2e636f6d2f6d61782f343030362f312a44304a31674e51663876727255704b657944387750412e706e67) Table of Con...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...