Dataset
Vladx

Vladx/imagenet-w21-wds-dinov2

...

0thích
167tải xuống
0lượt xem

Thành tựu nổi bật

Những danh hiệu mới nhất của dự án

1
TINIX TRENDING·Chủ đề: format:arrow

#1 Repository Của Tuần

1
TINIX TRENDING·Chủ đề: format:arrow

#1 Repository Của Tuần

🖼️ ImageNet-W21 phiên bản WebDataset với embedding DINOv2

Bộ dữ liệu ImageNet với 21 nhãn phụ cho mỗi ảnh, đã được chuyển đổi sang định dạng WebDataset kèm embedding từ mô hình DINOv2.

Đây là bản phiên bản xử lý sẵn của ImageNet, nơi mỗi mẫu ảnh được gán kèm 21 nhãn phụ (weak labels) thay vì một nhãn duy nhất như bản gốc. Dữ liệu được đóng gói dưới định dạng WebDataset (WDS) để tối ưu hiệu suất tải và huấn luyện mô hình thị giác. Ngoài ra, mỗi ảnh còn được tính toán sẵn embedding bằng mô hình DINOv2, giúp giảm thời gian tiền xử lý khi huấn luyện.

✨ Điểm nổi bật

  • WebDataset format: Dữ liệu được đóng gói dưới dạnh shard .tar, tối ưu cho pipeline huấn luyện phân tán.
  • 21 weak labels: Mỗi ảnh được gán kèm 21 nhãn phụ, hỗ trợ học đa nhãn.
  • DINOv2 embeddings: Embedding đã được tính sẵn từ mô hình DINOv2, tiết kiệm bước tính toán.
  • Hơn 10 triệu mẫu: Phạm vi dữ liệu lớn, phù hợp cho huấn luyện mô hình thị giác mạnh.
  • Hỗ trợ mltcroissant: Dễ dàng tích hợp vào công cụ phân mô tả dữ liệu.
  • Apache 2.0 license: Miễn phí sử dụng cho cả mục đích học thuật và thương mại.

💡 Vì sao đáng chú ý

Bộ dữ liệu này khác với ImageNet truyền thống ở chỗ sử dụng 21 nhãn yếu (weak labels) thay vì một nhãn chính, phù hợp cho các nghiên cứu về học đa nhãn hoặc học bán giám sát. Việc kết hợp WebDataset và embedding DINOv2 giúp rút ngắn thời gian chuẩn bị dữ liệu, đặc biệt hữu ích khi huấn luyện mô hình thị giác quy mô lớn.


#ImageNet #WebDataset #DINOv2 #MultiLabel #MachineLearning #TiniX

Dự án tương tự

Khám phá các dự án và mô hình AI khác có sự tương đồng.

Dataset
fka/prompts.chat

a.k.a. Awesome ChatGPT Prompts This is a Dataset Repository mirror of prompts.chat — a social platform for AI prompts. 📢 Notice This Hugging Face dataset is a mirror. For the latest prompts, features, and community contributions, please visit: 🌐 Website: prompts.chat 📦 GitHub: github.com/f/awesome-chatgpt-prompts About prompts.chat is an open-source platform where users can share, discover, and collect AI prompts from the community. The project can… See the full description on the dataset page: https://huggingface.co/datasets/fka/prompts.chat.

♥0
27.4k
Oct 26, 2026
Dataset
wikimedia/wikipedia

Dataset Card for Wikimedia Wikipedia Dataset Summary Wikipedia dataset containing cleaned articles of all languages. The dataset is built from the Wikipedia dumps (https://dumps.wikimedia.org/) with one subset per language, each containing a single train split. Each example contains the content of one full Wikipedia article with cleaning to strip markdown and unwanted sections (references, etc.). All language subsets have already been processed for recent dump… See the full description on the dataset page: https://huggingface.co/datasets/wikimedia/wikipedia.

♥0
289.7k
Jan 9, 2024
Dataset
cais/hle

[!NOTE] IMPORTANT: Please help us protect the integrity of this benchmark by not publicly sharing, re-uploading, or distributing the dataset. Humanity's Last Exam 🌐 Website | 📄 Paper | GitHub Center for AI Safety & Scale AI Humanity's Last Exam (HLE) is a multi-modal benchmark at the frontier of human knowledge, designed to be the final closed-ended academic benchmark of its kind with broad subject coverage. Humanity's Last Exam consists of 2,500 questions across dozens… See the full description on the dataset page: https://huggingface.co/datasets/cais/hle.

♥0
28.3k
Jan 20, 2026
Dataset
XiaomiMiMo/MiMo-V2.6-RL-oss

Agentic RL Environments RL training environments for LLM agents. Domain Task Family Verifier Code Software engineering Executable tests Cyber Vulnerability reproduction Rule checks General Knowledge work Rubric-based judging Visual Web development Visual grading Music Symbolic music composition Rule checks Docker images: https://hub.docker.com/r/xiaomimimo/mimo-v2.6-rl-oss Training code: https://github.com/XiaomiMiMo/verl

♥0
251.1k
Oct 20, 2026
Dataset
gaia-benchmark/GAIA

GAIA dataset GAIA is a benchmark which aims at evaluating next-generation LLMs (LLMs with augmented capabilities due to added tooling, efficient prompting, access to search, etc). We added gating to prevent bots from scraping the dataset. Please do not reshare the validation or test set in a crawlable format. Data and leaderboard GAIA is made of more than 450 non-trivial question with an unambiguous answer, requiring different levels of tooling and autonomy to… See the full description on the dataset page: https://huggingface.co/datasets/gaia-benchmark/GAIA.

♥0
9.8k
Oct 28, 2025
Dataset
HuggingFaceTB/cosmopedia

Cosmopedia v0.1 Image generated by DALL-E, the prompt was generated by Mixtral-8x7B-Instruct-v0.1 Note: Cosmopedia v0.2 is available at smollm-corpus User: What do you think "Cosmopedia" could mean? Hint: in our case it's not related to cosmology. Mixtral-8x7B-Instruct-v0.1: A possible meaning for "Cosmopedia" could be an encyclopedia or collection of information about different cultures, societies, and topics from around the world, emphasizing diversity and global… See the full description on the dataset page: https://huggingface.co/datasets/HuggingFaceTB/cosmopedia.

♥0
25.2k
Aug 12, 2024
Dataset
BAAI/Infinity-Instruct

Infinity Instruct Beijing Academy of Artificial Intelligence (BAAI) [Paper][Code][🤗] The quality and scale of instruction data are crucial for model performance. Recently, open-source models have increasingly relied on fine-tuning datasets comprising millions of instances, necessitating both high quality and large scale. However, the open-source community has long been constrained by the high costs associated with building such extensive and high-quality instruction… See the full description on the dataset page: https://huggingface.co/datasets/BAAI/Infinity-Instruct.

♥0
2.0k
Dec 4, 2025
Modelsentence-similarity
sentence-transformers/all-MiniLM-L6-v2

all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...

♥0
190.2M
Jun 1, 2026
Dataset
Anthropic/hh-rlhf

Dataset Card for HH-RLHF Dataset Summary This repository provides access to two different kinds of data: Human preference data about helpfulness and harmlessness from Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback. These data are meant to train preference (or reward) models for subsequent RLHF training. These data are not meant for supervised training of dialogue agents. Training dialogue agents on these data is likely… See the full description on the dataset page: https://huggingface.co/datasets/Anthropic/hh-rlhf.

♥0
35.2k
May 26, 2023