nvidia/quality-classifier-deberta
NemoCurator Quality Classifier DeBERTa Model Overview This is a text classification model that can enable qualitative data annotation, creation of quality-specific blends and addition of metadata tags. The model classifies documents into one of thre...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#2 Repository Của Tuần
#2 Repository Của Tuần
#2 Repository Của Tháng
🧠 Phân loại chất lượng văn bản bằng DeBERTa từ NVIDIA
Mô hình phân loại chất lượng văn bản dựa trên kiến trúc DeBERTa V3, giúp lọc và gán nhãn chất lượng nội dung tự động.
Đây là mô hình phân loại văn bản do NVIDIA phát triển, sử dụng kiến trúc DeBERTa V3 Base để phân loại tài liệu thành ba lớp: "High", "Medium", "Low". Mô hình được huấn luyện trên dữ liệu được chú thích bởi con người, dựa trên các tiêu chí như độ chính xác nội dung, độ rõ ràng, mạch lạc, ngữ pháp, độ sâu thông tin và tính hữu ích.
✨ Điểm nổi bật
- Phân loại 3 cấp độ chất lượng: High, Medium, Low dựa trên chất lượng tài liệu.
- Kiến trúc DeBERTa V3 Base: Sử dụng kiến trúc hiện đại với độ dài ngữ cảnh 1024 token.
- Huấn luyện trên 22.828 mẫu: Dữ liệu từ Common Crawl được gán nhãu bởi con người.
- Đánh giá đạt 82.5% độ chính xác: Trên tập đánh giá gồm 7.128 mẫu.
- Hỗ trợ Hugging Face Transformers: Dễ dàng tích hợp vào pipeline xử lý ngôn ngữ tự nhiên.
- Sử dụng trong NeMo Curator: Là một phần của mô-đun lọc chất lượng.
💡 Vì sao đáng chú ý
Mô hình không chỉ đơn thuần là bộ phân loại, mà còn cung cấp cách nhìn có hệ thống về chất lượng văn bản thông qua các tiêu chí được con người xác định. Điều này giúp các nhà phát triển dễ dàng xây dựng hệ thống lọc dữ liệu tự động, tạo ra các bộ dữ liệu có chất lượng cao hơn cho các tác vụ NLP khác nhau.
#DeBERTa #TextClassification #NVIDIA #NeMoCurator #MachineLearning #HuggingFace #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
NemoCurator Content Type Classifier DeBERTa Model Overview This is a text classification model designed to categorize documents into one of 11 distinct speech types based on their content. It analyzes and understands the nuances of textual informati...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
NemoCurator Prompt Task and Complexity Classifier Model Overview This is a multi-headed model which classifies English text prompts across task types and complexity dimensions. Tasks are classified across 11 common categories. Complexity is evaluate...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
BERT base model (uncased) Pretrained model on English language using a masked language modeling (MLM) objective. It was introduced in this paper(https://arxiv.org/abs/1810.04805) and first released in this repository(https://github.com/google-resear...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...