nvidia/nemotron-ocr-v2
Nemotron OCR v2 Model Overview Description Nemotron OCR v2 is a state-of-the-art multilingual text recognition model designed for robust end-to-end optical character recognition (OCR) on complex real-world images. It integrates three core neural net...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tuần
#1 Repository Của Tháng
🔍 Nemotron OCR v2: OCR đa ngôn ngữ end-to-end từ NVIDIA
Mô hình OCR thương mại-ready tích hợp detector, recognizer và relational model để nhận diện chữ và phân tích layout trên ảnh thực tế.
Nemotron OCR v2 là mô hình nhận diện ký tự quang học (OCR) đa ngôn ngữ của NVIDIA, thiết kế cho nhận diện end-to-end trên ảnh phức tạp. Mô hình kết hợp ba module: detector để định vị vùng chữ, recognizer để chuyển chữ viết thành văn bản, và relational model để phân tích layout, thứ tự đọc và mối quan hệ giữa các phần tử. Nó thuộc NVIDIA NeMo Retriever, hướng đến latency thấp, throughput cao và có thể dùng thương mại.
✨ Điểm nổi bật
- OCR end-to-end: detector, recognizer và relational model được huấn luyện jointly.
- Đa ngôn ngữ: hỗ trợ tiếng Anh, Trung, Nhật, Hàn, Nga, Tây Ban Nha, Pháp, Đức, Italy, Hà Lan, Bồ Đào Nha.
- Hai biến thể: v2_english tối ưu cho tiếng Anh; v2_multilingual hỗ trợ nhiều ngôn ngữ với xử lý theo dòng.
- Phân tích layout: relational model dự đoán nhóm logic, thứ tự đọc và quan hệ layout.
- Kiến trúc hybrid: detector dùng RegNetX-8GF, recognizer dùng Transformer pre-norm, relational model là module quan hệ toàn cục.
- Đầu vào linh hoạt: ảnh RGB PNG/JPEG, đơn ảnh hoặc batch, tự động resize đa tỷ lệ.
- Dùng cho RAG/agentic: phù hợp trích xuất văn bản cho retrieval, RAG pipeline và ứng dụng agentic.
- Sẵn sàng thương mại: được NVIDIA công bố để sử dụng thương mại.
💡 Vì sao đáng chú ý
Điểm khác biệt là mô hình không chỉ nhận diện chữ mà còn phân tích cấu trúc và thứ tự đọc của văn bản trên ảnh. Điều này hữu ích cho tài liệu nhiều cột, cảnh thực tế và pipeline trích xuất dữ liệu cần giữ ngữ cảnh layout. Với hai biến thể và số tham số khác nhau, người dùng có thể chọn giữa hiệu suất tiếng Anh và khả năng đa ngôn ngữ.
#OCR #Multilingual #NVIDIA #NeMoRetriever #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
LTX-2.5 — Video, Audio & World Simulation Full control and customization — self-host on your infrastructure. Homepage Docs GitHub Research API Playground Discord LTX License LTX-2.5 — Video, Audio & World Simulation Full control and customiz...
GLM-OCR 👋 Join our WeChat and Discord community 📍 Use GLM-OCR's API 👉 GLM-OCR SDK Recommended 📖 Technical Report Introduction GLM-OCR is a multimodal OCR model for complex document understanding, built on the GLM-V encoder–decoder architecture....
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
XLM-RoBERTa (base-sized model) XLM-RoBERTa model pre-trained on 2.5TB of filtered CommonCrawl data containing 100 languages. It was introduced in the paper Unsupervised Cross-lingual Representation Learning at Scale(https://arxiv.org/abs/1911.02116)...
Multilingual-E5-large Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 24 layers and the embedding size is...
Multilingual-E5-small Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 12 layers and the embedding size is...
OmniVoice 🌍 OmniVoice is a massively multilingual zero-shot text-to-speech (TTS) model supporting over 600 languages. Built on a novel diffusion language model-style architecture, it delivers high-quality speech w...