knowledgator/gliformer-large-v1
GLiFormer Large v1 One encoder for PDF layout processing, entity recognition, classification, relation extraction, structured records, and text embeddings. !GLiFormer supported tasks(gliformer-tasks.gif) knowledgator/gliformer-large-v1 is the 575.6M...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tuần
#2 Repository Của Tháng
🧠 GLiFormer Large v1: Một encoder đa nhiệm cho PDF layout và trích xuất thông tin
GLiFormer Large v1 kết hợp nhiều tính năng xử lý tài liệu thành một mô hình duy nhất, hỗ trợ cả layout PDF và các nhiệm vụ NLP truyền thống.
GLiFormer Large v1 (knowledgator/gliformer-large-v1) là phiên bản lớn với 575.6 triệu tham số của khung GLiFormer. Mô hình sử dụng task labels và schemas trích xuất tại thời điểm suy luận, với các task heads chia sẻ một encoder DeBERTa. Kiến trúc aware-layout hỗ trợ cả đầu vào văn bản và layout tài liệu; các ví dụ và kết quả chất lượng tập trung vào nhiệm vụ văn bản.
✨ Điểm nổi bật
- Đa nhiệm đơn encoder: xử lý PDF layout, NER, phân loại, trích xuất quan hệ, cấu trúc dữ liệu và embedding văn bản.
- DeBERTa encoder chung: các task heads chia sẻ một bộ mã hóa, tối ưu hiệu suất.
- Nhận task labels linh hoạt: chỉ định entity types, classes hoặc schemas tại thời gian inference.
- Hỗ trợ batch inference: truyền danh sách văn bản với batch_size để xử lý hàng loạt.
- Cài đặt đa dạng: hỗ trợ cài qua pip hoặc từ nguồn với Python 3.10+, kèm kernel CUDA tùy chọn.
- Kết quả đánh giá mạnh: F1 lên tới 50.91 trên NER, 75.03 trên phân loại, 91.10 trên cấu trúc đa cấp.
- Hỗ trợ schema lồng nhau: sử dụng Pydantic models để tạo bản ghi JSON phức tạp.
- Embedding văn bản: sinh vector đại diện 1024 chiều cho các tác vụ tương đồng.
💡 Vì sao đáng chú ý
Không giống các mô hình chuyên biệt cho từng nhiệm vụ, GLiFormer tích hợp toàn bộ pipeline trích xuất thông tin vào một encoder, giảm đáng kể chi phí triển khai và inference. Đặc biệt phù hợp với các hệ thống cần xử lý tài liệu đa dạng (PDF, văn bản) đồng thời yêu cầu NER, phân loại và cấu trúc dữ liệu trong một luồng xử lý thống nhất.
#GLiFormer #DeBERTa #StructuredExtraction #HuggingFace #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
WikiNEuRal: Combined Neural and Knowledge-based Silver Data Creation for Multilingual NER This is the model card for the EMNLP 2021 paper WikiNEuRal: Combined Neural and Knowledge-based Silver Data Creation for Multilingual NER(https://aclanthology....
BERT base model (uncased) Pretrained model on English language using a masked language modeling (MLM) objective. It was introduced in this paper(https://arxiv.org/abs/1810.04805) and first released in this repository(https://github.com/google-resear...
OpenAI Privacy Filter OpenAI Privacy Filter is a bidirectional token-classification model for personally identifiable information (PII) detection and masking in text. It is intended for high-throughput data sanitization workflows where teams need a...
bert-base-NER If my open source models have been useful to you, please consider supporting me in building small, useful AI models for everyone (and help me afford med school / help out my parents financially). Thanks! Model description bert-base-NER...
Contact william (at) integrinet dot org Piiranha-v1: Protect your personal information! Piiranha (cc-by-nc-nd-4.0 license) is trained to detect 17 types of Personally Identifiable Information (PII) across six languages. It successfully catches 98.27...