ianycxu/GCN-with-BERT
Graph Convolutional Networks (GCN) with BERT for Coreference Resolution Task [Pytorch][DGL]
🔍 Kết hợp R-GCN + BERT: Giải mã đại từ mơ hồ giới tính chuẩn GAP
Đạt kết quả vượt trội (F1 từ 66.9% lên 80.3%) trên bài toán coreference đại từ mơ hồ mà không cần fine-tune BERT.
Dự án GCN-with-BERT kết hợp mạng lưới Graph Convolutional Network (R-GCN) với mô hình ngôn ngữ đại diện BERT, nhằm giải quyết bài toán coreference resolution — xác định xem một đại từ (ví dụ: "anh ấy", "cô ấy") trong câu/mẫu văn bản tham chiếu đến danh từ nào trong đoạn văn. Dự án tập trung vào bài toán đặc thù của các đại từ mơ hồ về giới tính (gendered ambiguous pronouns) bằng cách sử dụng bộ dữ liệu GAP.
✨ Điểm nổi bật
- R-GCN + BERT: Kết hợp Relational Graph Convolutional Network với BERT để học biểu diễn ngữ nghĩa và cú pháp tốt hơn.
- Không cần fine-tune BERT: Sử dụng trực tiếp trọng số BERT đã được huấn luyện trước, tiết kiệm chi phí tính toán.
- Quản lý cú pháp bằng DGL: Dùng DGL chuyển cây phụ thuộc từ SpaCy thành đồ thị để phản ánh cấu trúc cú pháp câu.
- Huấn luyện theo batch: Hỗ trợ nhóm nhiều đồ thị DGL thành một batch lớn để tối ưu hiệu năng huấn luyện.
- Đạt kết quả SOTA trên GAP: Verb trung bình F1 đạt 80.3%, vượa trội so với baseline BERT.
- Dữ liệu cân bằng giới tính: Sử dụng dataset GAP gồm 8908 mẫu từ Wikipedia, mỗi mẫu chứa một đoạn văn và hai ứng viên tham chiếu tiềm năng cho đại từ.
💡 Vì sao đáng chú ý
Khác biệt với các phương pháp dùng BERT để xử lý trực tiếp, đây là cách tiếp cận dựa trên cấu trúc đồ thị để khai thác thông tin cú pháp sâu. R-GCN học các biểu diễn đặc thù cho bài toán dựa trên cây phụ thuộc, giúp mô hình nắm bắt mối quan hệ tham chiếu chính xác hơn. Phương pháp này phù hợp cho các bài toán NLP liên quan đến coreference resolution, đặc biệt khi cần xử lý đại từ mơ hồ và giới tính trong văn bản.
#NLP #GCN #BERT #CoreferenceResolution #GAP #GraphNeuralNetworks #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
PyTorch Geometric Temporal: Spatiotemporal Signal Processing with Neural Machine Learning Models (CIKM 2021)
A PyTorch implementation of "Graph Convolutional Networks for Text Classification." (AAAI 2019)
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
BERT base model (uncased) Pretrained model on English language using a masked language modeling (MLM) objective. It was introduced in this paper(https://arxiv.org/abs/1810.04805) and first released in this repository(https://github.com/google-resear...
Non-autoregressive System 1 decision engine. Typed choice, score and yes/no decisions over any text in a single forward pass, in 100+ languages, with a router that picks the right checkpoint per request.