United States
kenqgu/Text-GCN
A PyTorch implementation of "Graph Convolutional Networks for Text Classification." (AAAI 2019)
🧠 Text-GCN: Phân loại văn bản bằng Graph Convolutional Network
Một implement PyTorch của giấy "Graph Convolutional Networks for Text Classification" (AAAI 2019), xây dựng đồ thị văn bản duy nhất để học embedding cho cả từ và tài liệu.
Text-GCN là implement PyTorch của nghiên cứu đề xuất dùng Graph Convolutional Networks (GCN) cho phân loại văn bản. Thay vì dùng CNN truyền thống trên lưới tuần tự, dự án xây dựng một đồ thị văn bản dựa trên độ đồng xuất hiện của từ và mối quan hệ giữa tài liệu và từ, sau đó huấn luyện mạng GCN để học đồng thời embedding cho cả từ và tài liệu. Mô hình khởi tạo bằng one-hot và được giám sát bởi nhãn lớp của tài liệu.
✨ Điểm nổi bật
- One-hot khởi tạo: Không cần embedding từ bên ngoài, mô hình tự học embedding từ và tài liệu.
- Đồ thị văn bản đơn: Xây dựng một đồ thị duy nhất cho toàn bộ corpus dựa trên độ đồng xuất hiện từ và quan hệ tài liệu-từ.
- Học đồng thời embedding: Học embedding cho cả từ (green nodes) và tài liệu (red nodes) trong cùng một mạng.
- Siêu học qua nhãn tài liệu: Sử dụng nhãn lớp của tài liệu để đưa hướng học cho toàn bộ đồ thị.
- Bất kể dữ liệu huấn luyện ít: Hiệu quả cải thiện lớn hơn khi dùng ít dữ liệu huấn luyện.
- Hỗ trợ nhiều dataset: Bao gồm dataset twitter chống phân biệt đối xử châu Á, Reuters-8 và AG's News.
- Cấu hình linh hoạt: Điều chỉnh model và dataset qua file config.py, hỗ trợ tracking bằng comet.ml.
💡 Vì sao đáng chú ý
Text-GCN khác biệt vì không dựa vào embedding từ bên ngoài như Word2Vec hay GloVe mà vẫn vượt trội so với các phương pháp truyền thống. Điều này chứng tỏ khả năng biểu diễn đồ thị văn bản có tiềm năng lớn. Đặc biệt, mô hình vẫn duy trì hiệu suất tốt ngay cả khi lượng dữ liệu huấn luyện giảm, cho thấy tính vững chắc trong thực tế.
#TextGCN #GraphConvolutionalNetworks #TextClassification #PyTorch #MachineLearning #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
Ultralytics YOLO27, YOLO26, YOLO11, YOLOv8 — object detection, instance segmentation, semantic segmentation, image classification, pose estimation, object tracking
Implement a ChatGPT-like LLM in PyTorch from scratch, step by step
Learn how to develop, deploy and iterate on production-grade ML applications.
🧑🏫 60+ Implementations/tutorials of deep learning papers with side-by-side notes 📝; including transformers (original, xl, switch, feedback, vit, ...), optimizers (adam, adabelief, sophia, ...), gans(cyclegan, stylegan2, ...), 🎮 reinforcement learning (ppo, dqn), capsnet, distillation, ... 🧠
🧑🏫 60+ Implementations/tutorials of deep learning papers with side-by-side notes 📝; including transformers (original, xl, switch, feedback, vit, ...), optimizers (adam, adabelief, sophia, ...), gans(cyclegan, stylegan2, ...), 🎮 reinforcement learning (ppo, dqn), capsnet, distillation, ... 🧠