vyraun/Half-Size

🧠 Giảm chiều embedding một cách hiệu quả — chỉ bằng một nửa kích thước

Kết hợp PCA và post-processing để rút ngắn embedding mà không mất hiệu năng.

Đây là mã nguồn của nghiên cứu "Effective Dimensionality Reduction for Word Embeddings", được trình bày tại NIPS 2017 (LLLD Workshop) và xuất bản tại ACL 2019. Dự án nhằm giải quyết vấn đề embedding quá lớn gây khó khăn trên thiết bị có bộ nhớ hạn chế, đồng thời vẫn duy trì chất lượng biểu diễn ngữ nghĩa.

✨ Điểm nổi bật

• PCA + Post-processing: Kết hợp giảm chiều PCA với thuật toán hậu xử lý để tối ưu embedding.
• Giảm 50% kích thước: Rút ngắn embedding một nửa mà vẫn đạt hiệu suất tương đương hoặc tốt hơn.
• Đánh giá trên 12 bộ dữ liệu tương đồng từ: Đảm bảo chất lượng không bị suy giảm sau khi giảm chiều.
• Hỗ trợ GloVe và FastText: Chạy trực tiếp với các embedding phổ biến.
• Tái tạo kết quả chuẩn: Các script như algo.py, pca_simple.py, ppa_pca.py, pca_ppa.py giúp lặp lại đúng như trong bài báo.
• Dùng cho bất kỳ kích thước nào: Không nhất thiết phải giảm một nửa — có thể tùy chỉnh tùy nhu cầu.
• Tích hợp SentEval: Dễ dàng đánh giá cả vector câu bằng công cụ từ Facebook.

💡 Vì sao đáng chú ý

Thay vì áp dụng PCA truyền thống gây mất thông tin, phương pháp này kết hợp một bước hậu xử lý thông minh, giúp giữ lại các tính chất ngữ nghĩa trọng nhất của embedding. Đây là lựa chọn lý tưởng cho các ứng dụng NLP chạy trên thiết bị di động hoặc môi trường có giới hạn bộ nhớ, nơi kích thước mô hình cần được tối ưu mà không hy sinh hiệu năng.

---

#DimensionalityReduction #WordEmbedding #PCA #NIPS2017 #ACL #TiniX