natasha/navec

🚀 Navec: Nhúng từ Tiếng Nga nhẹ, nhanh, chất lượng cao

Navec = Dữ liệu văn bản Tiếng Nga lớn + GloVe cơ bản + Lượt hóa lượng tử hóa

Navec là thư viện chứa các bộ nhúng từ (word embeddings) Tiếng Nga đã được huấn luyện sẵn. Phát triển bởi nhóm Natasha, Navec mang lại kết quả cạnh tranh hoặc tốt hơn so với các mô hình trên RusVectores, đồng thời tải nhanh gần 10 lần (~1 giây) và chiếm ít không gian hơn khoảng 10 lần (~50MB).

✨ Điểm nổi bật

• Tải nhanh: Chỉ mất khoảng 1 giây để tải mô hình vào bộ nhớ.
• Tiết kiệm dung lượng: Mô hình chỉ chiếm khoảng 50MB trên đĩa.
• Chất lượng cao: Đạt kết quả cạnh tranh hoặc tốt hơn so với các mô hình nổi tiếng như RusVectores.
• Lượt hóa lượng tử hóa: Giảm số chiều từ 300 xuống còn 100 thông qua kỹ thuật nén.
• Hai mô hình phụ trợ: hudlit (50MB) cho văn bản văn học và news (25MB) cho tin tức.
• Hỗ trợ PyTorch: Tích hợp dễ dàng thông qua module Slovnet.
• Từ vựng lớn: Hỗ trợ lên đến 500.000 từ cộng với <unk> và <pad>.

💡 Vì sao đáng chú ý

Navec khác biệt nhờ sự kết hợp giữa kiến trúc GloVe truyền thống và lượt hóa lượng tử hóa thông minh. Điều này giúp giảm đáng kể kích thước mô hình mà vẫn duy trì chất lượng đại diện ngữ nghĩa. Với thời gian tải siêu nhanh và dung lượng nhỏ gọn, Navec rất phù hợp để triển khai trên môi trường có giới hạn tài nguyên hoặc trong các ứng dụng thực tế cần xử lý ngôn ngữ tự nhiên bằng Tiếng Nga.

#NLP #WordEmbeddings #RussianLanguage #GloVe #Quantization #TiniX