finalfusion/finalfusion-rust

📦 finalfusion-rust: Thư viện nhúng từ đa năng cho Rust

Hỗ trợ đọc, ghi và sử dụng các dạng nhúng từ trong Rust, bao gồm cả định dạng nội bộ finalfusion và các định dạng phổ biến như fastText, GloVe, word2vec.

finalfusion là một crate Rust cho phép người dùng đọc, ghi và sử dụng các nhúng từ (embeddings). Nó tích hợp sẵn hỗ trợ nhiều định dạng phổ biến trong lĩnh vực NLP như finalfusion, fastText, floret, GloVe và word2vec. Dự án đã ổn định API kể từ phiên bản 0.11.0 và tiếp tục phát triển để cập nhật các dependency như ndarray và rand.

✨ Điểm nổi bật

• Hỗ trợ nhiều định dạng: Bao gồm finalfusion, fastText, floret, GloVe và word2vec.
• Quản lý từ vựng linh hoạt: Hỗ trợ cả từ vựng có phụ đề (subwords) và không có phụ đề.
• Lưu trữ đa dạng: Hỗ trợ lưu trữ dưới dạng mảng (array), bộ nhớ ánh xạ (memory-mapped) và lượng tử hóa (quantized).
• Truy vấn ngữ nghĩa: Cung cấp chức năng truy vấn độ tương đồng và truy vấn tương đương ngữ nghĩa.
• Hỗ trợ lượng tử hóa: Tích hợp thư viện reductive để nén và tối ưu hóa kích thước nhúng từ.
• Chuyển đổi định dạng: Cho phép chuyển đổi giữa các định dạng finalfusion, word2vec và GloVe.
• Tích hợp BLAS/LAPACK: Hỗ trợ tăng tốc tính toán thông qua kết nối với thư viện BLAS hoặc LAPACK.

💡 Vì sao đáng chú ý

finalfusion nổi bật bởi khả năng hỗ trợ đa dạng định dạng nhúng từ phổ biến trong NLP, đồng thời cung cấp các tính năng nâng cao như lượng tử hóa và truy vấn ngữ nghĩa. Đặc biệt, việc sử dụng bộ nhớ ánh xạ (memory mapping) giúp giảm đáng kể thời gian tải ban đầu và tiết kiệm bộ nhớ khi làm việc với các ma trận nhúng lớn. Dự án phù hợp cho các ứng dụng NLP yêu cầu hiệu suất cao và quy mô lớn.

#Embeddings #Rust #NLP #Word2Vec #FastText #GloVe #TiniX