metasequoiaime/chinese-ime-lm

🧠 Mô hình ngôn ngữ cho bàn phím tiếng Việt: nhẹ, nhanh, đo lường được

Hai nhánh paralell: n-gram (KenLM + Viterbi) và Transformer (neural reranker), dùng chung bộ eval để so sánh trực tiếp.

Dự án chinese-ime-lm cung cấp đầy đủ: corpus xử lý, mô hình thống kê, mô hình neural, và bộ đánh giá chuẩn. Tập trung vào việc lựa chọn đúng từ/ký tự từ danh sách ứng viên do bộ giải mã pinyin đưa ra.

✨ Điểm nổi bật

• Hai nhánh paralell: n-gram qua KenLM + Viterbi; neural qua Transformer reranker.
• Bộ eval chung: 25.119 dòng từ + 60 câu, đo lường trực tiếp.
• So sánh thực tế: 4 mô hình Qwen, kết quả trong noise — sai lệch nhỏ cần hàng nghìn mẫu.
• Trọng số nhỏ gọn: 4.5MB (pinyin-ime-reranker-4M) và 25.5MB (25M).
• Zero unsafe Rust: implementation tham chiếu, tốc độ cao.
• License linh hoạt: Apache-2.0 cho reference/, GPL-3.0 cho phần còn lại.
• Corpus fetch.py: tự động tải C4 (ODC-BY), LCCC (MIT).

💡 Vì sao đáng chú ý

Không phải lúc nào cũng cần mô hình lớn. Mô hình reranker 4.5MB đạt kết quả tương đương Qwen 0.6B/0.8B nhưng nhỏ hơn 140–380 lần, quyết định nhanh hơn mười mấy lần. Phù hợp cho thiết bị edge, bàn phím di động, hoặc bất kỳ hệ thống nào cần tốc độ và kích thước nhỏ.

#ChineseIME #InputMethod #LanguageModel #Ngram #Transformer #Rust #TiniX