Úc
chewxy/lingo
package lingo provides the data structures and algorithms required for natural language processing
📦 lingo: Thư viện NLP bằng Go, không phụ thuộc nặng, pipeline theo kênh
Một bộ công cụ NLP bằng Go với POS tagger, dependency parser và tokenizer, thiết kế theo kiến trúc kênh (channel-driven) để xây dựng pipeline xử lý ngôn ngữ tự nhiên.
lingo là một package Go cung cấp cấu trúc dữ liệu và thuật toán cần thiết cho xử lý ngôn ngữ tự nhiên (NLP). Dự án phát triển bởi chewxy, nó tập trung vào ba thành phần chính: gán nhãn từ vựng (lingo/pos), phân tích cú pháp phụ thuộc (lingo/dep), và tokenizer cơ bản (lingo/lexer) cho tiếng Anh. Ngoài ra, nó còn cung cấp cấu trúc dữ liệu để lưu trữ văn bản (lingo/corpus) và cây cú pháp (lingo/treebank). Mục tiêu của dự án là xây dựng một pipeline NLP đạt chuẩn sản xuất.
✨ Điểm nổi bật
- POS Tagger: Gán nhãn phần từ (part-of-speech) cho các từ trong câu.
- Dependency Parser: Phân tích cú pháp phụ thuộc giữa các từ.
- Tokenizer (lexer): Tách câu thành các từ dựa trên khoảng trắng với quy tắc riêng cho tiếng Anh.
- Cấu trúc dữ liệu hỗ trợ: Hỗ trợ lưu trữ văn bản (
corpus) và cây cú pháp (treebank). - Pipeline theo kênh: Kiến trúc xử lý dựa trên kênh (channel) giúp kết nối các thành phần dễ dàng.
- Hỗ trợ nhiều bộ nhãn: Hỗ trợ cả nhãn Stanford/Penn Treebank và Universal Dependencies.
- Tích hợp gorgonia: Sử dụng thư viện học máy gorgonia để hỗ trợ các mô hình NLP.
💡 Vì sao đáng chú ý
Khác với các thư viện NLP truyền thống nặng nề và phức tạp, lingo được thiết kế nhẹ nhàng với số lượng phụ thuộc bên ngoài rất ít. Kiến trúc pipeline dựa trên kênh giúp người dùng dễ dàng kết nối các thành phần xử lý. Đặc biệt, việc hỗ trợ cả hai chuẩn nhãn phổ biến (Stanford và Universal Dependencies) thông qua các thẻ biên dịch (build tags) giúp linh hoạt tùy biến cho từng nhu cầu sử dụng.
#NLP #GoLang #DependencyParsing #POSTagger #OpenSource #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models.
💥 Fast State-of-the-Art Tokenizers optimized for Research and Production
CoreNLP: A Java suite of core NLP tools for tokenization, sentence segmentation, NER, parsing, coreference, sentiment analysis, etc.
A simple NLP library allows profiling datasets with one or more text columns. When given a dataset and a column name containing text data, NLP Profiler will return either high-level insights or low-level/granular statistical information about the text in that column.