Vương quốc Anh
neomatrix369/nlp_profiler
A simple NLP library allows profiling datasets with one or more text columns. When given a dataset and a column name containing text data, NLP Profiler will return either high-level insights or low-level/granular statistical information about the text in that column.
📊 NLP Profiler: Pandas Profiling nhưng dành riêng cho dữ liệu văn bản
Thư viện NLP nhẹ, biến bất kỳ cột văn bản nào trong dataset thành hàng trăm tính năng thống kê chỉ bằng một dòng lệnh.
NLP Profiler là một thư viện Python đơn giản nhưng mạnh mẽ, cho phép bạn "profiling" các dataset chứa một hoặc nhiều cột văn bản. Khi nhận vào một DataFrame và tên cột chứa văn bản, nó trả về cả thông tin sâu cấp (chi tiết thống kê từng dòng) và cấp cao (phân tích cảm xúc, độ khó đọc, kiểm tra chính tả/ngữ pháp...). Đây là phiên bản dành riêng cho văn bản của pandas.describe() hoặc Pandas Profiling.
✨ Điểm nổi bật
- Cột đầu vào: Nhận một Pandas Series chứa văn bản.
- Cột đầu ra: Trả về DataFrame mới với nhiều tính năng thống kê cho từng dòng.
- Phân tích cấp cao: Phân tích cảm xúc, độ khách quan/chủ quan, kiểm tra chính tả, kiểm tra ngữ pháp, độ dễ đọc.
- Phân tích cấp thấp: Số ký tự, số từ, số emoji, số câu, v.v.
- Thống kê mô tả: Sử dụng
pandas.describe()trên DataFrame kết quả để rút ra những thống kê tổng thể. - Hỗ trợ môi trường: Dễ dàng chạy trên Jupyter Lab, Google Colab, Kaggle.
- Mở rộng được: Dựa trên các thư viện NLP phổ biến, có thể thay thế hoặc thêm thư viện khác.
- Bản ghi nhãn: Cung cấp notebook mẫu minh họa cách sử dụng.
💡 Vì sao đáng chú ý
NLP Profiler nổi bật bởi khả năng tự động chuyển đổi dữ liệu văn bản thành hàng trăm tính năng số học một cách nhanh chóng, giúp tiết kiệm thời gian cho việc khám phá và tiền xử lý dữ liệu. Thay vì phải viết tay từng hàm phân tích, người dùng chỉ cần gọi apply_text_profiling(dataset, 'text_column') và nhận ngay kết quả. Thư viện phù hợp với các nhà phân tích dữ liệu và kỹ sư ML làm việc với dữ liệu văn bản, đặc biệt trong các dự án Kaggle hoặc nghiên cứu ban đầu.
#NLP #Python #MachineLearning #DataScience #TextMining #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.
Natural Language Processing (NLP). Covering topics such as Tokenization, Part Of Speech tagging (POS), Machine translation, Named Entity Recognition (NER), Classification, and Sentiment analysis.
:book: A curated list of resources dedicated to Natural Language Processing (NLP)
CoreNLP: A Java suite of core NLP tools for tokenization, sentence segmentation, NER, parsing, coreference, sentiment analysis, etc.
package lingo provides the data structures and algorithms required for natural language processing
Natural Language Processing for the next decade. Tokenization, Part-of-Speech Tagging, Named Entity Recognition, Syntactic & Semantic Dependency Parsing, Document Classification
🤗 The largest hub of ready-to-use datasets for AI models with fast, easy-to-use and efficient data manipulation tools