hiDaDeng/cntext

📊 cntext: Thư viện phân tích văn bản xã hội học bằng tiếng Trung

cntext cung cấp công cụ đo lường các khái niệm tâm lý xã hội từ văn bản bằng cách sử dụng tiếp cận chiếu ngữ nghĩa (WEPA) dựa trên lý thuyết.

cntext là một thư viện Python thiết kế cho các nhà nghiên cứu khoa học xã học máy tính làm việc với dữ liệu văn bản. Thư viện hỗ trợ đọc tệp, phân tích dựa trên từ điển, thống kê tần suất từ, độ đọc hiểu, độ tương đồng, nhúng từ, chiếu ngữ nghĩa, vẽ đồ thị, và phân tích văn bản có hỗ trợ LLM.

✨ Điểm nổi bật

• Đọc tệp đa dạng: hỗ trợ đọc PDF, DOCX, YAML, và tệp tin văn bản với tự động phát hiện mã hóa.
• Phân tích từ điển: cung cấp các từ điển cảm xúc và khái niệm bằng tiếng Trung và tiếng Anh.
• Thống kê từ và độ đọc: tính tần suất từ và độ đọc dễ hiểu của văn bản.
• Cảm xúc theo cảm trị: phân tích cảm xúc dựa trên từ điển cảm xúc khác nhau.
• Nhúng từ (Word2Vec, GloVe): huấn luyện và đánh giá mô hình nhúng từ.
• Chiếu ngữ nghĩa WEPA: đo lường mức độ liên quan của văn bản đến một khái niệm thông qua trục ngữ nghĩa.
• Hỗ trợ LLM: phân tích văn bản có cấu trúc sâu hơn bằng LLM.
• Tích hợp đồ thị: vẽ biểu đồ phân bố từ và cảm xúc văn bản.

💡 Vì sao đáng chú ý

cntext khác biệt nhờ tiếp cận WEPA (Word Embedding Projection Approach), cho phép người dùng định nghĩa trục ngữ nghĩa từ từ khóa tích cực và tiêu cực, sau đó chiếu văn bản lên trục này để đo lường mức độ liên quan. Đây là cách tiếp cận lý thuyền hóa để đo lường các khái niệm tâm lý như kiên trì, tránh né, v.v. từ văn bản người dùng. Phù hợp với nghiên cứu xã học, tâm lý học, và phân tích mạng xã hội bằng tiếng Trung.

#Python #NLP #SentimentAnalysis #Word2Vec #TextMining #SocialScience #TiniX