Jacen789/HotNewsAnalysis

📊 Phân tích tin nóng bằng kỹ thuật khai phá văn bản

Hệ thống crawl 3 nguồn tài chính, gom nhóm bằng DBSCAN, dùng TextRank chọn tiêu đề đại diện, rồi word2vec + k-Means rút tên người/ ngành/ tổ chức.

HotNewsAnalysis là dự án Python dùng text mining để phân tích các vấn đề liên quan đến tin tức nóng. Hệ thống crawl các trang tài chính (Sina Finance, Sohu Finance, Xinhua Finance) bằng API và crawler đa luồng, sau đó thực hiện chuỗi xử lý: tiền xử lý văn bản, trích đặc trưng, gom nhóm, trích thông tin.

✨ Điểm nổi bật

• Crawl đa nguồn tài chính: dùng API, crawler, đa luồng crawl song song từ 3 trang tài chính lớn.
• Tiền xử lý văn bản: jieba phân từ, tự động gỡ stopword, loại trùng, lọc thời gian.
• Gom nhóm DBSCAN: TF-IDF trích đặc trưng, DBSCAN gom nhóm tin, sắp xếp theo kích thước lớp.
• Trích tiêu đề TextRank: dùng TextRank xếp thứ tự tiêu đề, chọn tiêu đề quan trọng nhất làm mô tả chủ đề.
• word2vec + k-Means: huấn luyện mô hình word2vec trên toàn bộ nội dung, dùng k-Means gom nhóm từ khóa trong từng cụm để tìm người/ ngành/ tổ chức liên quan.
• Tùy chỉnh từ điển: thêm user từ điển, stopword từ điển, disambiguation từ điển để tăng độ chính xác phân từ.
• Giao diện trực quan: hệ thống hiển thị giao diện đồ họa để người dùng truy cập kết quả dễ dàng.

💡 Vì sao đáng chú ý

Dự án kết hợp nhiều kỹ thuật NLP phổ biến (jieba, TF-IDF, DBSCAN, TextRank, word2vec) thành một pipeline hoàn chỉnh từ crawl đến trích thông tin, giúp tự động hoá quá trình phân tích hot news. Phù hợp cho ứng dụng giám sát xu hướng tin tức tài chính hoặc hệ thống đề xuất tin tức dựa trên chủ đề nóng.

#TextMining #NewsAnalysis #ClusterAnalysis #Word2Vec #TiniX