czy1999/weibo-topic-spider

🤖 Công cụ crawl đề tài Weibo đa chức năng

Crawl Weibo siêu đề tài + phân tích từ + cảm xúc + phân loại đơn giản.

Dự án weibo-topic-spyder của czy1999, công cụ crawl dữ liệu từ Weibo bao gồm cả đề tài thường và siêu đề tài. Hỗ trợ thống kê tần suất từ, phân tích cảm xúc và phân loại cơ bản. Dữ liệu sau khi crawl sẽ được lưu tự động vào file Excel.

✨ Điểm nổi bật

• Crawl đề tài thường: Hỗ trợ crawl đề tài có dạng #chủ đề#.
• Crawl siêu đề tài: Crawl dữ liệu từ các siêu đề tài Weibo.
• Lưu ra Excel: Dữ liệu mỗi bài viết được lưu thành một dòng trong file Excel.
• Thống kê từ: Sử dụng thư viện jieba để phân tích và thống kê tần suất từ.
• Phân tích cảm xúc: Tích hợp API của Baidu AI để phân tích cảm xúc.
• Hỗ trợ đăng nhập bằng cookie: Dùng cookie để đăng nhập dễ dàng khi cần crawl nhiều đề tài.

💡 Vì sao đáng chú ý

Dự án sử dụng Selenium để mô phỏng trình duyệt đăng nhập và crawl dữ liệu, đảm bảo hiệu quả cao. Với giới hạn của Weibo, mỗi đề tài có thể lấy được khoảng 8000 bài viết tối đa. Phiên bản này cũng hỗ trợ crawl dữ liệu liên quan đến dịch bệnh, phù hợp cho nghiên cứu thời sự.

---

#Weibo #Crawler #Python #SentimentAnalysis #TiniX