nghuyong/WeiboSpider

🚀 WeiboSpider: Công cụ thu thập Weibo mạnh mẽ bằng Python

Công cụ thu thập dữ liệu Sina Weibo liên tục được bảo trì, xây dựng trên API mới của weibo.com với thông tin chi tiết nhất.

WeiboSpider là một dự án mã nguồn mở bằng Python, sử dụng framework Scrapy để thu thập dữ liệu từ Sina Weibo. Dự án hỗ trợ nhiều chế độ thu thập khác nhau như thông tin người dùng, bài viết, danh sách người theo dõi, danh sách đang theo dõi, bình luận, chuyển tiếp và tìm kiếm theo từ khóa. Dữ liệu thu thập được lưu dưới định dạng JSONL vào thư mục output.

✨ Điểm nổi bật

• Xây dựng trên API mới: Dựa trên weibo.com API mới nhất, hỗ trợ lấy nhiều trường thông tin chi tiết nhất.
• Đa dạng chế độ thu thập: Hỗ trợ thu thập thông tin người dùng, bài viết, người theo dõi, đang theo dõi, bình luận, chuyển tiếp và tìm kiếm theo từ khóa.
• Mã nguồn gọn gàng: Chỉ với khoảng 100 dòng code lõi, dự án dễ đọc và có thể tùy biến nhanh chóng theo nhu cầu.
• Kết quả mẫu phong phú: Cung cấp ví dụ JSON chi tiết cho từng loại dữ liệu thu thập.

💡 Vì sao đáng chú ý

WeiboSpider nổi bật bởi sự kết hợp giữa tính đơn giản và hiệu quả. Với lượng code nhỏ nhưng tính năng đầy đủ, dự án phù hợp cho cả người mới và phát triển viên kinh nghiệm. Việc sử dụng Scrapy giúp quá trình thu thập ổn định và dễ dàng mở rộng. Đặc biệt, dự án hỗ trợ proxy IP để vượ qua giới hạn truy cập, giúp thu thập dữ liệu hiệu quả hơn.

#WeiboSpider #Scrapy #Python #WebCrawler #TiniX