zhangslob/awesome_crawl

🕷️ Bộ sưu tập crawler đa nền tảng với thiết kế phân tán

Tập trung vào việc thu thập dữ liệu từ các nền tảng nội dung lớn như Tencent, Zhihu, Weibo, Tumblr bằng Python. awesome_crawl là một bộ sưu tập crawler mở nguồn, hỗ trợ thu thập nội dung từ nhiều nền tảng khác nhau như Tencent News, Zhihu, Weibo, Tumblr, cũng như một crawler toàn trang web mang tính phân tán. Dự án sử dụng công nghệ như Scrapy, Redis, MongoDB để đảm bảo hiệu suất và khả năng mở rộng.

✨ Điểm nổi bật

• Tencent News: Thu thập tất cả liên kết và chi tiết tin tức từ nền tảp tin tức của Tencent.
• Zhihu Topic: Khởi đầu từ trang chủ chủ đề, thu thập ID chủ đề con trước, sau đó thu thập tất cả câu hỏi dưới mỗi chủ đề.
• Weibo Fans: Thu thập danh sách tất cả fan của các tài khoản lớn trên Weibo.
• Tumblr Spider: Tải xuống tài nguyên từ blog của bất kỳ tác giả nào trên Tumblr.
• Mzitu: Sử dụng Go để tải ảnh từ trang web meizi.
• Kan Sogou: Một crawler toàn trang web mang tính phân tán, với ví dụ về cách thu thập dữ liệu từ Sogou.

💡 Vì sao đáng chú ý

Dự án không chỉ giới hạn ở một nền tảng duy nhất mà còn hỗ trợ nhiều nền tảng khác nhau, giúp người dùng dễ dàng mở rộng và tùy chỉnh theo nhu cầu. Với thiết kế phân tán dựa trên Scrapy và Redis, awesome_crawl cho phép người dùng thu thập dữ liệu quy mô lớn một cách hiệu quả và linh hoạt.

#Python #Crawler #Scrapy #Redis #Distributed #TiniX