shengqiangzhang/examples-of-web-crawlers

🤖 Hơn 20 ví dụ crawler Python thực tế, thân thiện với người mới

Tập trung vào các trang web phổ biến như Taobao, Tmall, Douban, Tianyancha... kết hợp Selenium, PyQuery và Requests.

Đây là kho lưu trữ mở nguồn chứa nhiều ví dụ về web crawler bằng Python, được thiết kế với mã nguồn dễ đọc và chú thích chi tiết. Dự án hướng đến người mới bắt đầu muốn học cách crawl dữ liệu từ các trang web phổ biến như Taobao, Tmall, WeChat, Douban, QQ...

✨ Điểm nổi bật

• Đăng nhập mô phỏng: Sử dụng Selenium để tự động đăng nhập Taobao/Tmall thông qua Weibo.
• Crawl sản phẩm: Lấy dữ liệu sản phẩm từ trang TMall đã đăng nhập.
• Lịch sử mua hàng: Crawl danh sách mặt hàng đã mua trên Taobao.
• Nhắn tin tự động: Gửi tin nhắn định thời đến vợ/chủ qua WeChat.
• Crawl hình nền: Tải hình nền 5K chất lượng cao từ Pap.er.
• Phân tích phim: Crawl dữ liệu phim từ Douban bao gồm cả giao diện GUI.
• Dữ liệu tài chính: Crawl dữ liệu cổ phiếu và quỹ từ Tianyancha bằng đa luồng và proxy pool.

💡 Vì sao đáng chú ý

Dự án không chỉ cung cấp mã nguồn mà còn hướng dẫn chi tiết cách cài đặt môi trường, đường dẫn chromedriver và cấu hình tài khoản. Đây là nguồn học tập rất hữu ích cho người mới muốn nhanh chóng thực hành với các kỹ thuật crawl thực tế. Các ví dụ được cập nhật liên tục và phù hợp với nhu cầu học tập cá nhân hoặc dự án nhỏ.

#Python #WebCrawler #Selenium #PyQuery #OpenSource #TiniX