lixi5338619/lxSpider

🕷️ Bộ sưu tập ví dụ crawler lớn nhất nhắm vào các nền tảng Trung Quốc

Hơn 1.970 sao — bộ mã nguồn crawler bao phủ hầu hết mọi nền tảng web và app phổ biến tại Trung Quốc, từ thương mại điện tử đến mạng xã hội, video, tuyển dụng.

lxSpider là kho mã nguồn Python tập hợp hàng trăm ví dụ crawler thực tế, bao phủ các nền tảng như Taobao, JD, Tmall, Douyin, Kuaishou, Weibo, WeChat, PDD, Youku, iQiyi, Ctrip, 12306, Xiaohongshu, Zhihu, Douban và nhiều hơn nữa. Dự án do tác giả lixi5338619 biên soạn, kèm theo blog cá nhân, sách chuyên ngành và loạt video hướng dẫn trên Bilibili.

✅ Điểm nổi bật

• Phạm vi bao quát rộng: Crawler cho gần 30 loại nền tảng khác nhau — thương mại điện tử, mạng xã hội, video ngắn, sách điện tử, tuyển dụng, bất động sản, vé xe, báo cáo học thuật.
• Kỹ thuật bypass anti-scraping: Bao gồm phân tích sign (taobao h5-sign, douyin xgorgon, youku sign), decode dynamic font (選哪儿网), protobuf protocol (Wanfang), và phân tích slider captcha (数美).
• Mã nguồn thực tế: Mỗi ví dụ đi kèm code có thể chạy được, không chỉ lý thuyết.
• Nhiều loại target: Web crawler, app reverse engineering (安卓逆向), WeChat public account article scraping,弹幕采集.
• Hướng dẫn đi kèm: Blog CSDN, blog cá nhân lxspider.com, sách《爬虫逆向进阶实战》kèm 140 phút video, và khóa học trên Bilibili.
• Framework hỗ trợ: Đề xuất asyncpy — framework crawler async/await để tăng hiệu suất.
• Phân loại rõ ràng: Mỗi case được tổ chức theo thư mục riêng biệt (抖音, 微博, 京东, 招标, 论文, 小说...).

💡 Vì sao đáng chú ý

Điểm mạnh của lxSpider không nằm ở số lượng case mà ở chất lượng kỹ thuật đằng sau mỗi ví dụ. Thay vì chỉ viết request đơn giản, dự án đi sâu vào việc reverse-engineer các cơ chế bảo vệ của từng nền tảng — từ việc sinh signature phức tạp, decode font động, đến phân tích giao thức protobuf. Đây đúng là bộ tài liệu thực tế cho ai muốn hiểu cách các nền tảng lớn chống lại bot và cách crawler bypass chúng.

Dự án phù hợp cho người đã có nền tảng Python, muốn bước vào lĩnh vực web scraping ở cấp độ nâng cao — đặc biệt là các kỹ thuật xử lý anti-bot, reverse engineering app mobile, và phân tích network protocol.

#Python #Crawler #WebScraping #ReverseEngineering #AntiBot #TiniX