Python3Spiders/WeiboSuperSpider
微博爬虫及配套工具箱，微博用户、话题、评论采集一网打尽。图片下载、情感分析，地理位置、关系网络、spammer 机器人识别等功能应有尽有。Docs：https://buyixiao.github.io/blog/weibo-super-spider.html 配套可视化网站：https://buyixiao.github.io/blog/one-stop-weibo-visualization.html
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🕷️ WeiboSuperSpider: Công cụ crawl Weibo đa năng
WeiboSuperSpider là bộ sưu tập các spider Weibo hỗ trợ thu thập dữ liệu người dùng, chủ đề, bình luận và nhiều tính năng phân tích khác.
WeiboSuperSpider là một dự án Python cung cấp các công cụ crawl Weibo toàn diện, bao gồm thu thập thông tin người dùng, chủ đề, bình luận, tải ảnh, phân tích cảm xúc, định vị địa lý, xây dựng mạng lưới quan hệ và phát hiện Spammer. Dữ liệu được lưu trữ dưới định dạng CSV có thể mở bằng Excel, không phụ thuộc vào bất kỳ cơ sở dữ liệu nào. Mỗi tính năng đều được triển khai trong một tệp riêng biệt, độc lập với các tính năng khác.
✨ Điểm nổi bật
- Thu thập người dùng Weibo: Lấy thông tin chi tiết từ hồ sơ người dùng Weibo.
- Crawl chủ đề Weibo: Theo dõi và thu thập bài đăng từ các chủ đề cụ thể.
- Lấy bình luận: Thu thập mọi bình luận từ một bài đăng.
- Tải ảnh: Tự động tải xuống tất cả hình ảnh liên quan đến người dùng hoặc bài đăng.
- Phân tích cảm xúc: Phân tích cảm xúc của nội dung bài đăng hoặc bình luận.
- Định vị địa lý: Trích xuất thông tin vị trí địa lý từ dữ liệu Weibo.
- Mạng lưới quan hệ: Xây dựng đồ thị mối quan hệ theo dõi và người theo dõi.
- Phát hiện Spammer: Nhận diện tài khoản bot hoặc Spammer.
💡 Vì sao đáng chú ý
WeiboSuperSpider nổi bật bằng thiết kế độc lập của từng tính năng, giúp người dùng dễ dàng sử dụng mà không cần lo lắng về các phụ thuộc phức tạp. Dự án cũng đi kèm với tài liệu hướng dẫn chi tiết và công cụ trực tuyến hỗ trợ crawl dữ liệu mà không cần cài đặt môi trường. Đây là lựa chọn lý tưởng cho những người mới học về crawl dữ liệu và phân tích Weibo.
#Weibo #Spider #Crawler #Python #DataAnalysis #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
The agent harness performance optimization system. Skills, instincts, memory, security, and research-first development for Claude Code, Codex, Opencode, Cursor and beyond.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
🙃 A delightful community-driven (with 2,500+ contributors) framework for managing your zsh configuration. Includes 300+ optional plugins (rails, git, macOS, hub, docker, homebrew, node, php, python, etc), 140+ themes to spice up your morning, and an auto-update tool that makes it easy to keep up with the latest updates from the community.
:zap: A distributed crawler for weibo, building with celery and requests.