fhamborg/news-please

📰 news-please: Công cụ thu thập tin tức thông minh từ mọi nguồn

Một công cụ thu thập và trích xuất thông tin có cấu trúc từ gần như bất kỳ trang web tin tức nào — chỉ cần vài dòng lệnh hoặc một vài dòng code.

news-please là một dự án mã nguồn mở, dễ sử dụng, kết hợp sức mạnh của nhiều thư viện hàng đầu như Scrapy, Newspaper và readability. Nó có khả năng theo dõi liên kết nội bộ và đọc các nguồn RSS để thu thập cả bài viết mới nhất lẫn bài viết lưu trữ cũ. Chỉ cần cung cấp URL gốc của trang web, news-please sẽ tự động thu thập toàn bộ nội dung.

✨ Điểm nổi bật

• Hoạt động ngay sau lắp đặt: chỉ cần cài đặt bằng pip và thêm URL — mọi thứ tự động.
• Hỗ trợ chạy qua CLI: lưu kết quả ra JSON, PostgreSQL, ElasticSearch, Redis hoặc lưu trữ tùy chỉnh.
• Sử dụng như thư viện Python: tích hợp dễ dàng vào dự án của bạn với API đơn giản.
• Hỗ trợ CommonCrawl: tải và trích xuất bài viết từ kho lưu trữ tin tức lớn của commoncrawl.org.
• Trích xuất đầy đủ thông tin: tiêu đề, đoạn dẫn, nội dung chính, hình ảnh, tác giả, ngày xuất bản và ngôn ngữ.
• Theo dõi thay đổi bài viết: hỗ trợ thu thập lại cùng một bài viết nhiều lần để so sánh phiên bản.

💡 Vì sao đáng chú ý

Không giống các công cụ thu thập khác yêu cầu cấu hình phức tạp, news-please được thiết kế để "chạy ngay" mà không cần bất kỳ thiết lập nào. Sự kết hợp linh hoạt giữa CLI và thư viện Python giúp nó phù hợp với cả người dùng không lập trình và nhà phát triển chuyên nghiệp. Đặc biệt, khả năng tích hợp với CommonCrawl mở ra khả năng thu thập khối lượng lớn bài viết lịch sử một cách nhanh chóng.

#NewsCrawler #DataExtraction #Python #WebCrawler #TiniX