peak/s5cmd

🚀 s5cmd: Công cụ S3 Siêu Tốc, Xử Lý Hàng Nghìn Tệp Như Trò Chơi

s5cmd nhanh hơn 32x so với s3cmd và 12x so với aws-cli khi tải lên, đồng thời khả năng tải xuống có thể bão hòa đường truyền 40Gbps.

s5cmd là một công cụ thực thi S3 và hệ thống tệp địa phương rất nhanh, được viết bằng ngôn ngữ Go. Dự án hỗ trợ nhiều thao tác như liệt kê, tải lên, tải xuống, xóa, di chuyển, sao chép, đổi tên đối tượng, cùng với hỗ trợ tab completion, wildcard và chạy lệnh hàng loạt — lý tưởng cho quy trình làm việc lưu trữ đối tượng với số lượng lớn tệp.

✨ Điểm nổi bật

• Tốc độ vượt trội: Nhanh 32x so với s3cmd, 12x so với aws-cli khi upload; tải xuống có thể đạt tới 4.3 GB/s.
• Hỗ trợ wildcard đa cấp: Liệt kê và lọc đối tượng S3 theo tiền tố, thực hiện thao tác song song.
• Chạy lệục lệnh theo tệp: Hỗ trợ thực thi hàng loạt lệnh với tốc độ cao.
• Tự động hoàn thiện shell: Hỗ trợ tab completion trên bash, zsh, fish.
• Hỗ trợ nhiều dịch vụ: Tương thích với Google Cloud Storage và bất kỳ dịch vụ nào tuân thủ API S3.
• Ghi log có cấu trúc: Cho phép truy vấn kết quả lệnh dưới dạng JSON.
• Hỗ trợ S3 Transfer Acceleration: Tăng tốc truyền dữ liệu qua mạng.
• Dry run: Kiểm tra lệnh trước khi thực thi thực sự.

💡 Vì sao đáng chú ý

s5cmd không chỉ là một công cụ CLI thay thế cho aws-cli hay s3cmd — nó được tối ưu hiệu năng từ đầu bằng Go, kết hợp kiến trục xử lý song song và lập lịch thông minh. Điều này giúp nó vượt trội rõ rệt so với các công cụ truyền thống, đặc biệt khi làm việc với số lượng lớn tệp hoặc yêu cầu tốc độ cao như pipeline CI/CD, sao lưu dữ liệu lớn hoặc đồng bộ lưu trữ đám mây.

#S3 #CLI #GoLang #ObjectStorage #DevTools #CloudStorage #TiniX