wamdam/backy2

🧱 backy2 — Backup khối deduplicating cho Ceph/RBD, sẵn sàng quy mô petabyte

Giải pháp backup khối tự deduplicating, nén zstd, mã hóa mặc định, tận dụng rbd diff để backup 600 GB chỉ trong ~30 giây.

backy2 là dự án backup khối (block-based) do tác giả phát triển tại công ty hosting của mình, sau khi nhận thấy thiếu hụt giải pháp tin cậy cho backup dựa trên snapshot ở quy mô nhiều terabyte đến petabyte. Dự án tập trung vào Ceph/RBD và LVM, hỗ trợ backup đến S3 hoặc NFS, đồng thời cung cấp scrub tích hợp để phát hiện bitrot. Hiện tại dự án ở chế độ bảo trì tối thiểu (feature complete, ổn định) nhưng code Python vẫn tương thích tốt các phiên bản mới.

✨ Điểm nổi bật

• Deduplicating khi đọc: chỉ ghi khối một lần nếu checksum SHA-512 trùng khớp, giảm dung lượng backup đáng kể.
• Nén zstd mặc định: nén tất cả khối dữ liệu với thư viện zstandard, cân bằng hiệu năng và tỷ lệ nén.
• Mã hóa mặc định quản lý phiên bản: mọi khối đều được mã hóa, hỗ trợ migration và re-keying theo phiên bản nguyên thủy.
• Backup nhanh nhờ rbd diff: chỉ đọc khối thay đổi kể từ backup trước; ví dụ 600 GB VM backup ~30 giây, băng thông <70 MB/s.
• Backup/restore có thể tiếp tục: nếu lưu trữ đích hoặc mạng gián đoạn, tiến trình tự tiếp tục khi phục hồi.
• Băng thông đích tối thiểu: chỉ ghi khối thay đổi; khối toàn \0 được deduplicating trước khi đến đích.
• CLI đơn giản như cp, an toàn khi restore: lệnh ít, --help rõ ràng, không ghi đè file/RBD volume trừ khi --force, chặn xóa backup mới mặc định.
• Scrub chống bitrot có/không cần dữ liệu gốc: checksum đi kèm mỗi khối; scrub mẫu (ví dụ 16%/ngày) hoặc đầy đủ, đánh dấu khối sai lệch "invalid" và đọc lại lần sau.
• Restore thưa (sparse) trên Ceph/RBD: bỏ qua khối rỗng/all-zero khi restore, tiết kiệm thời gian và IO.
• Song song hóa backup, scrub, restore: ít khóa toàn cục, có thể chạy nhiều tác vụ cùng lúc trên cùng máy.
• Không làm đầy cache hệ thống: dùng posix_fadvise/FADV_DONTNEED để kernel giải phóng buffer sau khi xử lý.
• Hiệu quả RAM/CPU ở quy mô lớn: thường <1 GB RAM cho multi-TB VM; cấu hình hàng đợi qua backy.cfg cho 200 TB+ image.

💡 Vì sao đáng chú ý

backy2 giải quyết bài toán backup khối quy mô lớn bằng cách kết hợp deduplicating tại nguồn, nén zstd, mã hóa mặc định và tận dụng rbd diff của Ceph để chỉ xử lý khối thay đổi — giảm thiểu băng thông, thời gian và tài nguyên. Kiến trúc cho phép backup, scrub, restore chạy song song mà ít xung đột khóa, phù hợp môi trường production chạy liên tục. Scrub tích hợp với checksum mỗi khối cho phép phát hiện bitrot trên lưu trữ đích mà không cần dữ liệu gốc, và cơ chế đánh dấu "invalid" tự động đọc lại khối ở bản backup tiếp theo. CLI thiết kế tối giản, an toàn (chống ghi đè, chặn xóa nhầm) giúp restore thành công ngay cả dưới áp lực. Dù bảo trì tối thiểu, code ổn định, feature complete và đã chứng minh qua nhiều năm backup/restore production.

---

#Backup #Ceph #RBD #Deduplication #OpenSource #TiniX