juicedata/juicefs

🚀 JuiceFS: Hệ thống tệp POSIX phân tán cho thời đại cloud-native

Kết nối lưu trữ đám mây khổng lồ trực tiếp vào big data, ML, AI và các nền tảng ứng dụng mà không cần thay đổi mã nguồn.

JuiceFS là một hệ thống tệp POSIX hiệu năng cao, phát hành dưới giấy phép Apache 2.0, được thiết kế đặc biệt cho môi trường cloud-native. Dữ liệu được lưu trữ thông qua JuiceFS sẽ được duy trì bền vững trong Object Storage (ví dụ: Amazon S3), trong khi metadata tương ứng có thể được lưu trữ trong các công cụ cơ sở dữ liệu tương thích như Redis, MySQL, và TiKV tùy thuộc vào kịch bản và yêu cầu.

✨ Điểm nổi bật

• Tương thích POSIX đầy đủ: Sử dụng như một hệ thống tệp cục bản, tích hợp liền mạch với các ứng dụng hiện có mà không làm thay đổi quy trình làm việc.
• Tương thích Hadoop hoàn toàn: Hadoop Java SDK của JuiceFS tương thích với Hadoop 2.x và 3.x cùng nhiều thành phần trong hệ sinh thái Hadoop.
• Tương thích S3: S3 Gateway cung cấp giao diện tương thích S3.
• Cloud Native: Cung cấp Kubernetes CSI Driver để dễ dàng sử dụng JuiceFS trên Kubernetes.
• Chia sẻ: Là lưu trữ tệp chia sẻ, JuiceFS cho phép hàng ngàn máy khách đọc và ghi đồng thời.
• Nhất quán mạnh mẽ: Các sửa đổi đã được xác nhận sẽ ngay lập tức hiển thị trên tất cả máy chủ gắn cùng hệ thống tệp.
• Hiệu năng xuất sắc: Độ trễ có thể thấp xuống vài mili giây, và băng thông có thể mở rộng gần như không giới hạn (tùy thuộc vào kích thước Object Storage).
• Mã hóa dữ liệu: Hỗ trợ mã hóa dữ liệu trong quá trình truyền truy cập và khi lưu trữ.
• Khóa toàn cầu: Hỗ trợ cả khóa BSD (flock) và khóa bản ghi POSIX (fcntl).
• Nén dữ liệu: Hỗ trợ nén dữ liệu bằng LZ4 hoặc Zstandard.

💡 Vì sao đáng chú ý

JuiceFS tách biệt rõ rệt giữa lưu trữ dữ liệu và metadata — dữ liệu được lưu trong Object Storage trong khi metadata được quản lý bởi Redis hoặc các engine khác, mang lại hiệu năng cao và khả năng mở rộng linh hoạt. Kiến trúc ba thành phần (Client, Data Storage, Metadata Engine) giúp hệ thống dễ dàng tích hợp vào các nền tảng khác nhau như Hadoop, Kubernetes, hoặc S3 Gateway.

#JuiceFS #CloudNative #FileSystem #DistributedSystems #TiniX