ModelEngine-Group/unified-cache-management

💾 KV Cache不再 "đánh rơi" — UCM giữ lại và tái sử dụng cho mọi lần suy luận

Offload KV Cache ra storage ngoài, đọc lại khi cần — thay vì tính toán lại từ đầu.

Unified Cache Manager (UCM) là framework C++ do ModelEngine-Group phát triển, giải quyết bài toán KV Cache phình to và lãng phí GPU memory khi suy luận LLM trên chuỗi dài. Thay vì mỗi request mới lại tính toán lại toàn bộ, UCM persist KV Cache ra các lớp lưu trữ bên ngoài (SSD, NFS, HBM, DRAM) rồi retrieve lại khi có request trùng prefix hoặc cần sparse attention. Dự án tích hợp trực tiếp với vLLM và vLLM-Ascend, đạt giảm độ trễ suy luận 3-10x trên nhiều kịch bản thực tế.

✨ Điểm nổi bật

• Prefix Caching: lưu và tái sử dụng KV Cache cho các request có chung tiền tố, tránh lặp lại tính toán vô ích
• Sparse Attention pluggable: framework mở cho nhiều thuật toán sparse attention khác nhau (training-free), mỗi thuật toán plug-in qua base class UcmSparseBase giống plugin architecture
• KVStoreBase abstraction: tách biệt thuật toán sparse khỏi backend lưu trữ — bất kỳ thuật toán nào cũng hoạt động với bất kỳ storage nào (NFS, filesystem local, SSD)
• PD Disaggregation: tách biệt Prefill và Decode sang các tài nguyên tính toán riêng, quản lý tài nguyên heterogenous linh hoạt hơn
• Cache Blend & Model Window Extrapolation: hỗ trợ trộn cache từ nhiều nguồn và extrapolation beyond training window
• Prefill Offload: đẩy giai đoạn prefill ra ngoài GPU khi cần, giải phóng VRAM cho decode batch lớn hơn
• Tích hợp vLLM: hook vào scheduler và layer.py của vLLM 0.9.2+, bổ sung component mới mà không phá vỡ kiến trúc gốc
• Hỗ trợ hardware đa dạng: CUDA (NVIDIA), NPU (Ascend), với các lớp memory từ GPU HBM đến DRAM đến NFS/SSD

💡 Vì sao đáng chú ý

Bài toán KV Cache offload không mới, nhưng cách tiếp cận của UCM đáng chú ý ở chỗ nó xây dựng một framework chung thay vì çözüm riêng lẻ cho từng sparse algorithm. Giấy tờ nghiên cứu gần đây chỉ ra rằng không có thuật toán sparse nào phù hợp mọi scenario — UCM giải quyết điều này bằng cách định nghĩa rõ ràng base class cho sparse algorithm, cho storage, và cho manager, để bất kỳ algorithm mới nào cũng chỉ cần plug-in thay vì viết lại toàn bộ pipeline.

Với việc tích hợp sẵn vLLM và hỗ trợ cả thiết bị Ascend NPU lẫn NVIDIA GPU, UCM phù hợp cho các đội ngũ đang chạy inference LLM quy mô lớn, đặc biệt trong multi-turn dialogue và long-context reasoning — nơi KV Cache chiếm phần lớn GPU memory và việc tái sử dụng cache giúp giảm đáng kể chi phí tính toán.

#LLM #KVCache #vLLM #InferenceOptimization #OpenSource #TiniX