soda-inria/tabicl

🚀 TabICLv2: Mô hình foundation tabular đạt state-of-the-art mà không cần tuning

TabICLv2 đạt độ chính xác vượt trội so với XGBoost, CatBoost, LightGBM đã được tuning trên ~80% dataset TabArena — chỉ với một lần gọi fit/predict.

TabICLv2 là implementation chính thức của mô hình foundation mã nguồn mở cho dữ liệu bảng (tabular), hỗ trợ cả phân loại và hồi quy. Phát triển bởi Nhóm SODA tại INRIA, dự án này không chỉ đạt kết quả tốt nhất trên các bản thử nghiệm lớn như TabArena và TALENT mà còn cực kỳ dễ sử dụng: cài đặt qua pip, tuân thủ giao diện scikit-learn, và thực hiện fit + predict trong một lượt truyền (forward pass) duy nhất thông qua một mô hình transformer được pretrained.

✨ Điểm nổi bật

• SOTA mà không cần tuning: Vượa trội hằng trăm mô hình truyền thống đã được tuning trên TabArena.
• Cài đặt đơn giản: pip install tabicl, tuân thủ scikit-learn.
• Tốc độ vượt trội: Trên H100, xử lý 50.000 mẫu và 100 đặc trưng trong dưới 10 giây — nhanh 10x TabPFN-2.5.
• KV caching: Tận toàn tốc độ inference lặp lại bằng cách lưu cache key-value từ dữ liệu training.
• Mở rộng linh hoạt: Hỗ trợ dataset lên đến 100.000 mẫu và 2.000 đặc trưng; hỗ trợ offloading CPU/disk cho dataset lớn hơn.
• Open source toàn bộ: Bao gồm code pretraining (v1), checkpoint, và giấy phép cho phép sử dụng thương mại.
• Hỗ trợ nhiều task: Phân loại, hồi quy, forecasting (thời gian), và giải thích SHAP.
• Tính toán đa dạng thiết bị: Tự động chọn CUDA, CPU, hoặc MPS (Apple Silicon).

💡 Vì sao đáng chú ý

TabICLv2 khác biệt so với các mô hình bảng truyền thống (XGBoost, CatBoost, LightGBM) ở chỗ nó sử dụng kiến trúc transformer pretrained thông qua in-context learning — tức là mô hình học cách tổng quát hóa từ các task khác nhau trong quá trình pretraining, sau đó áp dụng trực tiếp lên task mới mà không cần retraining hay tuning. Điều này giúp giảm đáng kể chi phí phát triển mô hình so với các phương pháp truyền thống cần tuning thủ công từng hyperparameter.

Nhờ thiết kế này, TabICLv2 phù hợp cho các ứng dụng cần triển khai nhanh trên nhiều domain khác nhau — từ tài chính, y tế đến marketing — nơi thời gian tuning mô hình là một rào cản lớn. Với tính năng KV caching và hỗ trợ offloading, mô hình cũng linh hoạt mở rộng với dataset lớn mà không cần thay đổi kiến trúc.

#TabICL #FoundationModel #TabularData #MachineLearning #OpenSource #TiniX