soda-inria/nanotabicl

🧠 NanoTabICL: Bản sao cách điệu của TabICLv2 trong dưới 170 dòng code

Một bản reimplementation tối gọn, nhanh và mang tính giáo dục của TabICLv2, kèm prior sinh dữ liệu tabular.

NanoTabICL là một dự án nguồn mở cung cấp cách cài đặt ngắn gọn (dưới 170 dòng code) của kiến trúc TabICLv2 — một mô hình học sâu cho dữ liệu bảng (tabular data). Dự án cũng bao gồm một phiên bản prior được đơn giản hóa nhưng vẫn giữ hiệu suất tốt, dùng để sinh dữ liệu huấn luyện mô hình.

✨ Điểm nổi bật

• Reimplementation TabICLv2 ngắn gọn: Chỉ dưới 170 dòng code, dễ đọc và dễ hiểu.
• Hỗ trợ cả phân loại và hồi quy: Mô hình có thể dùng cho cả bài toán phân loại (với max_classes > 0) và hồi quy (với max_classes = 0 và out_dim = 999 quantiles).
• Tối ưu tốc độ: Áp dụng các tối ưu như RoPE nhanh và được cache, QASSMax, v.v.
• Standardization nội tại: Dữ liệu đầu vào X được chuẩn hóa nội tại dựa trên tập huấn luyện.
• Nanoprior sinh dữ liệu: Cung cấp prior được đơn giản hóa để sinh dữ liệu tabular phục vụ huấn luyện.

💡 Vì sao đáng chú ý

NanoTabICL khác với các dự án tương tự như nanoTabPFN ở chỗ nó cài đặt đầy đủ kiến trúc TabICLv2 chứ không phải TabPFN, đồng thời hỗ trợ cả hồi quy — một tính năng thiếu ở một số bản cài đặt khác. Dự án phù hợp cho nghiên cứu, giáo dục và phát triển mô hình foundation cho dữ liệu bảng một cách nhanh chóng và hiệu quả.

#TabICLv2 #TabularDeepLearning #FoundationModels #OpenSource #TiniX