deep-symbolic-mathematics/llm-srbench

🧪 LLM-SRBench: Bài kiểm tra thực chiến khám phá phương trình khoa học cho LLM

Benchmark chuẩn ICML 2025 Oral với 239 bài toán từ 4 lĩnh vực khoa học, thiết kế để đánh gighia khả năng tìm kiếm phương trình biểu tượng mà không bị gian lận hóa thạch

LLM-SRBench là kho lưu trữ chính thức cho bài báo cùng tên (ICML 2025 Oral), cung cấp một bộ chuẩn toàn diện gồm 239 bài toán thách thức thuộc bốn lĩnh vực khoa học: vật lý, hóa học, sinh học và vật liệu. Mục tiêu là đánh giá các phương pháp khám phá phương trình khoa học dựa trên LLM một cách có hệ thống, đồng thời ngăn chặn hiện tượng học thuộc nhớ thông qua việc chuyển đổi các mô hình vật lý phổ biến sang dạng toán học ít phổ biến hơn.

✨ Điểm nổi bật

• 239 bài toán chuẩn: Phạm vi rộng từ vật lý, hóa học, sinh học đến vật liệu, đảm bảo đánh giá toàn diện.
• LSR-Transform: Kiểm tra khả năng lý luận bằng cách biến đổi mô hình vật lý sang dạng toán học khác biệt.
• LSR-Synth: Tập trung vào bài toán khám phá từ dữ liệu, đòi hỏi tư duy dựa trên bằng chứng.
• Hỗ trợ đa phương pháp: Tích hợp sẵn LLM-SR, LaSR, SGA và phương pháp trực tiếp.
• Tự động tải dữ liệu: Dữ liệu được tải tự động từ Hugging Face, tiết kiệm công sở chỉnh cài đặt.
• Cấu hình linh hoạt: Hỗ trợ chạy trên máy chủ LLM cục bộ (ví dụ: vLLM) hoặc model qua OpenAI API.
• Tiếp tục từ lần chạy trước: Hỗ trợ tiếp tục đánh giá từ thư mục log đã có bằng --resume_from.

💡 Vì sao đáng chú ý

Khác biệt với các benchmark truyền thống chỉ kiểm tra kết quả cuối cùng, LLM-SRBench tập trung vào quá trình suy nghĩ và lý luận của LLM thông qua hai thiết kế đột phá: chuyển đổi cấu trúc phương trình (LSR-Transform) để tránh học thuộc nhớ và đưa ra bài toán sinh học khó (LSR-Synth) yêu cầu khai thác dữ liệu. Đây là công cụ lý tưởng để nghiên cứu và phát triển LLM trong lĩnh vực khám phá kiến thức khoa học, đặc biệt hữu ích cho các nhà nghiên cứu AI for Science.

#AI4Science #SymbolicRegression #LLMBenchmark #ICML2025 #TiniX