RealSR/SciLaws-Bench
SciLaws-Bench Data for Can LLMs Discover Scientific Laws in Real and Parallel Worlds? 118 scientific law-discovery problems curated from 381 papers, covering 291 candidate laws and ~8.2M real measurements across six disciplines. Every problem comes from active, data-driven literature where the published law still leaves room for improvement — not from textbook equations. Code and harness: https://github.com/yiyihum/SciLaws-Bench Project page:… See the full description on the dataset page: https://huggingface.co/datasets/RealSR/SciLaws-Bench.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Ngày
#1 Repository Của Ngày
#1 Repository Của Ngày
🔬 SciLaws-Bench: Thử thách LLM khám phá luật khoa học từ dữ liệu thực tế
Bộ benchmark 118 bài toán từ 381 cây bài báo, 291 ứng cử viên luật, ~8.2M mẫu đo đạc, xuyên 6 lĩnh vực — nơi mỗi luật công bố còn chỗ cần cải tiến.
SciLaws-Bench là một dataset benchmark được thiết kế để kiểm chứng khả năng khám phá luật khoa học của các mô hình ngôn ngữ lớn (LLM), đặc biệt là trong bối cảnh symbolic regression và scientific discovery. Khác với các bài toán dựa trên công thức giáo khoa, SciLaws-Bench lấy nguồn từ các nghiên cứu khoa học đang hoạt động, nơi các luật đã đăng tải vẫn chưa phải là tối ưu hoàn hảo. Dataset này bao gồm 118 bài toán được chọn lọc từ 381 cây bài báo, phản ánh 291 ứng cử viên tiềm năng và khoảng 8.2 triệu mẫu đo đạc thực tế.
✨ Điểm nổi bật
- Hai chế độ đánh giá: SciLaws-Real (đưa ra luật từ dữ liệu cố định) và SciLaws-Parallel (tương tác qua simulator với cơ chế biến thể mới).
- Điểm số chuẩn hoá: SciLaws-Real dùng S_N (0.5–1.0) cho độ phù hợp số và S_V cho tính hợp lệ khoa học; SciLaws-Parallel dùng S_S (0–1.0) cho khả năng phục hồi cấu trúc.
- Phạm vi đa ngành: Bao phủ 6 lĩnh vực — Trái Đất & Vật lý, Sinh thái & Thủy lực, Thiên văn, Vật liệu & Kỹ thuật, Khoa học xã hội, Sinh học — với 118 tác vụ.
- Cấu trúc phân loại: 66 tác vụ Type I (một luật toàn cục) và 52 tác vụ Type II (một hàm số chung, tham số riêng theo nhóm).
- Simulator chuẩn: Tất cả 118 tác vụ đều đi kèm simulator đã hiệu chuẩn, hỗ trợ chế độ Parallel.
- Cấu trúc tệ tin rõ ràng: Mỗi tác vụ chứa metadata.yaml, dữ liệu train/test, eval (rubric, metrics tham chiếu) và simulator (state.joblib, formula.py).
- Bản quyền linh hoạt: Mỗi tác vụ tuân theo giấy phép của nguồn dữ liệu gốc, ghi nhận chi tiết trong LICENSES.md.
- Tích hợp công cụ: Hỗ trợ tải về qua Hugging Face CLI và cung cấp code harness trên GitHub để đánh giá.
💡 Vì sao đáng chú ý
Khác biệt với các benchmark symbolic regression truyền thống thường dùng công thức giả định sẵn, SciLaws-Bench lấy dữ liệu trực tiếp từ văn phòng bản thảo khoa học thực tế, nơi mỗi luật công bố đều là một ước lượng chưa tối ưu. Điều này buộc các mô hình phải vừa học được mối quan hệ tốt hơn, vừa đảm bảo tính giải thích được kiểm chứng bởi các nhà khoa học. Hai chế độ Real và Parallel cung cấp cách tiếp cận đối lập nhau: một kiểm tra khả năng khám phá từ dữ liệu thực, một thử nghiệm khả năng tổng quát hóa thông qua simulator — giúp đánh giá toàn diện hơn.
#ScientificDiscovery #SymbolicRegression #LLMBenchmark #OpenScience #TiniX
Similar Projects
Discover other similar projects and AI models.
[ICLR 2025 Oral] This is the official repo for the paper "LLM-SR" on Scientific Equation Discovery and Symbolic Regression with Large Language Models
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
!FLUX.1 dev Grid(./devgrid.jpg) FLUX.1 dev is a 12 billion parameter rectified flow transformer capable of generating images from text descriptions. For more information, please read our blog post(https://blackforestlabs.ai/announcing-black-forest-la...
MiniMax H3 Repackaged model files for ComfyUI. Original model repository: https://huggingface.co/MiniMaxAI/MiniMax-H3 Place the files in the following folders: 📂 ComfyUI/ ├── 📂 models/ │ ├── 📂 diffusionmodels/ │ │ ├── minimaxh3fl2vabf16.safetenso...
🐋 The OpenOrca Dataset! 🐋 We are thrilled to announce the release of the OpenOrca dataset! This rich collection of augmented FLAN data aligns, as best as possible, with the distributions outlined in the Orca paper. It has been instrumental in generating high-performing model checkpoints and serves as a valuable resource for all NLP researchers and developers! Official Models Mistral-7B-OpenOrca Our latest model, the first 7B to score better overall than all… See the full description on the dataset page: https://huggingface.co/datasets/Open-Orca/OpenOrca.
Dataset containing synthetically generated (by GPT-3.5 and GPT-4) short stories that only use a small vocabulary. Described in the following paper: https://arxiv.org/abs/2305.07759. The models referred to in the paper were trained on TinyStories-train.txt (the file tinystories-valid.txt can be used for validation loss). These models can be found on Huggingface, at roneneldan/TinyStories-1M/3M/8M/28M/33M/1Layer-21M. Additional resources: tinystories_all_data.tar.gz - contains a superset of… See the full description on the dataset page: https://huggingface.co/datasets/roneneldan/TinyStories.
Dataset Card for "wikitext" Dataset Summary The WikiText language modeling dataset is a collection of over 100 million tokens extracted from the set of verified Good and Featured articles on Wikipedia. The dataset is available under the Creative Commons Attribution-ShareAlike License. Compared to the preprocessed version of Penn Treebank (PTB), WikiText-2 is over 2 times larger and WikiText-103 is over 110 times larger. The WikiText dataset also features a far… See the full description on the dataset page: https://huggingface.co/datasets/Salesforce/wikitext.
Dataset Card for ImageNet Dataset Summary ILSVRC 2012, commonly known as 'ImageNet' is an image dataset organized according to the WordNet hierarchy. Each meaningful concept in WordNet, possibly described by multiple words or word phrases, is called a "synonym set" or "synset". There are more than 100,000 synsets in WordNet, majority of them are nouns (80,000+). ImageNet aims to provide on average 1000 images to illustrate each synset. Images of each concept are… See the full description on the dataset page: https://huggingface.co/datasets/ILSVRC/imagenet-1k.
Dataset Card for GLUE Dataset Summary GLUE, the General Language Understanding Evaluation benchmark (https://gluebenchmark.com/) is a collection of resources for training, evaluating, and analyzing natural language understanding systems. Supported Tasks and Leaderboards The leaderboard for the GLUE benchmark can be found at this address. It comprises the following tasks: ax A manually-curated evaluation dataset for fine-grained… See the full description on the dataset page: https://huggingface.co/datasets/nyu-mll/glue.