deep-symbolic-mathematics/TPSR
[NeurIPS 2023] This is the official code for the paper "TPSR: Transformer-based Planning for Symbolic Regression"
🔍 TPSR: Lập kế hoạch biểu tượng với Transformer và MCTS
TPSR tích hợp Monte Carlo Tree Search vào quá trình giải mã Transformer để tìm phương trình biểu tượng từ dữ liệu.
Đây là mã nguồn chính thức của bài báo công bố tại NeurIPS 2023: "Transformer-based Planning for Symbolic Regression". Dự án phát triển bởi nhóm nghiên cứu Deep Symbolic Mathematics, TPSR kết hợp kiến thức từ các mô hình Transformer đã được huấn luyện trước và cây tìm kiếm MCTS để khám phá các phương trình toán học biểu tượng một cách hiệu quả.
✨ Điểm nổi bật
- Kết hợp MCTS vào Transformer: Tích hợp Monte Carlo Tree Search vào quá trình sinh phương trình của mô hình Transformer.
- Phản hồi không khả di: Sử dụng độ chính xác và độ phức tạp của phương trình như nguồn kiến thức bên ngoài trong quá trình sinh.
- Hỗ trợ hai backbone: Hỗ trợ cả mô hình E2E SR Transformer và NeSymReS.
- Đánh giá trên nhiều bộ dữ liệu: Hỗ trợ đánh giá trên Feynman, Strogatz và Black-box từ SRBench.
- Tùy chỉnh tham số linh hoạt: Cấu hình horizon, rollout, beam size, width, UCB constant và nhiều tham số khác.
- Công cụ khám phá phương trình: Tự động khám phá các phương trình toán học từ dữ liệu thực.
💡 Vì sao đáng chú ý
TPSR khác biệt so với các phương pháp truyền thống bằng cách sử dụng MCTS để lên kế hoạch trước trong quá trình sinh phương trình, thay vì chỉ dựa vào chiến lược giải mã truyền thống. Điều này cho phép tích hợp các phản hồi không khả dĩ như độ chính xác và độ phức tạp của phương trình, cải thiện đáng kể khả năng tìm ra các phương trình chính xác và đơn giản.
Dự án phù hợp cho các nhà nghiên cứu làm việc trong lĩnh vực khám phá phương trình, mô hình hóa khoa học và học máy biểu tượng.
#SymbolicRegression #Transformer #MCTS #NeurIPS2023 #AIforScience #TiniX
Similar Projects
Discover other similar projects and AI models.
[ICLR 2025 Oral] This is the official repo for the paper "LLM-SR" on Scientific Equation Discovery and Symbolic Regression with Large Language Models
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Implement a ChatGPT-like LLM in PyTorch from scratch, step by step
🐙 Guides, papers, lessons, notebooks and resources for prompt engineering, context engineering, RAG, and AI Agents.
🧑🏫 60+ Implementations/tutorials of deep learning papers with side-by-side notes 📝; including transformers (original, xl, switch, feedback, vit, ...), optimizers (adam, adabelief, sophia, ...), gans(cyclegan, stylegan2, ...), 🎮 reinforcement learning (ppo, dqn), capsnet, distillation, ... 🧠
🧑🏫 60+ Implementations/tutorials of deep learning papers with side-by-side notes 📝; including transformers (original, xl, switch, feedback, vit, ...), optimizers (adam, adabelief, sophia, ...), gans(cyclegan, stylegan2, ...), 🎮 reinforcement learning (ppo, dqn), capsnet, distillation, ... 🧠