harbor-framework/terminal-bench-science

🧪 TB-Science: Benchmark AI Agent Trên Workflow Khoa Học Thực Tế

Đánh giá AI agent thực hiện workflow nghiên cứu khoa học trong terminal — bước đệm cho "Claude Code / Codex for Science".

Terminal-Bench Science (TB-Science) là benchmark đánh giá AI agent trên các workflow nghiên cứu khoa học thực tế trong môi trường terminal. Dựa trên thành công của Terminal-Bench — đã xuất hiện trên model cards của Claude Opus 4.7, GPT-5.5, Gemini 3.1 Pro — TB-Science tập trung vào workflow tính toán trong các lĩnh vực khoa học tự nhiên. Mục tiêu: thúc đẩy phát triển hệ thống AI có khả năng tự động hóa toàn bộ quy trình nghiên cứu khoa học.

✨ Điểm nổi bật

• Đánh giá trên workflow thực tế: AI agent thực hiện các tác vụ nghiên cứu khoa học trong môi trường terminal thực sự.
• Tích hợp với Terminal-Bench: Kế thừa hệ sinh thái đã được kiểm chứng từ các model lớn.
• Hỗ trợ đa lĩnh vực: Tính tới 100+ tác vụ trên các lĩnh vực sinh học, vật lý, địa chất và toán học.
• Tự động hóa kiểm thử: CI tự động kiểm tra Docker build, giải pháp mẫu, phát hiện gian lận và chạy thử đa agent.
• Rubric đánh giá chuẩn: 27-tiêu chí đánh giá chất lượng tác vụ thông qua harbor check.
• Phát hiện trùng lặp: Sử dụng TF-IDF để kiểm tra tính độc nhất của tác vụ.

💡 Vì sao đáng chú ý

TB-Science không chỉ là danh sách tác vụ — mỗi tác vụ đều mô phỏng một workflow nghiên cức thực tế, từ cài đặt môi trường, chạy mã nguồn đến phân tích kết quả. Điều này buộc AI phải xử lý toàn bộ chuỗi công cụ, lệnh và logic như một nhà khoa học thực thụ.

Phù hợp với các nhà nghiên cứu muốn kiểm chứng khả năng của AI agent trong môi trường khoa học phức tạp, đồng thời cung cấp khung chuẩn để cộng đồng phát triển AI hỗ trợ nghiên cứu tự động.

#AIForScience #AgenticAI #AI4Science #TiniX