Dataset
PatronusAI

PatronusAI/financebench

FinanceBench is a first-of-its-kind test suite for evaluating the performance of LLMs on open book financial question answering (QA). This is an open source sample of 150 annotated examples used in the evaluation and analysis of models assessed in the FinanceBench paper. The PDFs linked in the dataset can be found here as well: https://github.com/patronus-ai/financebench/tree/main/pdfs The dataset comprises of questions about publicly traded companies, with corresponding answers and evidence… See the full description on the dataset page: https://huggingface.co/datasets/PatronusAI/financebench.

143likes
7.1kdownloads
0views

Thành tựu nổi bật

Những danh hiệu mới nhất của dự án

1
TINIX TRENDING·Chủ đề: arxiv:2311.11944

#1 Repository Của Tuần

3
TINIX TRENDING·Chủ đề: format:json

#3 Repository Của Tuần

9
TINIX TRENDING·Chủ đề: size_categories:n<1K

#9 Repository Của Tuần

📊 FinanceBench: Bộ câu hỏi QA tài chính chuẩn để test LLM

Đánh giá khả năng trả lời câu hỏi tài chính dựa trên tài liệu mở — nơi LLM thực sự bị phơi bày.

FinanceBench là bộ dữ liệu câu hỏi trả lời (QA) tài chính đầu tiên dùng cho đánh giá hiệu suất của các mô hình ngôn ngữ lớn (LLM) trên tài liệu mở. Gồm 150 ví dụ được gán nhãn câu trả lời và đoạn bằng chứng liên quan tới công ty niêm yết. Các câu hỏi được thiết kế rõ ràng, trực tiếp, phản ánh thực tế sử dụng tài chính nhằm làm chuẩn tối thiểu cho hiệu suất LLM.

✨ Điểm nổi bật

  • 150 câu hỏi QA tài chính: tập trung vào công ty niêm yết, kèm câu trả lời và chứng cứ tham khảo.
  • Đánh giá mở sách: câu hỏi dựa trên tài liệu thực tế (PDF) đi kèm trong repo GitHub.
  • Kiểm tra 16 mô hình: GPT-4 Turbo, Llama 2, Claude 2 với vector store và prompt ngữ cảnh dài.
  • Đánh giá thủ công: 2.400 câu trả lời được review bởi con người để đảm bảo độ tin cậy.
  • Mã nguồn mở: toàn bộ dữ liệu và tài liệu PDF đều công khai trên GitHub.
  • Giấy phép CC BY-NC 4.0: sử dụng cho mục đích nghiên cứu và phi thương mại.

💡 Vì sao đáng chú ý

FinanceBench không chỉ đo đạc độ chính xác mà còn phơi bày hạn chế thực sự của LLM trong lĩnh vực tài chính. Mọi mô hình đều mắc lỗi như tạo thông tin giả (hallucination), khiến chúng chưa đủ tin cậy cho doanh nghiệp. Đây là bài kiểm tra đầu tiên áp dụng tiêu chuẩn thực tế để đánh giật kết quả của LLM trong QA tài chính.


#FinanceBench #LLMEvaluation #FinancialQA #OpenSource #TiniX

Similar Projects

Discover other similar projects and AI models.

Dataset
fka/prompts.chat

a.k.a. Awesome ChatGPT Prompts This is a Dataset Repository mirror of prompts.chat — a social platform for AI prompts. 📢 Notice This Hugging Face dataset is a mirror. For the latest prompts, features, and community contributions, please visit: 🌐 Website: prompts.chat 📦 GitHub: github.com/f/awesome-chatgpt-prompts About prompts.chat is an open-source platform where users can share, discover, and collect AI prompts from the community. The project can… See the full description on the dataset page: https://huggingface.co/datasets/fka/prompts.chat.

♥0
27.4k
Oct 26, 2026
Dataset
tatsu-lab/alpaca

Dataset Card for Alpaca Dataset Summary Alpaca is a dataset of 52,000 instructions and demonstrations generated by OpenAI's text-davinci-003 engine. This instruction data can be used to conduct instruction-tuning for language models and make the language model follow instruction better. The authors built on the data generation pipeline from Self-Instruct framework and made the following modifications: The text-davinci-003 engine to generate the instruction data… See the full description on the dataset page: https://huggingface.co/datasets/tatsu-lab/alpaca.

♥0
82.0k
May 22, 2023
Dataset
databricks/databricks-dolly-15k

Summary databricks-dolly-15k is an open source dataset of instruction-following records generated by thousands of Databricks employees in several of the behavioral categories outlined in the InstructGPT paper, including brainstorming, classification, closed QA, generation, information extraction, open QA, and summarization. This dataset can be used for any purpose, whether academic or commercial, under the terms of the Creative Commons Attribution-ShareAlike 3.0 Unported… See the full description on the dataset page: https://huggingface.co/datasets/databricks/databricks-dolly-15k.

♥0
42.6k
Jun 30, 2023
Dataset
FreedomIntelligence/medical-o1-reasoning-SFT

News [2025/04/22] We split the data and kept only the medical SFT dataset (medical_o1_sft.json). The file medical_o1_sft_mix.json contains a mix of medical and general instruction data. [2025/02/22] We released the distilled dataset from Deepseek-R1 based on medical verifiable problems. You can use it to initialize your models with the reasoning chain from Deepseek-R1. [2024/12/25] We open-sourced the medical reasoning dataset for SFT, built on medical verifiable problems and an… See the full description on the dataset page: https://huggingface.co/datasets/FreedomIntelligence/medical-o1-reasoning-SFT.

♥0
21.4k
Apr 22, 2025
Dataset
teknium/OpenHermes-2.5

Dataset Card for Dataset Name This is the dataset that made OpenHermes 2.5 and Nous Hermes 2 series of models. Support me on GitHub sponsors <3 : https://github.com/sponsors/teknium1 Dataset Details Dataset Description The Open Hermes 2/2.5 and Nous Hermes 2 models have made significant advancements of SOTA LLM's over recent months, and are underpinned by this exact compilation and curation of many open source datasets and custom created synthetic… See the full description on the dataset page: https://huggingface.co/datasets/teknium/OpenHermes-2.5.

♥0
12.9k
Apr 15, 2024
Dataset
gaia-benchmark/GAIA

GAIA dataset GAIA is a benchmark which aims at evaluating next-generation LLMs (LLMs with augmented capabilities due to added tooling, efficient prompting, access to search, etc). We added gating to prevent bots from scraping the dataset. Please do not reshare the validation or test set in a crawlable format. Data and leaderboard GAIA is made of more than 450 non-trivial question with an unambiguous answer, requiring different levels of tooling and autonomy to… See the full description on the dataset page: https://huggingface.co/datasets/gaia-benchmark/GAIA.

♥0
9.8k
Oct 28, 2025
Dataset
yahma/alpaca-cleaned

Dataset Card for Alpaca-Cleaned Repository: https://github.com/gururise/AlpacaDataCleaned Dataset Description This is a cleaned version of the original Alpaca Dataset released by Stanford. The following issues have been identified in the original release and fixed in this dataset: Hallucinations: Many instructions in the original dataset had instructions referencing data on the internet, which just caused GPT3 to hallucinate an answer. "instruction":"Summarize… See the full description on the dataset page: https://huggingface.co/datasets/yahma/alpaca-cleaned.

♥0
20.7k
Apr 10, 2023
Dataset
Congliu/Chinese-DeepSeek-R1-Distill-data-110k

中文基于满血DeepSeek-R1蒸馏数据集(Chinese-Data-Distill-From-R1) 🤗 Hugging Face&nbsp;&nbsp; | &nbsp;&nbsp;🤖 ModelScope &nbsp;&nbsp; | &nbsp;&nbsp;🚀 Github &nbsp;&nbsp; | &nbsp;&nbsp;📑 Blog 注意:提供了直接SFT使用的版本,点击下载。将数据中的思考和答案整合成output字段,大部分SFT代码框架均可直接直接加载训练。 本数据集为中文开源蒸馏满血R1的数据集,数据集中不仅包含math数据,还包括大量的通用类型数据,总数量为110K。 为什么开源这个数据? R1的效果十分强大,并且基于R1蒸馏数据SFT的小模型也展现出了强大的效果,但检索发现,大部分开源的R1蒸馏数据集均为英文数据集。 同时,R1的报告中展示,蒸馏模型中同时也使用了部分通用场景数据集。 为了帮助大家更好地复现R1蒸馏模型的效果,特此开源中文数据集。 该中文数据集中的数据分布如下:… See the full description on the dataset page: https://huggingface.co/datasets/Congliu/Chinese-DeepSeek-R1-Distill-data-110k.

♥0
2.0k
Feb 21, 2025
Dataset
Salesforce/xlam-function-calling-60k

APIGen Function-Calling Datasets Paper | Website | Models This repo contains 60,000 data collected by APIGen, an automated data generation pipeline designed to produce verifiable high-quality datasets for function-calling applications. Each data in our dataset is verified through three hierarchical stages: format checking, actual function executions, and semantic verification, ensuring its reliability and correctness. We conducted human evaluation over 600 sampled data points… See the full description on the dataset page: https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k.

♥0
17.7k
Jan 24, 2025