MiniMaxAI/VIBE
VIBE: Visual & Interactive Benchmark for Execution in Application Development [English] | 中文 🌟 Overview VIBE (Visual & Interactive Benchmark for Execution) sets a new standard for evaluating Large Language Models (LLMs) in full-stack software engineering. Moving beyond recent benchmarks that rely on static screenshots or rigid workflow snapshots to assess application development, VIBE pioneers the Agent-as-a-Verifier (AaaV) paradigm to assess the true "0-to-1"… See the full description on the dataset page: https://huggingface.co/datasets/MiniMaxAI/VIBE.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Ngày
#1 Repository Của Ngày
#1 Repository Của Ngày
🧪 VIBE: Đánh giá LLM trong phát triển full-stack theo ba chiều: Thực thi, Tương tác và Thẩm mỹ
VIBE (Visual & Interactive Benchmark for Execution) là tiêu chuẩn mới để đánh giá LLM trong phát triển full-stack, vượa xa các bộ chuẩn chỉ sống ảnh màn hình tĩnh lẻ.
VIBE (Visual & Interactive Benchmark for Execution) đặt ra một chuẩn mực mới cho việc đánh giá Large Language Models (LLMs) trong kỹ thuật phần mềm full-stack. Thay vì dựa vào các bức ảnh chụp màn hình tĩnh hoặc những bản sao quy trình cứng nhắc, VIBE tiên phong áp dụng mô hình Agent-as-a-Verifier (AaaV) để đánh giá khả năng xây dựng ứng dụng sẵn sàng sản xuất từ con số 0.
✨ Điểm nổi bật
- Agent-as-a-Verifier (AaaV): Khung đánh giá mới lạ với tác nhân thông minh làm QA tự động, điều hướng giao diện, nhấn nút và kiểm tra trực quan.
- Phạm vi full-stack toàn diện: Bao phủ Web, Backend, Android, iOS và mô phỏng khoa học (Vật lý/Hóa học/Kỹ thuật phần mềm).
- Đánh giá ba chiều: Thực thi (build/run), Tương tác (logic người dùng), Thẩm mỹ (giao diện đẹp, đồng nhất).
- 200 tác vụ được chọn lọc: Từ công cụ đơn giản đến ứng dụng phức tạp, có nhãn độ khó và phân lĩnh vực.
- Môi trường sandbox động: Triển khai container chuẩn hóa, hỗ trợ đánh giá ổn định qua nhiều lần chạy lặp lại.
- Định dạng dữ liệu JSON rõ ràng: Mỗi tác vụ gồm idx, query, domain và difficulty.
💡 Vì sao đáng chú ý
VIBE khác biệt bằng cách sử dụng các tác nhân có khả năng nhìn thấy giao diện để kiểm chứng cả logic và thẩm mỹ, thay vì chỉ kiểm tra mã nguồn hay kết quả chạy tĩnh. Điều này giúp bắt được những lỗ hổng thực tế như lỗi UI, logic không xử lý được input, hay thiết kế chưa đạt chuẩn.
Phù hợp với việc đánh giá LLM dùng cho vibe coding, phát triển ứng dụng di động và web, cũng như các bài toán mô phỏng khoa học phức tạp.
#LLM #FullStackDevelopment #Benchmark #AgentAsVerifier #VIBE #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Dataset Card for GSM8K Dataset Summary GSM8K (Grade School Math 8K) is a dataset of 8.5K high quality linguistically diverse grade school math word problems. The dataset was created to support the task of question answering on basic mathematical problems that require multi-step reasoning. These problems take between 2 and 8 steps to solve. Solutions primarily involve performing a sequence of elementary calculations using basic arithmetic operations (+ − ×÷) to… See the full description on the dataset page: https://huggingface.co/datasets/openai/gsm8k.
Dataset Card for Alpaca Dataset Summary Alpaca is a dataset of 52,000 instructions and demonstrations generated by OpenAI's text-davinci-003 engine. This instruction data can be used to conduct instruction-tuning for language models and make the language model follow instruction better. The authors built on the data generation pipeline from Self-Instruct framework and made the following modifications: The text-davinci-003 engine to generate the instruction data… See the full description on the dataset page: https://huggingface.co/datasets/tatsu-lab/alpaca.
GAIA dataset GAIA is a benchmark which aims at evaluating next-generation LLMs (LLMs with augmented capabilities due to added tooling, efficient prompting, access to search, etc). We added gating to prevent bots from scraping the dataset. Please do not reshare the validation or test set in a crawlable format. Data and leaderboard GAIA is made of more than 450 non-trivial question with an unambiguous answer, requiring different levels of tooling and autonomy to… See the full description on the dataset page: https://huggingface.co/datasets/gaia-benchmark/GAIA.
a.k.a. Awesome ChatGPT Prompts This is a Dataset Repository mirror of prompts.chat — a social platform for AI prompts. 📢 Notice This Hugging Face dataset is a mirror. For the latest prompts, features, and community contributions, please visit: 🌐 Website: prompts.chat 📦 GitHub: github.com/f/awesome-chatgpt-prompts About prompts.chat is an open-source platform where users can share, discover, and collect AI prompts from the community. The project can… See the full description on the dataset page: https://huggingface.co/datasets/fka/prompts.chat.
Dataset Card for Wikimedia Wikipedia Dataset Summary Wikipedia dataset containing cleaned articles of all languages. The dataset is built from the Wikipedia dumps (https://dumps.wikimedia.org/) with one subset per language, each containing a single train split. Each example contains the content of one full Wikipedia article with cleaning to strip markdown and unwanted sections (references, etc.). All language subsets have already been processed for recent dump… See the full description on the dataset page: https://huggingface.co/datasets/wikimedia/wikipedia.
🐋 The OpenOrca Dataset! 🐋 We are thrilled to announce the release of the OpenOrca dataset! This rich collection of augmented FLAN data aligns, as best as possible, with the distributions outlined in the Orca paper. It has been instrumental in generating high-performing model checkpoints and serves as a valuable resource for all NLP researchers and developers! Official Models Mistral-7B-OpenOrca Our latest model, the first 7B to score better overall than all… See the full description on the dataset page: https://huggingface.co/datasets/Open-Orca/OpenOrca.
OpenAssistant Conversations Dataset (OASST1) Dataset Summary In an effort to democratize research on large-scale alignment, we release OpenAssistant Conversations (OASST1), a human-generated, human-annotated assistant-style conversation corpus consisting of 161,443 messages in 35 different languages, annotated with 461,292 quality ratings, resulting in over 10,000 fully annotated conversation trees. The corpus is a product of a worldwide crowd-sourcing effort… See the full description on the dataset page: https://huggingface.co/datasets/OpenAssistant/oasst1.
📚 FineWeb-Edu 1.3 trillion tokens of the finest educational data the 🌐 web has to offer Paper: https://arxiv.org/abs/2406.17557 What is it? 📚 FineWeb-Edu dataset consists of 1.3T tokens and 5.4T tokens (FineWeb-Edu-score-2) of educational web pages filtered from 🍷 FineWeb dataset. This is the 1.3 trillion version. To enhance FineWeb's quality, we developed an educational quality classifier using annotations generated by LLama3-70B-Instruct. We… See the full description on the dataset page: https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu.
Dataset containing synthetically generated (by GPT-3.5 and GPT-4) short stories that only use a small vocabulary. Described in the following paper: https://arxiv.org/abs/2305.07759. The models referred to in the paper were trained on TinyStories-train.txt (the file tinystories-valid.txt can be used for validation loss). These models can be found on Huggingface, at roneneldan/TinyStories-1M/3M/8M/28M/33M/1Layer-21M. Additional resources: tinystories_all_data.tar.gz - contains a superset of… See the full description on the dataset page: https://huggingface.co/datasets/roneneldan/TinyStories.