United Kingdom
sheffieldnlp/naacl2018-fever
Fact Extraction and VERification baseline published in NAACL2018
📚 Baseline FEVER 2018 — Truy xuất bằng chứng + Xác minh nhận định bằng PyTorch
Pipeline gồm Evidence Retrieval (DrQA) + Textual Entailment (Decomposable Attention), công bố tại NAACL2018.
Đây là bản cài đặt PyTorch của pipeline baseline mô tả trong bài báo NAACL2018: FEVER: A large-scale dataset for Fact Extraction and VERification. FEVER cung cấp 185.441 nhận định được sinh từ Wikipedia, mỗi nhận định được gán nhãn Supported, Refuted, hay NotEnoughInfo kèm bằng chứng câu/văn liên quan. Baseline nối hai giai đoạn: tìm kiếm bằng chứng trên Wikipedia bằng DrQA, sau đó dùng mạng Decomposable Attention để suy diễn quan hệ giữa nhận định và bằng chứng.
✨ Điểm nổi bật
- Evidence Retrieval (DrQA): tìm kiếm tài liệu và câu bằng chứng phù hợp từ bản dump Wikipedia đã xử lý.
- Textual Entailment (Decomposable Attention): mạng neural xác định nhận định là Supported, Refuted hay NotEnoughInfo dựa trên bằng chứng thu thập được.
- Docker hỗ trợ sẵn: triển khai nhanh qua
docker run -it -v fever-data:/fever/data sheffieldnlp/fever-baselines. - GPU đề xuất: huấn luyện mô hình Decomposable Attention mất ~3 giờ trên GTX 1080Ti; bản trained sẵn có sẵn để tải.
- Hỗ trợ dữ liệu chưa gán nhãn: phiên bản v0.3 cho phép đọc dữ liệu blind cho cuộc thi.
- Tối ưu tốc độ IR: bản cập nhật v0.2 dùng DrQA đa luồng, tăng tốc >10x ở giai đoạn truy xuất.
- Công cụ hỗ trợ: cung cấp script tải Wikipedia, GloVe, dataset FEVER, huấn luyện và đánh giá.
💡 Vì sao đáng chú ý
Khác với các benchmark claim verification nhỏ hoặc thủ công, FEVER quy mô lớn và yêu cầu hệ thống phải đồng thời giải quyết hai bài toán: tìm đúng câu làm bằng chứng và suy luận logic. Pipeline baseline này cho thấy ranh giới khó khăn — độ chính xác tốt nhất chỉ đạt 31.87% khi kèm bằng chứng đúng, nhưng lên tới 50.91% khi bỏ qua bằng chứng — mở đường cho nghiên cứu sau này cải thiện cả hai giai đoạn.
#FEVER #PyTorch #EvidenceRetrieval #ClaimVerification #NAACL2018 #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.
The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface. The fastest local inference engine in the world.
hkunlp/instructor-xl We introduce Instructor👨🏫, an instruction-finetuned text embedding model that can generate text embeddings tailored to any task (e.g., classification, retrieval, clustering, text evaluation, etc.) and domains (e.g., science,...
hkunlp/instructor-large We introduce Instructor👨🏫, an instruction-finetuned text embedding model that can generate text embeddings tailored to any task (e.g., classification, retrieval, clustering, text evaluation, etc.) and domains (e.g., scienc...
WFGY is heading toward WFGY 5.0 Polaris Protocol, a major open-source release for AI reasoning, RAG, agents, and real-world workflows. Includes Problem Map, Global Debug Card, WFGY 4.0, and the CFV Easter Egg.
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
A high-throughput and memory-efficient inference and serving engine for LLMs