xlang-ai/UnifiedSKG
[EMNLP 2022] Unifying and multi-tasking structured knowledge grounding with language models
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🧠 UnifiedSKG: Đưa 21 bài toán kiến thức cấu trúc về một chuẩn text-to-text
Một khung thống nhất 21 tác vụ grounded knowledge cấu trúc, biến chúng thành dạng text-to-text để huấn luyện đa nhiệm và đạt kết quả tốt nhất.
UnifiedSKG là khung mã nguồn mở từ nghiên cứu EMNLP 2022 (oral), phát triển bởi HKUNLP. Dự án giải quyết bài toán knowledge grounding cấu trúc — dùng kiến thức có cấu trúc (CSVT, JSON, database...) để hỗ trợ người dùng như semantic parsing, question answering, data-to-text, fact verification. Thay vì nghiên cứu từng tác vụ độc lập, UnifiedSKG thống nhất 21 tác vụ vào định dạng text-to-text, hỗ trợ mô hình ngôn ngữ lớn như T5, T0, GPT-3, Codex.
✨ Điểm nổi bật
- Thống nhất 21 tác vụ SKG: biến semantic parsing, QA, data-to-text… về chuẩn text-to-text chung.
- Hỗ trợ multi-task learning: dùng prefix-tuning để cải thiện hiệu suất đa tác vụ đồng thời.
- Đạt SOTA trên gần hết 21 tác vụ: các mô hình lớn như T5 chỉ cần chỉnh sửa nhỏ.
- Kiểm chứng zero-shot/few-shot: T0, GPT-3, Codex gặp thách thức lớn, làm tiêu chuẩn kiểm thử khó.
- Có khả năng mở rộng: hỗ trợ thêm dataset, metric, mô hình mới qua pull request.
- Cung cấp checkpoint trên HuggingFace: dễ dàng tải và sử dụng trực tiếp.
- Hỗ trợ seq2seq data: cung cấp dữ liệu đã xử lý để người dùng thử nghiệm nhanh.
- Cấu trúc mã nguồn rõ ràng: chia thành các thành phần configure, metrics, models, seq2seq_construction, third_party, utils.
💡 Vì sao đáng chú ý
UnifiedSKG khác biệt ở việc thống nhất đa domen và định dạng đầu vào/đầu ra khác nhau của các bài toán SKG thành một chuẩn chung — text-to-text. Điều này giúp nghiên cứu hệ thống và khả năng tái sử dụng mô hình tốt hơn. Đặc biệt, khả năng hỗ trợ multi-task prefix-tuning giúp cải thiện đáng kể hiệu suất chung, trong khi việc làm tiêu chuẩn zero-shot/few-shot tạo cơ hội đánh giá thực sự khả năng tổng quát của mô hình ngôn ngữ lớn.
#EMNLP2022 #KnowledgeGrounding #TextToText #MultiTaskLearning #T5 #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Natural Language Processing for the next decade. Tokenization, Part-of-Speech Tagging, Named Entity Recognition, Syntactic & Semantic Dependency Parsing, Document Classification
The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface. The fastest local inference engine in the world.
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...