microsoft/llmlingua-2-bert-base-multilingual-cased-meetingbank
LLMLingua-2-Bert-base-Multilingual-Cased-MeetingBank This model was introduced in the paper LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression (Pan et al, 2024)(https://arxiv.org/abs/2403.12968). It is a BERT...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🗜️ Nén prompt thông minh bằng BERT đa ngôn ngữ
Mô hình BERT đa ngôn ngữ được fine-tuned để phân loại token, hỗ trợ nén prompt một cách thông minh và giữ nguyên ngữ nghĩa.
Đây là mô hình LLMLingua-2-Bert-base-Multilingual-Cased-MeetingBank, được giới thiệu trong bài báo cáo LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression (Pan et al, 2024). Đây là một mô hình BERT đa ngôn ngữ cơ sở (cased) đã được fine-tuned để thực hiện phân loại token nhằm mục đích nén prompt phi tác vụ. Xác suất $p_{preserve}$ của mỗi token $x_i$ được sử dụng như một chỉ số để quyết định giữ lại hay nén token đó. Mô hình được huấn luyện trên bộ dữ liệu nén văn bản trích xuất được xây dựng theo phương pháp đề xuất trong LLMLingua-2, sử dụng dữ liệu gốc từ MeetingBank.
✨ Điểm nổi bật
- Fine-tuned BERT đa ngôn ngữ: Sử dụng kiến trúc BERT base đa ngôn ngữ cased làm nền tảng.
- Phân loại token để nén: Dự đoán xác suất giữ lại (
$p_{preserve}$) cho từng token trong prompt. - Huấn luyện trên MeetingBank: Dữ liệu huấn luyện được tạo ra từ MeetingBank thông qua kỹ thuật distillation đề xuất trong LLMLingua-2.
- Hỗ trợ nén phi tác vụ: Áp dụng cho bất kỳ loại prompt nào mà không cần điều chỉnh lại mô hình.
- Tương thích triển khai trên Azure: Hỗ trợ triển khai qua các endpoint của Azure.
- Công cụ đánh giá downstream: Có thể đánh giại trên các nhiệm vụ như hỏi đáp (QA) và tóm tắt trên bản ghi cuộc họp đã được nén.
💡 Vì sao đáng chú ý
Không giống như các phương pháp nén thủ công hoặc dựa trên quy tắc, LLMLingua-2 sử dụng một mô hình BERT được fine-tuned để học cách giữ lại những token quan trọng nhất, giúp giảm đáng kể độ dài prompt mà vẫn duy trì được hiệu suất của các nhiệm vụ downstream như QA và tóm tắt. Điều này đặc biệt hữu ích khi làm việc với các mô hình LLM lớn có giới hạn ngữ cảnh hạn chế. Mô hình này mở ra khả năng tối ưu chi phí và tốc độ suy luận mà không cần thay đổi cấu trúc mô hình gốc.
#LLMLingua #PromptCompression #BERT #Multilingual #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
BERT base model (uncased) Pretrained model on English language using a masked language modeling (MLM) objective. It was introduced in this paper(https://arxiv.org/abs/1810.04805) and first released in this repository(https://github.com/google-resear...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...