stanford-crfm/BioMedLM
Model Card for BioMedLM 2.7B Note: This model was previously known as PubMedGPT 2.7B, but we have changed it due to a request from the NIH which holds the trademark for "PubMed". Paper: BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🧬 BioMedLM 2.7B — Mô hình ngôn ngữ y sinh đạt trọng tài trên MedQA
Mô hình ngôn ngữ GPT-style 2.7 tỷ tham số, huấn luyện độc quyền trên văn bản y sinh.
BioMedLM 2.7B là mô hình ngôn ngữ mới do Stanford CRFM và MosaicML phối hợp phát triển, được huấn luyện độc quyền trên các tóm tắt và bài báo y sinh từ PubMed (thuộc The Pile). Dựa trên kiến trúc GPT-style, mô hình đạt kết quả mạnh trên nhiều tác vụ NLP y sinh, trong đó nổi bật là 50.3% độ chính xác trên tác vụ câu hỏi trả lời trắc nghiệm y sinh MedQA — mức hiệu năng tốt nhất tính đến thời điểm phát hành.
Dù là mô hình sinh ngôn ngữ tự động (autoregressive), nhóm phát triển nhấn mạnh rằng khả năng sinh của BioMedLM chỉ dùng cho nghiên cứu, không phù hợp cho môi trường sản xuất. Mục tiêu chính là thúc đẩy phát triển ứng dụng NLP y sinh và các thực hành huấn luyện có trách nhiệm với mô hình chuyên ngành.
✨ Điểm nổi bật
- Huấn luyện độc quyền trên PubMed: Dữ liệu chỉ bao gồm tóm tắt và bài báo y sinh, giúp mô hình hiểu sâu ngữ cảnh lĩnh vực y tế.
- Kích thước 2.7 tỷ tham số: Đủ lớn để học các mối quan hệ phức tạp trong ngôn ngữ y sinh.
- GPT-style architecture: Dựa trên kiến trúc transformer tương tự GPT, tối ưu cho sinh ngôn ngữ tự động.
- SOTA trên MedQA: Đạt 50.3% độ chính xác, vượt trội so với các mô hình cùng cấp.
- Hỗ trợ fine-tuning: Đề xuất sử dụng thông qua fine-tuning cho các tác vụ downstream như trả lời câu hỏi y sinh.
- Giấy phép BigScience Open RAIL-M: Giấy phép nghiên cứu mở nhưng cấm dùng cho tư vấn y tế.
- Tương thích với Hugging Face: Hỗ trợ triển khai nhanh qua text-generation-inference và endpoints.
- Phợ hệ quyển trình bày widget mẫu: Hỗ trợ thử nghiệm nhanh với văn bản đầu vào như 'Photosynthesis is'.
💡 Vì sao đáng chú ý
Không giống các mô hình ngôn ngữ chung được huấn luyện trên toàn bộ internet, BioMedLM tập trung hoàn toàn vào dữ liệu y sinh. Điều này giúp mô hình hiểu sâu thuật ngữ chuyên ngành, cấu trúc tranh luận và ngữ cảnh lĩnh vực y tế — nơi đòi hỏi độ chính xác và an toàn tối đa.
Tuy nhiên, nhóm phát trichnh mô hình chưa khám phá hết tiềm năng và giới hạn của khả năng sinh. Trong lĩnh vực nhạy cảm như y tế, độ tin cậy, độ chính xác và khả năng giải thích là yếu tố cốt lõi. Do đó, BioMedLM phù hợp với các nhà nghiên cứu NLP y sinh, nhưng không nên dùng trực tiếp cho ứng dụng thực tế hoặc ra quyết định lâm sàng.
#BioMedLM #NLP #Ysinh #PubMed #StanfordCRFM #MosaicML #HuggingFace #TiniX
Similar Projects
Discover other similar projects and AI models.
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
BigScience Large Open-science Open-access Multilingual Language Model Version 1.3 / 6 July 2022 Current Checkpoint: Training Iteration 95000 Link to paper: here(https://arxiv.org/abs/2211.05100) Total seen tokens: 366B --- Model Details BLOOM is an...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...