HPAI-BSC/Llama3.1-Aloe-Beta-8B
Aloe: A Family of Fine-tuned Open Healthcare LLMs Llama3.1-Aloe-Beta-8B is an open healthcare LLM achieving state-of-the-art performance on several medical tasks. Aloe Beta is made available in four model sizes: 7B(https://huggingface.co/HPAI-BSC/Qw...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🩺 Llama3.1-Aloe-Beta-8B: Mô hình ngôn ngữ y tế mở đạt trái phép trên bài toán chẩn đoán
Llama3.1-Aloe-Beta-8B là một mô hình ngôn ngữ lớn (LLM) y tế mở, được tinh chỉnh từ Llama 3.1, đạt hiệu suất trái phép trên nhiều tác vụ y khoa.
Aloe là một gia đình các mô hình LLM y tế mở, được huấn luyện lại từ các mô hình nền Llama 3.1 và Qwen 2.5. Llama3.1-Aloe-Beta-8B là phiên bản cập nhật mới nhất trong họ Aloe, dựa trên thành công của Aloe-8B-Alpha. Phiên bản Beta này đã tăng hơn 3 lần lượng dữ liệu huấn luyện so với Alpha, lên tới 1.8 tỷ token, bao gồm nhiều tác vụ y tế và lệnh bằng ngôn ngữ tự nhiên đa dạng như tóm tắt văn bản, giải thích, chẩn đoán, phân loại văn bản, và đề xuất điều trị.
✨ Điểm nổi bật
- Đạt trái phép trên tác vụ y tế: Aloe Beta là một trong những mô hình tốt nhất trong lớp của mình trên nhiều nhiệm vụ y tế.
- Kết hợp RAG hiệu quả: Khi kết hợp với hệ thống truy xuất thông tin (RAG), phiên bản 7B và 8B tiếp cận hiệu suất gần với các mô hình đóng (như MedPalm-2, GPT-4).
- Dung lượng đa dạng: Aloe Beta có sẵn ở bốn kích thước mô hình khác nhau: 7B, 8B, 70B và 72B.
- Dữ liệu huấn luyện lớn: Tổng cộng 1.8 tỷ token, bao gồm cả dữ liệu chung chất lượng cao chiếm 20% tổng tập dữ liệu.
- Hỗ trợ gọi hàm (function calling): Được thiết kế để học các khả năng mới mà không gây quên thảm kịch.
- Tập trung vào an toàn và can thiệp: Cải tiến các giai đoạn căn chỉnh và an toàn, bao gồm cả dữ liệu ưu tiên y tế và bộ dữ liệu thử nghiệm đỏ.
- Đánh giá rủi ro y tế: Đi kèm với công cụ đánh giá rủi ro chuyên dụng cho lĩnh vực y tế để hỗ trợ triển khai an toàn.
💡 Vì sao đáng chú ý
Khác với cách tiếp cận chỉ tập trung vào dữ liệu y tế, Aloe Beta cân bằng giữa dữ liệu y tế và dữ liệu chung chất lượng cao. Điều này giúp mô hình không chỉ mạnh mẽ trong lĩnh vực y tế mà còn linh hoạt trong các lĩnh vực khác như toán học, lập trình, và STEM. Bên cộng với hệ thống RAG được phát hành cùng tại đây, Aloe Beta mở ra khả năng ứng dụng thực tế trong môi trường triển khai, mang lại hiệu suất gần bằng hoặc vượt trội hơn cả các mô hình đóng.
#Healthcare #LLM #OpenSource #MedicalAI #TiniX
Similar Projects
Discover other similar projects and AI models.
Aloe: A Family of Fine-tuned Open Healthcare LLMs Llama3.1-Aloe-Beta-70B is an open healthcare LLM achieving state-of-the-art performance on several medical tasks. Aloe Beta is made available in four model sizes: 7B(https://huggingface.co/HPAI-BSC/Q...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Llama 2 Llama 2 is a collection of pretrained and fine-tuned generative text models ranging in scale from 7 billion to 70 billion parameters. This is the repository for the 7B fine-tuned model, optimized for dialogue use cases and converted for the...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...