HPAI-BSC/Llama3.1-Aloe-Beta-70B
Aloe: A Family of Fine-tuned Open Healthcare LLMs Llama3.1-Aloe-Beta-70B is an open healthcare LLM achieving state-of-the-art performance on several medical tasks. Aloe Beta is made available in four model sizes: 7B(https://huggingface.co/HPAI-BSC/Q...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🏥 Llama3.1-Aloe-Beta-70B: Mô hình LLM y tế mở đạt SOTA
Aloe Beta là dòng mô hình LLM y tế mở, đạt hiệu suất hàng đầu trên nhiều tác vụ y khoa, được huấn luyện từ Llama 3.1 70B.
Llama3.1-Aloe-Beta-70B là một mô hình LLM y tế mở, đạt hiệu suất hàng đầu (SOTA) trên nhiều tác vụ y khoa. Là phiên bản nâng cấp lớn hơn của Aloe-8B-Alpha, Aloe Beta sử dụng tới 1.8 tỷ token dữ liệu huấn luyện — gấp ba lần so với Alpha — bao gồm nhiều tác vụ y tế đa dạng như tóm tắt văn bản, giải thích, chẩn đoán, phân loại văn bản và đề xuất điều trị.
✨ Điểm nổi bật
- Đạt hiệu suất SOTA: Vượt trội hơn các mô hình đóng kín như MedPalm-2, GPT-4 khi kết hợp với hệ thống RAG.
- Bốn kích thước mô hình: 7B, 8B, 70B (trên Llama 3.1) và 72B (trên Qwen2.5), tất cả đều dùng cùng công thức huấn luyện.
- 1.8 tỷ token dữ liệu y tế: Bao phủ 20 tác vụ y tế khác nhau, tăng gấp ba lần so với phiên bản Alpha.
- Dữ liệu chung chất lượng cao chiếm 20%: Bao gồm toán học, lập trình, STEM và hướng dẫn siêu dài (>8k token) để tăng tính linh hoạt.
- Cải thiện đồng bộ và an toàn: Bổ sung bộ dữ liệu ưu tiên y tế và dữ liệu đỏ kiểm thử (sắp ra mắt).
- Hệ thống RAG đi kèm: Được phát triển để kiểm tra Aloe Beta trong môi trường triển khai thực tế.
- Đánh giá rủi ro y tế chuyên biệt: Hỗ trợ triển khai an toàn và có trách nhiệm.
💡 Vì sao đáng chú ý
Không chỉ là mô hình lớn được tinh chỉnh, Aloe Beta còn là một hệ sinh thái hoàn chỉnh từ dữ liệu đến triển khấp. Khi kết hợp với hệ thống RAG, phiên bản 70B và 72B không chỉ vượt mặt mà còn vượt trội rõ rệt so với các mô hình đóng kín như MedPalm-2 hay GPT-4. Điều này mở ra tiềm năng lớn cho ứng dụng y tế thực tế, nơi cả hiệu suất và an toàn đều quan trọng.
#HealthcareAI #MedicalLLM #OpenSource #LLM #TiniX
Similar Projects
Discover other similar projects and AI models.
Aloe: A Family of Fine-tuned Open Healthcare LLMs Llama3.1-Aloe-Beta-8B is an open healthcare LLM achieving state-of-the-art performance on several medical tasks. Aloe Beta is made available in four model sizes: 7B(https://huggingface.co/HPAI-BSC/Qw...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
BERT base model (uncased) Pretrained model on English language using a masked language modeling (MLM) objective. It was introduced in this paper(https://arxiv.org/abs/1810.04805) and first released in this repository(https://github.com/google-resear...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...