teknium/OpenHermes-2.5-Mistral-7B
OpenHermes 2.5 - Mistral 7B !image/png(https://cdn-uploads.huggingface.co/production/uploads/6317aade83d8d2fd903192d9/ox7zGoygsJQFFV3rLT4v9.png) In the tapestry of Greek mythology, Hermes reigns as the eloquent Messenger of the Gods, a deity who def...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#3 Repository Của Tuần
🚀 OpenHermes-2.5-Mistral-7B: Phiên bản nâng cấp mạnh mẽ từ Mistral 7B
OpenHermes-2.5-Mistral-7B là một bước tiến lớn trong việc tinh luyện mô hình ngôn ngữ lớn thông qua việc sử dụng dữ liệu sinh học chất lượng cao.
OpenHermes 2.5 Mistral 7B là một phiên bản tinh luyện tiên tiến của mô hình Mistral, tiếp nối từ OpenHermes 2 với việc huấn luyện thêm trên các bộ dữ liệu lập trình. Dự án này được phát triển bởi Teknium và đã thu thập được 1.000.000 mục dữ liệu chủ yếu là do GPT-4 tạo ra, kết hợp với các bộ dữ liệu mở chất lượng cao khác.
✨ Điểm nổi bật
- Huấn luyện trên dữ liệu mã nguồn mở: Khoảng 7-14% tổng số dữ liệu huấn luyện là dữ liệu lập trình, cải thiện đáng kể các bộ chuẩn như TruthfulQA, AGIEval, và GPT4All.
- Cải thiện điểm số HumanEval: Điểm số được cải thiện từ 43% lên 50.7% ở Pass 1 nhờ huấn luyện thêm trên dữ liệu lập trình.
- Định dạng ChatML: Tất cả dữ liệu đều được chuyển đổi sang định dạng ShareGPT rồi biến đổi bằng axolotl để sử dụng ChatML.
- Kết quả đo lường vượt trội: Vượt qua hầu hết các mô hình Mistral đã được tinh luyện khác và tất cả các mô hình Nous-Hermes & Open-Hermes trước đó (ngoại trừ Hermes 70B).
- Hỗ trợ trò chuyện thực tế: Hỗ trợ các ví dụ về trò chuyện về lập trình, công thức nấu ăn, và thậm chí là nhập vai nhân vật từ anime Fullmetal Alchemist.
- Mã nguồn mở và miễn phí: Mô hình được phát hành dưới giấy phép Apache 2.0, cho phép sử dụng và phát phối tự do.
- Khả năng mở rộng: Cung cấp các phiên bản đã được tối ưu hóa (quantized models) để phù hợp với nhiều nền tảng phần cứng khác nhau.
💡 Vì sao đáng chú ý
OpenHermes-2.5-Mistral-7B nổi bật bởi khả năng kết hợp hiệu quả giữa dữ liệu chung và dữ liệu lập trình, từ đó không chỉ cải thiện hiệu suất trong lĩnh vực lập trình mà còn nâng cao đáng kể các chỉ số đánh giá kiến thức tổng quát. Điều này cho thấy tiềm năng của việc sử dụng dữ liệu đa dạng để tạo ra các mô hình AI đa năng.
Dự án cũng được công nhận bởi cộng đồng nhờ sự hỗ trợ từ các tổ chức như GlaiveAI và a16z, đồng thời cung cấp khả năng truy cập dễ dàng thông qua nền tảng Hugging Face và cả trang web chat của LMSys.
#OpenHermes #Mistral7B #AI #MachineLearning #TextGeneration #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Hermes 2 Pro - Mistral 7B !image/png(https://cdn-uploads.huggingface.co/production/uploads/6317aade83d8d2fd903192d9/ggO2sBDJ8Bhc6w-zwTx5j.png) Model Description Hermes 2 Pro on Mistral 7B is the new flagship 7B Hermes! Hermes 2 Pro is an upgraded, r...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...