vngrs-ai/Kumru-2B-Base
Model Information Kumru-2B is the lightweight, open-source version of Kumru LLM, developed for Turkish from scratch by VNGRS. - It is pre-trained on a cleaned, deduplicated corpora of 500 GB for 300B tokens, and supervised fine-tuned on 1M examples....
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#9 Repository Của Tuần
#1 Repository Của Tuần
🇹🇷 Kumru-2B-Base: Mô hình ngôn ngữ tiếng Thổ Đức nhẹ, mạnh và tối ưu chi phí
Kumru-2B-Base là phiên bản Base — chỉ được pre-trained, chưa fine-tune theo hướng dẫn. Phiên bản Instruct tại đây. Được phát triển từ đầu bởi VNGRS cho tiếng Thổ Đức, dựa trên kiến trúc Mistral.
Kumru-2B-Base là một mô hình ngôn ngữ lớn (LLM) cấp 2 tỷ tham số, do VNGRS phát triển độc lập cho tiếng Thổ Đức. Mô hình được huấn luyện trên bộ dữ liệu đã được làm sạch và loại bỏ trùng lặp 500 GB với tổng số token đạt 300 tỷ. Phiên bản Base này chỉ là bước pre-training, phù hợp cho các nghiên cứu tiếp theo hoặc fine-tuning tùy biến.
✨ Điểm nổi bật
- Huấn luyện từ đầu cho tiếng Thổ Đức: Dựa trên kiến trúc Mistral, được tối ưu riêng cho ngôn ngữ và văn hóa Thổ Đức.
- Dữ liệu lớn, chất lượng: 500 GB dữ liệu đã được làm sạch, loại bỏ trùng lặp, tương đương 300 tỷ token.
- Tokenizer BPE hiện đại: Hỗ trợ mã nguồn, toán học và chat template, với kích thước từ vựng 50.176.
- Ngữ cảnh mặc định 8.192 token: Phù hợp với hầu hết các tác vụ xử lý ngôn ngữ tự nhiên.
- Hiệu quả về chi phí biểu diễn: Tokenizer tiết kiệm 38–98% token so với các mô hình đa ngôn ngữ khác.
- Đánh giá mạnh trên Cetvel benchmark: Vượt trội hơn cả LLaMA-3.3–70B, Gemma-3–27B, Qwen-2–72B và Aya-32B.
- Hỗ trợ Transformers và safetensors: Dễ dàng tích hợp và triển khai trong hệ sinh thái Hugging Face.
- Phiên bản Instruct riêng biệt: Dành cho ứng dụng trò chuyện và hướng dẫn, khác biệt với bản Base này.
💡 Vì sao đáng chú ý
Kumru-2B-Base nổi bật nhờ sự tập trung hoàn toàn vào tiếng Thổ Đức — từ dữ liệu huấn luyện đến thiết thiết tokenizer riêng. Điều này giúp mô hình vượt trội hơn các mô hình đa ngôn ngữ lớn hơn đến 10 lần khi xử lý ngữ pháp và tóm tắt văn bản tiếng Thổ Đức. Tokenizer BPE được thiết kế đặc biệt còn giúp giảm đáng kể chi phí token, tăng tốc độ xử lý và tiết kiệm chi phí triển khai.
#LLM #TurkishLanguage #OpenSource #Mistral #Transformers #TiniX
Similar Projects
Discover other similar projects and AI models.
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Llama 2 Llama 2 is a collection of pretrained and fine-tuned generative text models ranging in scale from 7 billion to 70 billion parameters. This is the repository for the 7B fine-tuned model, optimized for dialogue use cases and converted for the...