migtissera/Tess-4-35B-A3B
...
🚀 Tess-4-35B-A3B: Mô hình ngôn ngữ lớn 35B tham số với kiến trúc Qwen3-5-MoE
Mô hình ngôn ngữ lớn 35 tỷ tham số dựa trên kiến trúc Qwen3-5-MoE, được phát hành bởi nhà nghiên cứu Dimitris Drakakis (migtissera).
Tess-4-35B-A3B là một mô hình ngôn ngữ lớn (LLM) với 35 tỷ tham số, sử dụng kiến trúc Qwen3-5-MoE (Mixture of Experts), được phát triển và công bố bởi nhà nghiên cứu Dimitris Drakakis (migtissera). Dự án nằm trong lĩnh vực xử lý ngôn ngữ tự nhiên và ứp dụng trí tuệ nhân tạo.
✨ Điểm nổi bật
- 35 tỷ tham số: Mô hình có quy mô lớn, phù hợp cho các tác vụ NLP phức tạp.
- Kiến trúc Qwen3-5-MoE: Áp dụng công nghệ Mixture of Experts để tối ưu hiệu suất và hiệu quả tính toán.
- Apache 2.0 License: Mở nguồn cho phép sử dụng và điều chỉnh tùy ý.
💡 Vì sao đáng chú ý
Mô hình Tess-4-35B-A3B nổi bật nhờ sự kết hợp giữa quy mô lớn (35B) và kiến trúc MoE hiện đại, giúp cân bằng giữa hiệu năng và chi phí tính toán. Phù hợp cho các nhà nghiên cứu và nhà phát triển muốn khám phá tiềm năng của các mô hình ngôn ngữ lớn.
#AI #LanguageModel #OpenSource #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
BERT base model (uncased) Pretrained model on English language using a masked language modeling (MLM) objective. It was introduced in this paper(https://arxiv.org/abs/1810.04805) and first released in this repository(https://github.com/google-resear...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
!FLUX.1 schnell Grid(./schnellgrid.jpeg) FLUX.1 schnell is a 12 billion parameter rectified flow transformer capable of generating images from text descriptions. For more information, please read our blog post(https://blackforestlabs.ai/announcing-bl...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...