Xenova/Qwen1.5-0.5B-Chat
https://huggingface.co/Qwen/Qwen1.5-0.5B-Chat with ONNX weights to be compatible with Transformers.js. Usage (Transformers.js) If you haven't already, you can install the Transformers.js(https://huggingface.co/docs/transformers.js) JavaScript library...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#8 Repository Của Tuần
🚀 Qwen1.5-0.5B-Chat phiên bản ONNX — Chạy LLM ngay trên trình duyệt
Phiên bản ONNX của Qwen1.5-0.5B-Chat, tương thích với Transformers.js để chạy mô hình ngôn ngữ lớn trực tiếp trên trình duyệt mà không cần máy chủ.
Đây là mô hình ngôn ngữ lớn (LLM) dựa trên Qwen1.5-0.5B-Chat của Alibaba, được chuyển đổi sang định dạng ONNX nhờ công cụ 🤗 Optimum. Mục đích là để hỗ trợ chạy trên Transformers.js — thư viện JavaScript cho phép thực thi mô hình trên phía client (trình duyệt hoặc Node.js) mà không cần backend phụ trợ.
✨ Điểm nổi bật
- Chuyển đổi ONNX: Mô hình được lư trữ dưới dạng trọng số ONNX trong thư mục
onnx, tối ưu cho inference trên web. - Tích hợp Transformers.js: Hỗ trợ sẵn API pipeline
text-generation, dễ dàng khởi chạy chỉ bằng một dòng lệnh. - Chat template hóa: Hỗ trợ định dạng tin nhắn multi-role (system/user) thông qua
apply_chat_template. - Không cần server: Chạy trực tiếp trên trình duyệt hoặc môi trường Node.js, giảm chi phí triển khai.
- Tương thích WebML: Là bước chuyển tiếp tạm thời cho đến khi WebML được hỗ trợ rộng rãi hơn.
💡 Vì sao đáng chú ý
Không giống các giải pháp LLM truyền thống cần triển khai trên server, Qwen1.5-0.5B-Chat phiên bản ONNX cho phép nhúng mô hình ngôn ngữ lớn nhỏ gọn ngay vào ứng dụng web hoặc ứng dụng đa nền tảng mà không cần kết nối tới backend. Đây là lựa chọn lý tưởng cho các dự án demo, công cụ NLP nhẹ, hoặc môi trường có hạn chế về tài nguyên server. Ngoài ra, cấu trúc lưu trữ ONNX trong thư mục riêng cũng được đề xuất như một mẫu chuẩn khi chuyển đổi mô hình khác sang định dạng web-friendly.
#Qwen #ONNX #TransformersJS #TextGeneration #TiniX
Similar Projects
Discover other similar projects and AI models.
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence Technical Report👁️ Introduction We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language models — DeepSeek-V4-Pro with 1.6T p...