BlinkDL/RWKV-LM
RWKV (pronounced RwaKuv) is an RNN with great LLM performance, which can also be directly trained like a GPT transformer (parallelizable). We are at RWKV-7 "Goose". So it's combining the best of RNN and transformer - great performance, linear time, constant space (no kv-cache), fast training, infinite ctx_len, and free sentence embedding.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🦢 RWKV-LM: RNN paralelizable bằng transformer — tốc độ cao, bộ nhớ không tăng trường
RWKV (phát âm "RwaKuv") là mô hình RNN đạt hiệu năng ngang cấp LLM nhưng vẫn train paralel như GPT — linear time, constant space, không cần kv-cache.
RWKV-LM là dự án mã nguồn mở phát triển bởi BlinkDL, mang đến kiến trúc RNN mới tạo ra hiệu năng ngang cấp transformer. Đến với phiên bản RWKV-7 "Goose", mô hình đã trở thành một RNN tuyến tính thời gian, không lưu trữ kv-cache, không dùng cơ chế attention, phù hợp cho cả ứng dụng LLM và đa dạng hóa dữ liệu.
✨ Điểm nổi bật
- Linear time & constant space: RWKV-7 vận hành với độ phức tạp thời gian tuyến tính và bộ nhớ không tăng theo ngữ cảnh dài.
- Attention-free: Không cần cơ chế attention truyền thống, giảm chi phí tính toán đáng kể.
- Train paralel như GPT: Hỗ trợ huấn luyện song song như transformer, tận dụng hiệu quả GPU.
- Infinite context length: Hỗ trợ ngữ cảnh vô hạn nhờ cơ chế RNN tích hợp trạng thái.
- Free sentence embedding: Cung cấp embedding câu miễn phí mà không cần xử lý phụ thêm.
- Tốc độ inference cao: Đạt hơn 145 token/s với bsz=1 và hơn 10.000 token/s với bsz lớn trên RTX 5090.
- Tốc độ train nhanh: Đạt 263k tokens/s khi huấn luyện RWKV-7 7.2B bf16 trên 4x8xH100.
💡 Vì sao đáng chú ý
RWKV khác biệt từ các mô hình truyền thống bằng cách kết hợp lợi thế của cả RNN và transformer: tốc độ và hiệu năng của transformer nhưng với cấu trúc tuần tự tính toán của RNN, giúp tiết kiệm bộ nhớ và tăng tốc inference. Phiên bản RWKV-7 "Goose" còn là một meta-in-context learner, học tại thời điểm kiểm tra bằng gradient descent trong ngữ cảnh. Đây là lựa chọn lý tưởng cho các ứng dụng cần tốc độ cao và quy mô lớn mà không muốn phụ thuộc vào kv-cache truyền thống.
#RWKV #LLM #RNN #Transformer #AI #MachineLearning #TiniX
Similar Projects
Discover other similar projects and AI models.
Implement a ChatGPT-like LLM in PyTorch from scratch, step by step
Code for loralib, an implementation of "LoRA: Low-Rank Adaptation of Large Language Models"
An implementation of model parallel GPT-2 and GPT-3-style models using the mesh-tensorflow library.
A high-throughput and memory-efficient inference and serving engine for LLMs
🐙 Guides, papers, lessons, notebooks and resources for prompt engineering, context engineering, RAG, and AI Agents.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
🧑🏫 60+ Implementations/tutorials of deep learning papers with side-by-side notes 📝; including transformers (original, xl, switch, feedback, vit, ...), optimizers (adam, adabelief, sophia, ...), gans(cyclegan, stylegan2, ...), 🎮 reinforcement learning (ppo, dqn), capsnet, distillation, ... 🧠
🧑🏫 60+ Implementations/tutorials of deep learning papers with side-by-side notes 📝; including transformers (original, xl, switch, feedback, vit, ...), optimizers (adam, adabelief, sophia, ...), gans(cyclegan, stylegan2, ...), 🎮 reinforcement learning (ppo, dqn), capsnet, distillation, ... 🧠