Jit-Roy/WeeLLM

🚀 Chạy mô hình diffusion khổng lồ trên máy tính bán thời gian — chỉ với 4GB VRAM

WeeLLM stream từng layer của text encoder và transformer xuống GPU, cho phép chạy mô hình khổng lồ mà không cần quantization.

WeeLLM là một dự án Python mã nguồn mở cho phép chạy các mô hình diffusion lớn như FLUX.1, SDXL, Qwen-Image hay HiDream-I1 ngay trên phần cứng có VRAM nhỏ (dưới 4GB). Thay vì tải toàn bộ mô hình lên GPU, WeeLLM sẽ xác định số lượng layer có thể vừa đủ trong VRAM và stream phần còn lại từng lớp xuống GPU khi cần thiết — giúp tiết kiệm bộ nhớ tối đa trong khi vẫn duy trì độ chính xác bằng bfloat16.

✨ Điểm nổi bật

• Stream layer-by-layer: Tự động xác định số layer vừa với VRAM và stream phần còn lại.
• Hỗ trợ cả safetensors và GGUF: Tương thích với nhiều định dạng mô hình phổ biến.
• Không quantization: Giữ nguyên độ chính xác đầy đủ bằng cách sử dụng bfloat16.
• Hỗ trợ đa dạng mô hình: Bao gồm SDXL, FLUX.1, SD 3.5, Qwen-Image, HiDream-I1, Krea-2 Turbo...
• Hỗ trợ cả video: Chạy được mô hình sinh video như MiniMax-H3 và LTX 2.5.
• CLI thân thiện: Dễ dàng chạy qua dòng lệnh với các tham số rõ ràng.
• Tối ưu cho máy local: Hiệu suất tốt nhất khi dùng NVMe SSD và GPU hiện đại.

💡 Vì sao đáng chú ý

WeeLLM khác biệt so với các giải pháp khác ở chỗ nó không cần quantization để giảm kích thước mô hình — thay vào đó, nó sử dụng kỹ thuật streaming layer để vừa tiết kiệm VRAM, vừa giữ nguyên chất lượng đầu ra. Điều này mở ra khả năng chạy các mô hình lớn như FLUX.1-dev (~12B) hoặc Qwen-Image (~20B) trên máy tính cá nhân với chi phí phần cứng thấp. Tuy nhiên, do kiến trúc streaming dựa trên I/O liên tục, hiệu năng có thể giảm trên môi trường đám mây nếu tốc độ đĩa bị hạn chế.

#AI #MachineLearning #StableDiffusion #FLUX #LowVRAM #OpenSource #TiniX