ustcwhy/BitVLA

🧠 BitVLA — Mô hình VLA 1-bit nén cực độ cho robotics manipulation

Một mô hình 3.0B tham số dùng chỉ 1.4GB RAM nhưng đạt 96.0 điểm trên LIBERO — vượt OpenVLA 7.5B và UniVLA 8.5B.

BitVLA là bản triển khai chính thức của paper "BitVLA: 1-bit Vision-Language-Action Models for Robotics Manipulation" (tháng 6/2025, arxiv). Dự án áp dụng kỹ thuật lượng tử hóa 1-bit (BitNet) vào mô hình đa phương thức thị giác-ngôn ngữ-hành động (VLA), cho phép chạy robot manipulation với kích thước mô hình nhỏ hơn rất nhiều so với các đối thủ cùng phân khúc.

Phiên bản tiền huấn luyện (pre-trained) đã được công bố tháng 3/2026 và có thể tải trực tiếp từ HuggingFace để sử dụng ngay.

✨ Điểm nổi bật

• 1-bit lượng tử hóa: toàn bộ mô hình sử dụng trọng số 1-bit, giảm bộ nhớ xuống chỉ còn 1.4GB cho mô hình 3.0B — gấp ~10 lần nhỏ hơn OpenVLA 7.5B (15.1GB)
• Hiệu năng vượt trội: đạt 96.0 điểm trung bình trên LIBERO, cao hơn OpenVLA (76.5), UniVLA (95.2), và GROOT-N1 (93.9)
• Pre-trained model sẵn sàng: tải lxsy/bitvla-bf16 ra khỏi hộp, không cần huấn luyện thêm
• Full pipeline open source: paper, pre-trained VLM, evaluation code, fine-tuned VLA code và model đều công khai
• Đa nhiệm VQA + Robotics: đánh giá trên cả VQA (thị giác-câu hỏi) và benchmark LIBERO (Spatial, Object, Goal, Long)
• Nhiều checkpoint: VL-only, VLA pre-trained, và fine-tuned trên từng nhiệm vụ LIBERO cụ thể

💡 Vì sao đáng chú ý

Rào cản lớn nhất của mô hình VLA hiện nay là bộ nhớ — OpenVLA, UniVLA đều trên 7B tham số cần 15–17GB GPU để chạy, khiến triển khai trên robot thật hoặc thiết bị edge gần như bất khả thi. BitVLA chứng minh rằng lượng tử hóa 1-bit không chỉ tiết kiệm tài nguyên mà còn nâng cao hiệu năng: mô hình 3.0B của họ đánh bại hoặc bằng các mô hình lớn gấp 2–3 lần.

Điều này mở ra khả năng chạy VLA trên phần cứng hạn chế hơn rất nhiều — từ robot công nghiệp đến thiết bị nhúng. Dự án cũng đang trong quá trình công bố code tiền huấn luyện, nghĩa là cộng đồng có thể tự huấn luyện và mở rộng mô hình trong tương lai.

#BitNet #Robotics #VLA #1BitQuantization #TiniX