Lightning-AI/litgpt

⚡ LitGPT - 20+ LLM từ zero, tối ưu cho pretrain, finetune và deploy

LitGPT cung cấp 20+ mô hình LLM được cài đặt từ đầu, không abstraction layer, hỗ trợ Flash attention, FSDP, LoRA/QLoRA, quantization, chạy trên 1-1000+ GPU/TPU.

LitGPT là một thư viện Python mã nguồn mở (Apache 2.0) từ Lightning AI, cài đặt lại hơn 20 mô hình LLM lớn từ đầu với kiến trúc tối giản, trực tiếp, không qua lớp trừu tượng nào. Dự án hướng tới việc cung cấp các công thức (recipes) tối ưu để pretrain, finetune và triển khai mô hình ở quy mô doanh nghiệp, đồng thời hỗ trợ inference nhanh và tiết kiệm bộ nhớ GPU.

✨ Điểm nổi bật

• Cài đặt từ đầu (no abstractions): Mỗi mô hình được viết trong một tệp duy nhất, dễ gỡ lỗi, kiểm soát hoàn toàn.
• Flash attention & FSDP: Tối ưu tốc độ attention và hỗ trợ phân phối mô hình trên nhiều GPU/TPU.
• LoRA, QLoRA, Adapter: Hỗ trợ fine-tuning hiệu quả với bộ nhớ thấp.
• Quantization (fp4/8/16/32): Giảm tiêu thụ bộ nhớ GPU, chạy trên GPU thấp cấu hình.
• 20+ mô hình hỗ trợ: Bao gồm Llama 3, Code Llama, Gemma 2, Phi 4, Qwen2.5, DeepSeek R1...
• Triển khai nhanh: Dùng API đơn giản LLM.load() và llm.generate() để inference ngay.
• Công thức YAML (recipes): Cấu hình pretrain/finetune bằng YAML, dễ tù biến và tái sử dụng.
• Apache 2.0: Miễn phí cho mọi mục đích, bao gồm cả sử dụng thương mại.

💡 Vì sao đáng chú ý

LitGPT khác biệt bởi cách tiếp cận "từ đầu, không abstraction" — thay vì dựa trên các framework nặặc, mỗi mô hình được cài đặt trực tiếp trong một tệp Python, giúp dễ dàng gỡ lỗi và tối ưu hiệu năng. Kết hợp Flash attention, FSDP và quantization, thư viện giảm đáng kể bộ nhớ GPU nhưng vẫn duy trì tốc độ inference cao, phù hợp cho cả môi trường cá nhân lẫn quy mô doanh nghiệp lớn.

#LLM #MachineLearning #OpenSource #AI #TiniX