intel/ipex-llm

🚀 IPEX-LLM — Thư viện tăng tốc LLM trên phần cứng Intel

IPEX-LLM tối ưu hóa suy diễn và fine-tuning các mô hình ngôn ngữ lớn (LLM) như LLaMA, Mistral, Qwen, DeepSeek trên GPU, NPU và CPU của Intel.

IPEX-LLM là một thư viện hỗ trợ PyTorch nhằm tăng tốc các dự án LLM chạy trên phần cứng Intel, bao gồm cả GPU rời (Arc, Flex, Max), GPU tích hợp (iGPU) và bộ xử lý NPU trên các dòng CPU Core Ultra. Dự án tích hợp liền mạch với nhiều công cụ phổ biến như HuggingFace Transformers, Ollama, vLLM, LangChain, LlamaIndex, DeepSpeed, Axolotl...

Lưu ý quan trọng: Dự án hiện đã ngừng phát triển và không còậnhận bản vá bảo mật từ Intel.

✨ Điểm nổi bật

• Hỗ trợ 70+ mô hình: Tối ưu hóa và kiểm chứng trên các mô hình như Llama, Phi, Mistral, Mixtral, DeepSeek, Qwen, ChatGLM, MiniCPM, Qwen-VL...
• Tăng tốc XPU: Tận dụng hiệu năng cao trên GPU/NPU Intel với hỗ trợ FP8/FP6/FP4/INT4.
• Tích hợp công cụ đa dạng: Hỗ trợ llama.cpp, Ollama, vLLM, HuggingFace, LangChain, LlamaIndex, DeepSpeed, Axolotl...
• Chạy DeepSeek V3/R1 671B: Chỉ cần 1-2 GPU Arc như A770 hoặc B580 nhờ FlashMoE.
• Hỗ trợ Portable Zip: Cài đặt nhanh qua Ollama và llama.cpp mà không cần cài đặt thủ công.
• Fine-tuning LLM: Hỗ trợ Axolotl, HuggingFace PEFT, TRL cho việc tinh chỉnh mô hình.
• Đa nền tảng: Chạy trên Windows và Linux cho cả GPU và NPU.

💡 Vì sao đáng chú ý

IPEX-LLM khác biệt ở khả năng tối ưu cả suy diễn và fine-tuning trên toàn bộ dải phần cứng Intel, từ PC đến máy chủ. Điều này giúp người dùng dễ dàng triển khai LLM cục bộ mà không cần phụ thuộc vào đám mây.

Tuy nhiên, do dự án đã ngừng cập nhật và có lỗ hổng bảo mật đã biết, người dùng nên cân nhắc kỹ trước khi áp dụng vào môi trường sản xuất.

---

#IPEXLLM #LLM #PyTorch #IntelGPU #OpenSource #TiniX