Nayjest/lm-proxy

🚀 LM-Proxy: Giải pháp proxy LLM đa nhà cung cấp, tương thích OpenAI API

Một gateway HTTP nhẹ, mở rộng được bằng Python/FastAPI, giúp bạn dễ dàng chuyển đổi giữa các nhà cung cấp LLM mà không cần thay đổi mã khách hàng.

LM-Proxy là một dự án nguồn mở Python sử dụng FastAPI để xây dựng một proxy/gateway cho các mô hình ngôn ngữ lớn (LLM). Dự án hỗ trợ kết nối tới OpenAI, Anthropic, Google AI, cũng như các mô hình PyTorch chạy cục bộ, đồng thời duy trì tính tương thích hoàn toàn với định dạng API của OpenAI. Bạn có thể dùng LM-Proxy như một dịch vụ HTTP độc lập hoặc như một thư viện Python để tích hợp vào dự án.

✨ Điểm nổi bật

• Hỗ trợ đa nhà cung cấp: Kết nối tới OpenAI, Anthropic, Google AI và mô hình địa phương qua một API thống nhất.
• Tuân thủ OpenAI API: Tương thích hoàn toàn với định dạng API của OpenAI, dễ dàng thay thế.
• Định tuyến động: Định tuyến yêu cầu tới các nhà cung cấp khác nhau dựa trên tên mô hình.
• Hỗ trợ streaming: Trả về token theo thời gian thực thông qua streaming.
• Quản lý API key an toàn: Hỗ trợ quản lý API key ảo và kiểm soát truy cập dựa trên nhóm người dùng.
• Cấu hình linh hoạt: Hỗ trợ cấu hình bằng TOML, YAML, JSON hoặc Python.
• Mở rộng dễ dàng: Kiến trúc lõi nhẹ với các điểm mở rộng rõ rệt, dễ dàng tùy biến.

💡 Vì sao đáng chú ý

LM-Proxy khác biệt so với cách làm thông thường bằng cách cung cấp một lớp trừu tượng hóa hoàn hảo cho các nhà cung cấp LLM khác nhau. Thay vì phải tích hợp riêng lẻ với từng API của OpenAI, Anthropic hay Google, bạn chỉ cần cấu hình một lần và sử dụng duy nhất một endpoint. Điều này đặc biệt hữu ích cho các ứng dụng sản phẩm cần linh hoạt chuyển đổi giữa các mô hình hoặc tích hợp cả mô hình đám mây lẫn mô hình địa phương. Với tính năng streaming và quản lý API key an toàn, LM-Proxy phù hợp cả cho môi trường phát triển và sản phẩm thực tế.

#LLM #AIProxy #FastAPI #OpenAI #TiniX