youssofal/MTPLX

🚀 MTPLX: Chạy LLM local trên Apple Silicon nhanh hơn 2x nhờ MTP

MTPLX dùng multi-token prediction (MTP) để mô hình tự đề xuất nhiều token, sau đó xác minh trong một lượt forward pass — nhanh hơn mà vẫn giữ nguyên phân phối xác suất gốc.

MTPLX là một ứng dụng Mac và công cụ dòng lệnh để chạy các mô hình ngôn ngữ lớn (LLM) local trên chip Apple Silicon. Thay vì dùng một mô hình phụ để draft token (như các công cụ khác), MTPLX khai thác các đầu MTP (multi-token prediction head) đã tích hợp sẵn trong các mô hình hiện đại như Qwen 3.5/3.6. Mô hình sẽ tự động dự đoán một chuỗi token, rồi dùng định lý từ chối của Leviathan & Chen để kiểm tra và giữ lại những token hợp lệ. Kết quả: tốc độ tăng tới 1.6x trên M4 Mac mini (16GB) và 2.24x trên M5 Max — mà không cần thêm bộ nhớ RAM hay thay đổi hành vi sinh.

✨ Điểm nổi bật

• MTP gốc, không cần mô hình phụ: Mô hình tự draft và tự verify, không tốn RAM cho bộ dự báo bên ngoài.
• Tương thích OpenAI & Anthropic: Cung cấp API /v1/chat/completions, /v1/completions, /v1/messages (Anthropic), hỗ trợ streaming và tool calling.
• Tự động điều chỉnh tốc độ: mtplx tune đo tốc độ thực tế trên từng máy để chọn độ sâu draft tối ưu.
• Forge: tạo mô hình MTP riêng: Chuyển đổi mô hình Hugging Face thành bản MTP tối ưu cho MLX, kèm đo lường tăng tốc thực tế.
• Dashboard giám sát thời gian thực: Theo dõi tokens/giây, tỷ lệ chấp nhận, trạng thái cache và áp suất hệ thống trong khi chạy.
• Bộ nhớ phiên (session bank): Hỗ trợ multi-turn chat nhanh, khôi phục phiên ngay cả sau khi khởi động lại nhờ cache SSD.
• Đánh giá AIME tích hợp: Chạy benchmark AIME mà không cần prompt hướng dẫn, giúp tự đánh giá hiệu năng mô hình.
• Cài đặt nhanh chóng: App Mac hỗ trợ tải model, cài Python engine riêng, đặt lên PATH — chỉ cần kéo vào Applications.

💡 Vì sao đáng chú ý

Khác với các công cụ draft-model truyền thống, MTPLX không cần một mô hình phụ để sinh token — nó dùng chính MTP head của mô hình để dự đoán nhiều token, sau đó xác minh bằng rejection sampling. Điều này giúp tiết kiệm bộ nhớ đáng kể và tránh sai lệch phân phối sinh. Đặc biệt, hệ thống tự động tune tốc độ trên từng thiết bị, kèm dashboard chi tiết giúp người dùng quan sát hiệu năng thực thì — rất hữu ích cho cả nhà phát triển và người dùng cuối.

#AppleSilicon #MLX #MTP #SpeculativeDecoding #OpenAICompatible #Qwen #TiniX