tgo-app-dev/vpipe

🚀 VPIPE: Runtime AI đa phương thức trên Metal cho Mac Silicon

VPIPE biến mô hình, luồng media, và công cụ thành đồ thị pipeline C++ có thể kiểm tra trên Mac Silicon.

VPIPE là một runtime AI đa phương thức nhẹ (dưới 30 MB) chạy trực tiếp trên Metal — không dùng MPS, MLX hay Python cho inference. Nó hỗ trợ tạo video MiniMax H3 (33B) và LTX-2.5 cùng nhạc nền trên máy 16 GB, biên tập ảnh FLUX.2-klein, chat Qwen đa hình ảnh, VQA thời gian thực, ASR/TTS, và gọi công cụ địa phương.

✨ Điểm nổi bật

• Đồ thị đa phương thức: video, âm thanh, hình ảnh, văn bản, và hành động công cụ trong một pipeline
• Inference Metal gốc: kernel tùy chỉnh, không runtime tensor bên thứ ba
• Thân thiện máy cơ sở: streaming trọng lượng và chuẩn bị mô hình 4-bit cho 16 GB
• Pipeline sẵn có: biên tập ảnh, video MiniMax H3, chat Qwen, VQA thời gian thực, ASR/TTS, gọi công cụ địa phương
• Composer có thể tái tạo: lưu layout, prompt, tham số và cấu hình mô hình
• Dễ sử dụng: ứng dụng macOS, giao diện web, truy cập từ trình duyệt điện thoại

💡 Vì sao đáng chú ý

VPIPE khác biệt bằng cách chạy inference thẳng qua Metal kernels thay vì dựa trên MLX hay MPS, mang lại tốc độ tối ưu trên Mac Silicon. Với bảng so sánh hiệu năng, VPIPE chạy MiniMax H3 nhanh hơn h3.c trên cả M4 Pro và M5 MacBook Air. Đặc biệt, nó biến máy Mac 16 GB thành nền tảng chạy mô hình 33B tạo video và nhạc đồng thời — điều được coi là khó khăn trên phần cứng cấp tiển.

#AI #AppleSilicon #Metal #Multimodal #TiniX