Meridius-Labs/apple-on-device-ai

🍎 Truy cập Apple Foundation Models trên Node.js và Bun

Binding không chính thức giúp bạn dùng mô hình ngôn ngữ lớn (LLM) của Apple ngay trên máy, mà không cần gửi dữ liệu ra bên ngoài.

Dự án apple-on-device-ai của Meridius Labs cung cấp cách kết nối trực tiếp đến các mô hình AI của Apple thông qua giao diện native hoặc tích hợp sẵn với Vercel AI SDK. Chạy trên macOS 26+ và chip Apple Silicon (M1/M2/M3/M4), dự án hỗ trợ streaming, sinh dữ liệu có cấu trúc bằng Zod hoặc JSON Schema, gọi công cụ (tool calling), và giao diện chat theo phong cách OpenAI.

✨ Điểm nổi bật

• Tích hợp Apple Intelligence: Truy cập trực tiếp các mô hình on-device của Apple.
• Hỗ trợ hai API: Dùng giao diện native của Apple hoặc tích hợp với Vercel AI SDK.
• Streaming thời gian thực: Trả về phản hồi theo từng đoạn nhỏ, tương thích định dạng OpenAI.
• Sinh dữ liệu có cấu trúc: Sử dụng Zod schema hoặc JSON Schema để sinh đối tượng phức tạp.
• Giao diện chat: Hỗ trợ lịch sử tin nhắn theo phong cách OpenAI.
• Gọi công cụ (Tool Calling): Định nghĩa và gọi hàm thông qua Zod hoặc JSON Schema.
• Đa nền tảng: Tương thích với React, Next.js, Vue, Svelte và Node.js.
• TypeScript: Hỗ trợ đầy đủ kiểu dữ liệu và trải nghiệm phát triển tốt.

💡 Vì sao đáng chú ý

Không giống các dịch vụ LLM đám mây, dự án này giữ toàn bộ quy trình suy luận trên chính thiết bị người dùng — an toàn cho dữ liệu nhạy cảm và không cần kết nối mạng. Đặc biệt hữu ích cho các ứng dụng cục quan như trợ lý cá nhân, phân tích tài liệu nội bộ, hoặc bất kỳ dự án nào cần khai thác sức mạnh AI mà không đồng nghĩa với việc đưa dữ liệu ra ngoài.

#AppleIntelligence #OnDeviceAI #VercelAISDK #NodeJS #TiniX