usemoss/moss

🔍 Moss — Runtime tìm kiếm ngữ nghĩa dưới 10ms cho AI agent thời gian thực

Tìm kiếm ngữ nghĩa không mạng, không cơ sở dữ liệu vectơ — chỉ với một SDK duy nhất.

Moss là một runtime tìm kiếm ngữ nghĩa được thiết kế riêng cho các hệ thống AI đối thoại thời gian thực. Không cần kết nối tới vector database, Moss thực hiện cả embedding và tìm kiếm ngay bên trong quy trình của bạn, mang lại độ trễ dưới 10ms. Hỗ trợ Python, TypeScript, Elixir và C, cùng bản dựng WebAssembly để chạy trên trình duyệt.

✨ Điểm nổi bật

• Tìm kiếm ngữ nghĩa dưới 10ms: Độ trễ p99 ở mức 5.4ms trên 100.000 tài liệu.
• Tìm kiếm lai: Kết hợp semantic + keyword search trong một truy vấn duy nhất.
• Mô hình embedding tích hợp: Không cần khóa OpenAI, hỗ trợ cả mô hình tùy chỉnh.
• Lọc metadata: Hỗ trợ các toán tử $eq, $and, $in, $near.
• Chạy trên trình duyệt: Phiên bản WebAssembly riêng biệt cho tìm kiếm ngữ nghĩa client-side.
• Kết nối cơ sở dữ liệu: Hỗ trợ ingest trực tiếp từ SQLite, MongoDB, MySQL, Supabase.
• CLI và SDK đa ngôn ngữ: Python, TypeScript, Elixir, C.
• Tích hợp khung làm việc: LangChain, LlamaIndex, DSPy, Pipecat, LiveKit, Vapi, ElevenLabs.

💡 Vì sao đáng chú ý

Hầu hết các ngăn xếp tìm kiếm hiện nay đều gọi đến một vector database từ xa, gây độ trễ 200–500ms — đủ để làm mất phản hồi thời gian thực. Moss giải quyết vấn đề này bằng cách đưa cả embedding và tìm kiếm vào bên trong quy trình của bạn, loại bỏ hoàn toàn mạng trên đường truyền chính. Điều này khiến Moss trở thành lựa chọn lý tưởng cho các ứng dụng chatbot, voice bot hay AI agent cần tương tác mượt mà với người dùng.

#SemanticSearch #RAG #AIINFRA #REALTIME #HYBRIDSEARCH #VoiceAI #TiniX