Phocinae/Phocinae-Largha-150M-v1

🦭 Phocinae-Largha-150M-v1 — Mô hình quyết định siêu nhẹ, quyết định toàn diện

Mô hình quyết định 144.3M tham số, bilingual (en-first / zh), chạy toàn bộ local trên CPU hoặc GPU, xử lý một quyết định phức tạp chỉ với một lần forward pass — trong 21.0 ms trên RTX 5090.

Phocinae-Largha-150M-v1 (tên gọi là "斑海豹" — con hải cẩu đốm) là một mô hình quyết định có cấu trúc (structured decisions), không phải mô hình trò chuyện. Nó nhận một trạng thái (state) kèm danh sách câu hỏi có kiểu (typed questions): noul (có/không), choice (chọn một), score (2–10), và trả về câu trả lời đã được hiệu chuẩn (calibrated) kèm mức độ tự tin (confidence), đồng thời bền vững trước thứ tự lựa chọn bị đảo (option-order invariance).

Dựa trên nền tảng mmBERT-small (JHU CLSP, MIT), mô hình hỗ trợ cả tiếng Anh và tiếng Trung (tiếng Trung được đánh giá thông qua bản dịch máy), phù hợp để triển khai trên phần cứng cá nhân mà không cần kết nối mạng.

✨ Điểm nổi bật

• 144.3M tham số: kiến trúc mmBERT-small (hidden 384 × 22 layers × 6 heads), tokenizer 256k từ vựng, RoPE + sliding-window + full attention.
• Bilingual (en/zh): tiếng Anh là ngôn ngữ chính, tiếng Trung được hỗ trợ qua bản dịch máy và huấn luyện một phần bằng tiếng Trung.
• Quyết định có cấu trúc: hỗ trợ 3 loại câu hỏi — noul (có/không), choice (chọn một), score (2–10).
• Tốc độ vượt trội: 21.0 ms/decision trên GPU (RTX 5090), 1.64s/case trên CPU đơn luồng, 8–20 decision/s trên CPU 8 luồng.
• Robust với thứ tự lựa chọn: flip150 = 0.0200, flip400 = 0.0217 — mô hình không bị ảnh hưởng khi các lựa chọn được sắp xếp lại.
• Calibrated confidence: ECE gốc 0.2519 (en) / 0.1941 (zh); với calibration column: 0.0168 / 0.0152.
• Escalate routing tiết kiệm chi phí: giảm 55.0% lời gọi LLM, độ chính xác tăng từ 0.906 lên 0.9936 ở tập con được giữ lại.
• JevBench tool_selection: đạt 12/12 (k≤10), cho thấy hiệu suất mạnh mẽ trong lựa chọn công cụ.

💡 Vì sao đáng chú ý

Phocinae-Largha-150M-v1 khác biệt ở việc biến các quyết định lặp lại trong phiên làm việc của agent (chẳng hạn như duyệt lệnh, chọn công cụ, kiểm tra bước) thành các phép tính siêu nhanh chỉ với một lần forward pass. Thay vì gửi một cuộc gọi API trỏ tới LLM lớn (500–4.000 token), mô hình đưa ra quyết định trong 21.0 ms hoàn toàn cục bộ — giữ dữ liệu tại chỗ và giảm đáng kể chi phí vận hành.

Điều này đặc biệt hữu ích trong các hệ thống cần kiểm soát truy cập (command approval), phân lọại thời gian thực (real-time classification), hoặc bất kỳ ứng dụng nào yêu cầu tính quyết định nhanh, minh bạch và có thể tái tạo (auditable).

#SmallModel #DecisionMaking #CPUInference #Bilingual #TiniX