aufklarer/PersonaPlex-7B-MLX-4bit
Note: For full-duplex (real-time) inference, use the 8-bit variant(https://huggingface.co/aufklarer/PersonaPlex-7B-MLX-8bit) instead. 4-bit quantization degrades PersonaPlex response quality significantly — INT8 is both 30% faster (112ms vs 158ms/st...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🗣️ PersonaPlex-7B MLX 4-bit — Full-duplex speech-to-speech trên Apple Silicon
4-bit quantization tiết kiệm bộ nhớ nhưng giảm chất lượng phản hồi đáng kể. Dùng bản 8-bit nếu cần thời gian thực.
PersonaPlex-7B-MLX-4bit là mô hình speech-to-speech full-duplex 7B của NVIDIA, được chuyển đổi sang định dạng MLX với quantization 4-bit, tối ưu chạy trên Apple Silicon. Dựa trên kiến trúc Kyutai Moshi, hỗ trợ inference bằng Swift thông qua thư viện soniqo/speech-swift.
✨ Điểm nổi bật
- Full-duplex: Hỗ trợ giao tiếp hai chiều thời gian thực giữa người dùng và mô hình
- 4-bit quantization: Giảm kích thước mô hình xuống ~3.5GB cho temporal transformer
- MLX format: Tối ưu cho Apple Silicon với safetensors
- 18 voice presets: Bao gồm giọng tự nhiên và giọng đa dạng cho cả nam và nữ
- Swift inference: Hỗ trợ tích hợp trực tiếp vào ứng dụng Swift
- Mimi codec: Mã hóa/giải mã âm thanh 24kHz với 16 codebook tokens
- Temporal transformer: 32 lớp, 4096 chiều, 32 đầu, tổng 7 tỷ tham số
- Depformer: Tạo token âm thanh phản hồi qua 6 lớp per-codebook
💡 Vì sao đáng chú ý
Khác biệt từ các mô hình speech-to-text truyền thống, PersonaPlex hỗ trợ giao tiếp âm thanh-toàn-thời-gian-thực full-duplex, cho phép cuộc trò chuyện tự nhiên giống con người. Tuy nhiên, quantization 4-bit có thể gây giảm chất lượng phản hồi đááng kể so với bản 8-bit gốc.
Dự án phù hợp cho các ứng dụng AI giao diện giọng nói trên thiết bị Mac/iOS, cho phép chạy mô hình lớn mà không cần kết nối mạng. Tuy nhiên, đối với inference thời gian thực, nhà phát triển khuyên dùng bản 8-bit để đạt tốc độ 112ms/step và chất lượng phản hồi tốt hơn.
#PersonaPlex #MLX #AppleSilicon #SpeechToSpeech #FullDuplex #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
PersonaPlex: Voice and role control for full duplex conversational speech models h1, h2, h3, h4, h5, h6 { color: 76b900; / NVIDIA green / font-weight: 700; } hr { border: none; border-top: 1px solid e5e7eb; margin: 2rem 0; } / Improve list spacing /...
PersonaPlex-7B MLX 8-bit PersonaPlex(https://arxiv.org/abs/2504.07966) 7B full-duplex speech-to-speech model converted to MLX safetensors with 8-bit quantization for Apple Silicon. Converted from nvidia/personaplex-7b-v1(https://huggingface.co/nvidi...
Try LFM • Docs • LEAP • Discord LFM2.5‑Audio-1.5B LFM2.5-Audio-1.5B is Liquid AI(https://www.liquid.ai/)'s updated end-to-end audio foundation model. Key improvements include a custom, LFM based audio detokenizer, llama.cpp compatible GGUFs for CPU...
Try LFM • Documentation • LEAP LFM2‑Audio-1.5B LFM2-Audio-1.5B is Liquid AI(https://www.liquid.ai/)'s first end-to-end audio foundation model. Designed with low latency and real time conversation in mind, at only 1.5 billion parameters LFM2-Audio en...
Try LFM • Docs • LEAP • Discord LFM2.5-Audio-1.5B-JP This repository contains GGUF quantizations of LiquidAI/LFM2.5-Audio-1.5B-JP(https://huggingface.co/LiquidAI/LFM2.5-Audio-1.5B-JP) for use with llama.cpp(https://github.com/ggml-org/llama.cpp). Av...
LTX-2.5 — Video, Audio & World Simulation Full control and customization — self-host on your infrastructure. Homepage Docs GitHub Research API Playground Discord LTX License LTX-2.5 — Video, Audio & World Simulation Full control and customiz...
A simple, high-quality voice conversion tool, focused on ease of use and performance. 🌐 Website • 📚 Documentation • ☎️ Discord 🛒 Plugins • 📦 Compiled • 🎮 Playground • 🔎 Google Colab (UI) • 🔎 Google Colab (No UI) Introduction Applio is a power...
NeuCodec 🎧 !NeuCodec Intro(NeuCodec-Thumbnail.jpg)(https://www.youtube.com/watch?v=O7XH1lGZyYY) Click the image above to see NeuCodec in action on Youtube! Created by Neuphonic - building faster, smaller, on-device voice AI A lightweight neural cod...
MioCodec-25Hz-44.1kHz-v2: Lightweight Neural Audio Codec for Efficient Spoken Language Modeling !GitHub(https://img.shields.io/badge/Code-GitHub-black)(https://github.com/Aratako/MioCodec) MioCodec-25Hz-44.1kHz-v2 is an upsampled, high-fidelity vers...