tiiuae/Falcon-Perception
Falcon Perception Falcon Perception is a 0.6B parameter early-fusion vision-language model for open-vocabulary grounding and instance segmentation. Given an image and a natural language query, it returns zero, one, or many matching instances with pi...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🎯 Falcon Perception: Segmentation mở vực 0.6B, mask chuẩn pixel ngay từ query
0.6B tham số, early-fusion, trả mask pixel-accurate từ một câu query.
Falcon Perception là mô hình vision-language early-fusion 0.6B tham số của TII, chuyên grounding và instance segmentation theo từ vực mở. Đưa ảnh và câu query ngôn ngữ tự nhiên, mô hình sinh ra 0, 1, hoặc nhiều instance kèm mask pixel chính xác.
✨ Điểm nổi bật
- 0.6B tham số: mô hình nhẹ nhưng mạnh cho segmentation
- Early-fusion: image patches và text tokens xử lý cùng Transformer từ layer đầu
- Hybrid attention: bidirectional cho image, causal cho text và task tokens
- Chain-of-Perception: sinh
<|coord|>→<|size|>→<|seg|>theo thứ tự cố định - Mask paralell:
<|seg|>làm mask query, dot product với image features để ra full-res mask - Không NMS: xuất mask trực tiếp, không cần post-processing
- RL post-trained: bản 19-08-2026 cải thiện recall đặc biệt ở scene dense (+8.2 F1)
- Hỗ trợ FlexAttention: PyTorch 2.5+, torch.compile tối ưu kernel
💡 Vì sao đáng chú ý
Kiến trúc duy nhất một stack Transformer xử lý đồng thời image và text từ layer đầu, kết hợp attention hybrid — bidirectional cho visual context, causal cho text decode. Đây là cách tiếp cận khác biệt so với pipeline hai nền tảng (vision encoder + text decoder riêng).
Bản RL post-trained dùng GRPO với reward set-matching Hungarian, loại bỏ NMS và coordinate deduplication, cải thiện đáng kể recall ở scene có đến 500 instance/ảnh. Phù hợp cho ứng dụng dense grounding, promptable segmentation trong pipeline downstream, và chọn object trong scene đông đúc.
#VisionLanguage #Segmentation #OpenVocabulary #MaskGeneration #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
SAM 3 is a unified foundation model for promptable segmentation in images and videos. It can detect, segment, and track objects using text or visual prompts such as points, boxes, and masks. Compared to its predecessor SAM 2(https://github.com/facebo...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence Technical Report👁️ Introduction We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language models — DeepSeek-V4-Pro with 1.6T p...