DeCo: Efficient Decouple-to-Couple Learning for Multi-Task Visual Grounding
Aggiunta all'archivio di AIChronos il (numero del 21 settembre 2026 ricostruito)· fonte del · Xiaoqiang Lu, Licheng Jiao, Long Sun, Yuting Yang, Xu Liu, Lingling Li
DeCo è un framework di apprendimento 'decouple-to-couple' progettato per migliorare il multi-task visual grounding nei modelli multimodali. Il metodo risolve i conflitti tra obiettivi locali e segmentari attraverso una fase iniziale di disaccoppiamento delle rappresentazioni (Task-aware Semantic Decoupling) guidata da parole salienti, seguita da un'accoppia dei prior complementari derivati dalla supervisione densa della segmentazione. Costruito su encoder multimodali congelati, DeCo richiede parametri leggeri e trainabili mantenendo una forte generalizzazione sui benchmark di visione artificiale naturale e telerilevamento.
- Introduce un paradigma a due stadi: disaccoppiamento delle rappresentazioni specifiche del task seguito dall'accoppia dei prior complementari.
- Propone Task-aware Semantic Decoupling (TSD) per instradare i segnali visivi condivisi in feature individuali sotto guida lessicale, riducendo l'interferenza tra localizzazione e segmentazione.
- Implementa Hybrid Prior Coupling (HPC) che integra prior semantici a livello di frase con prior spaziali derivati dalle maschere per potenziare il grounding.
- Raggiunge lo stato dell'arte su benchmark naturali come RefCOCO/+, G-Ref e ReferIt, oltre a dataset specifici per telerilevamento come DIOR-RSVG e SARVG1.0.
- Garantisce efficienza computazionale grazie all'utilizzo di un encoder multimodale congelato con parametri aggiuntivi leggeri.
Perché conta. Per gli sviluppatori che lavorano su LLM, agenti AI o sistemi locali, DeCo offre una strategia per mitigare il 'cathedral problem' nei modelli multi-task senza sacrificare le prestazioni, permettendo l'integrazione di capacità visive avanzate con un overhead computazionale minimo.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.