Gradient-Guided Decoupled Adaptation for Geospatial Vision-Language Models
Aggiunta all'archivio di AIChronos il (numero del 26 settembre 2026 ricostruito)· fonte del · Dongdong Wang, Deepak Balakrishnan, Ravi Srinivasan, Shenhao Wang
I modelli geospaziali visione-linguaggio (Geo-VLM) esistenti ottimizzano compiti diversi tramite un paradigma multi-task unitario senza considerare le caratteristiche eterogenee di ottimizzazione. Le osservazioni empiriche rivelano gradienti eterogenei tra i task, differenze inter-modali e interferenze che ostacolano l'ottimizzazione efficace. Per mitigare questi problemi, gli autori propongono Gradient-Guided Decoupled Adaptation (G2DA), un framework di ottimizzazione consapevole dei gradienti per il Geo-VLM multi-task. G2DA partiziona i task in gruppi centrici su visione e linguaggio tramite decoppiamento cross-modale guidato dai gradienti, costruisce curricula specifici per modalità basati sulla similarità del gradiente e impiega un rehearsal bidirezionale per mitigare gli effetti di recenza.
- Identificazione delle caratteristiche eterogenee dei gradienti tra task vision-language che limitano l'ottimizzazione multi-task.
- Utilizzo del decoppiamento cross-modale guidato dai gradienti per partizionare i compiti in gruppi visione- e linguaggio-centrici.
- Costruzione di curricula specifici per modalità basati sulla similarità dei gradienti tra task simili.
- Implementazione di un meccanismo di rehearsal bidirezionale per contrastare gli effetti negativi dell'ottimizzazione sequenziale (recency effects).
- Superamento consistente delle baseline su tre benchmark geospaziali con miglioramenti significativi in percentuale.
Perché conta. Questa tecnica è rilevante per sviluppatori di agenti e sistemi AI locali perché offre un metodo strutturato per gestire l'interferenza tra task diversi durante il fine-tuning, garantendo prestazioni più robuste senza degradare le capacità pregresse del modello.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.