Benchmarking Answer-Grounding Consistency in Remote Sensing Visual Question Answering
Aggiunta all'archivio di AIChronos il (numero del 9 ottobre 2026 ricostruito)· fonte del · Ping Guo, Zhiqi Huang, Xinran Li, Linkun Yu, Jingyin Pei, Kamata Seiichiro
Il documento introduce il protocollo Answer-Evidence Support Protocol (AESP) per valutare la coerenza tra risposta testuale ed evidenza di grounding nelle immagini satellitari. Viene presentato il benchmark G-RSVQA, composto da oltre 15.000 campioni con annotazioni a livello oggettuale e risposte di riferimento. Gli esperimenti su sette modelli grounded vision-language evidenziano che fino al 50,82% delle risposte corrette non è supportato dalle prove di grounding fornite.
- Esistono lacune nelle valutazioni esistenti che misurano solo la correttezza della risposta e la qualità del localizzazione senza verificare direttamente la coerenza answer-grounding.
- Il protocollo AESP applica regole specifiche per domande su esistenza, conteggio e confronto per determinare se l'evidenza supporta realmente la risposta generata dal modello.
- L'analisi rivela fallimenti significativi di evidence support in tutti i tipi di domanda analizzati nel dataset G-RSVQA.
- Il benchmark G-RSVQA include 15.027 campioni con domande, risposte di riferimento e annotazioni a livello oggettuale relative agli oggetti rilevanti.
Perché conta. Per gli sviluppatori che lavorano su LLM o agenti AI locali in contesti visivi, questo paper evidenzia la necessità critica di validare non solo l'accuratezza della risposta ma anche la coerenza logica con le prove visuali fornite.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.