VepAgent: Bridging Causal-Transition via Tool-Augmented Reinforcement Learning for Video Event Prediction

Aggiunta all'archivio di AIChronos il 18 ottobre 2026 (numero del 8 ottobre 2026 ricostruito)· fonte del 5 ottobre 2026· Qiutong Chen, Yuchan Guo, Zhenlong Yuan, Haobo Yang, Fangfang Lin, Xinyi Long (UCSC-VLAA)

VepAgent è un framework agentic che integra il ragionamento sulle transizioni causali con l'apprendimento per rinforzo (RL) potenziato da strumenti per migliorare la Video Event Prediction. A differenza dei metodi passivi, questo approccio modella esplicitamente la progressione logica dagli stati osservati terminali agli eventi futuri utilizzando un dataset di fine-tuning supervisionato chiamato futurebench-4K. Il sistema impiega una libreria diagnostica con strumenti come il tracciamento dello stato e l'amplificazione delle regioni per recuperare prove spaziali-temporali mancanti durante l'inferenza. Infine, viene proposta una funzione di ricompensa composita che ottimizza simultaneamente accuratezza predittiva, coerenza causale e affidabilità del prior visivo.

• Costruzione di futurebench-4K per colmare il gap logico causale attraverso la strutturazione della deduzione degli stati intermedi non osservati.
• Sviluppo di una libreria diagnostica che include tracciamento dello stato, recupero fotogrammi e ingrandimento regionale per gestire ambiguità visive.
• Ottimizzazione congiunta tramite ricompensa composita su accuratezza predittiva, coerenza causale e prior affidabile basato sul grounding visivo reale.
• Superiore performance rispetto a MLLMs più grandi sui dataset FutureBench e NEPBench validando un paradigma di ragionamento orientato al futuro.

Perché conta. Questa architettura è rilevante per gli sviluppatori che lavorano con agenti AI perché dimostra come l'integrazione esplicita del grounding visivo e delle transizioni causali superi i limiti dei priori testuali superficiali nei modelli locali o open-source. Offre un approccio pratico per migliorare la robustezza degli MLLM in compiti di previsione video complessi senza affidarsi esclusivamente alla capacità generativa passiva.

Vai alla fonte originale ↗ arXiv ↗

Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.