World Action Modeling with Progressive Visual Planning
Aggiunta all'archivio di AIChronos il (numero del 5 ottobre 2026 ricostruito)· fonte del · Fei Zhang, Zhaochong An, Duncan Frost, Yikai Wang, Pengfei Liu, Ya Zhang (Meta)
ProWAM è un World Action Model (WAM) progressivo che prevede congiuntamente azioni e sequenze ordinate di sottogoli visivi sparsi per guidare l'esecuzione dei compiti. Questo approccio scala naturalmente poiché i sottogoli possono essere appresi da video su larga scala privi di azioni, permettendo al backbone del video di gestire la pianificazione visiva complessa mentre il policy delle azioni si concentra sul denoising leggero durante la ripianificazione. Eliminando la generazione iterativa completa dei video e utilizzando un singolo passaggio forward per cacheare le caratteristiche sparse, ProWAM offre una robustezza superiore fuori distribuzione rispetto ai metodi esistenti.
- ProWAM genera sottogoli visivi sparsi ordinati invece di roll-out densi inefficienti, fornendo guida esplicita durante l'esecuzione del compito.
- Il modello scala naturalmente offloadando la pianificazione visiva complessa al backbone video addestrato su grandi dataset privi di azioni.
- Sugli benchmark simulazione LIBERO-Plus e RoboTwin ottiene risultati state-of-the-art, superando le baseline con guadagni relativi fino a +35.9%.
- Nelle sperimentazioni reali zero-shot in scene inedite raggiunge un tasso di successo del 70.0%, mostrando una robustezza significativa rispetto alle baselines più forti.
- La progettazione elimina la necessità di generare video completi iterativamente, riducendo l'inefficienza computazionale durante il ripianeggio.
Perché conta. Per gli sviluppatori che lavorano con agenti autonomi e controllo robotico locale, ProWAM dimostra come integrare una 'visual foresight' indicizzata dal progresso possa migliorare drasticamente la robustezza zero-shot in ambienti non visti senza richiedere risorse computazionali proibitive per generare video completi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.