PanoVLN: Towards Effective Panoramic Vision-and-Language Navigation
Aggiunta all'archivio di AIChronos il (numero del 30 settembre 2026 ricostruito)· fonte del · Zhen Wang, Changpeng Wang, Zhe Liu, Zhangyang Qi, Yuxiang Lu, Zimo Zeng (Zhejiang University)
PanoVLN è un modello che esplora la navigazione visione-linguistica (VLN) utilizzando osservazioni panoramiche per fornire un contesto visivo più completo rispetto alle telecamere prospettiche. L'approccio introduce tre modifiche fondamentali: una strategia di esecuzione guidata dalla fiducia (CGE) per pianificare azioni a orizzonte lungo, percorsi di addestramento con punti di diramazione frequenti e la fusione di caratteristiche semantiche e geometriche da panorami RGB senza aggiungere token visivi extra. Con un backbone da 4B parametri e input solo RGB, il modello supera lo stato dell'arte (SOTA) sui benchmark R2R-CE e RxR-CE Val-Unseen.
- Le osservazioni panoramiche rivelano passaggi fuori dal campo visivo delle telecamere prospettiche, riducendo la necessità di esplorazione aggiuntiva.
- La strategia Confidence-Guided Execution (CGE) determina dinamicamente quante azioni predette eseguire prima di ripianificare il percorso.
- L'addestramento include percorsi con frequenti punti di diramazione per fornire supervisione mirata sulla selezione del route.
- Il modello combina caratteristiche semantiche e geometriche da panorami RGB per catturare contenuto della scena e layout spaziale senza token aggiuntivi.
- PanoVLN supera lo SOTA precedente dell'11.9% su R2R-CE Val-Unseen con un backbone di 4B parametri usando solo input RGB.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti autonomi, questo paper dimostra come l'aumento del contesto visivo (panoramic view) possa migliorare la pianificazione a lungo termine degli agent senza necessariamente aumentare drasticamente il numero di token in input. Inoltre, offre tecniche per gestire route complesse con diramazioni frequenti, utile per implementare navigazione robusta in ambienti reali o simulati.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.