OmniEcho: Spatial Audio Understanding for Embodied Agents
Aggiunta all'archivio di AIChronos il (numero del 25 settembre 2026 ricostruito)· fonte del · Ruixun Liu, Yuxuan Wang, Jiacheng Xie, Yuhuan You, Donghua Cai, Junming Lin (PKU-VaLuE-Lab)
L'articolo presenta OmniEchoBench, un benchmark unificato per la percezione audio-visiva spaziale e la navigazione audio-visione-linguistica in ambienti reali. Viene introdotto OmniEcho, un modello omni-modale consapevole dello spazio che integra un encoder spaziale FOA (First-order Ambisonics) con una pathway semantica pre-addestrata per l'audio. Gli esperimenti dimostrano prestazioni state-of-the-art nella percezione audio-visiva e capacità di navigazione guidate dall'audio paragonabili ai metodi tradizionali basati solo sulla visione.
- OmniEchoBench include sei task su 197 scene reali con dati raccolti in 30 ambienti diversi.
- Il dataset contiene 2.972 coppie domanda-risposta e 900 campioni di navigazione audio-visiva.
- La pipeline di rendering controllata preserva la coerenza geometrica tra sorgenti sonore, osservazioni visive e traiettorie dell'agente.
- OmniEcho supera lo stato dell'arte nella percezione spaziale audio-visiva mentre affronta sfide aperte come la localizzazione fine-grained.
- L'integrazione del segnale sonoro migliora il ragionamento degli agenti incarnati (embodied agents) in scenari complessi.
Perché conta. Per gli sviluppatori di LLM e agenti AI, questo lavoro offre un framework per integrare segnali spaziali audio nel processo decisionale locale, superando i limiti della sola visione artificiale. È cruciale per progettare sistemi embodied che operino in ambienti reali dove il suono fornisce informazioni complementari essenziali alla navigazione.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.