OmniVChat: Synthesizing, Benchmarking, and Training for Native Audio-Visual Dialogue
Aggiunta all'archivio di AIChronos il (numero del 21 settembre 2026 ricostruito)· fonte del · Haolin He, Yunfei Chu, Qi Chen, Wen Huang, Yuan Feng, Muzhi Zhu (Qwen)
OmniVChat definisce il compito di dialogo audio-visivo nativo in cui un modello riceve simultaneamente input audio e video per rispondere con testo, eliminando la necessità di riconoscimento vocale esterno o captioning. Per superare le carenze dei dati reali e l'affidabilità limitata del matching delle parole chiave nella valutazione, gli autori introducono OmniVChat-Studio, un motore multi-agente che sintetizza dialoghi artificiali. Questi dataset sintetizzati vengono utilizzati per costruire il benchmark OmniVChat-Bench e addestrare modelli tramite reinforcement learning con OmniVChat-RL. L'approccio dimostra miglioramenti significativi sia su dati sintetici che su registrazioni umane reali, validando l'utilità della generazione sintetica per lo sviluppo di agenti omni.
- OmniVChat elimina la latenza e i costi computazionali del speech-to-text esterno integrando direttamente audio e video come input primario.
- La scarsità di registrazioni umane reali richiede l'uso di dialoghi sintetizzati tramite sistemi multi-agente per addestramento ed evaluation.
- OmniVChat-Bench valuta le capacità dei modelli su cinque categorie, superando i limiti del matching delle parole chiave grazie alla generazione controllata.
- OmniVChat-RL è un design della ricompensa che ottimizza congiuntamente correttezza, efficienza e stile nelle risposte generate.
- L'addestramento con dati sintetizzati trasferisce efficacemente le performance ai dialoghi registrati da utenti reali (OmniVChat-Bench-Human).
Perché conta. Per gli sviluppatori di LLM e agenti, questo paper offre una via praticabile per bypassare la dipendenza dai costosi dataset audio-visivi annotati manualmente attraverso l'uso strategico della sintesi. È fondamentale per chi lavora su AI locale o sistemi edge, poiché riduce drasticamente i requisiti computazionali eliminando il passaggio intermedio del riconoscimento vocale.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.