Transferring the Intelligence of VLMs to Robotic Control
Aggiunta all'archivio di AIChronos il (numero del 22 settembre 2026 ricostruito)· fonte del · Meng-Hao Guo, Zhe-Han Mo, Jia-Jun Wang, Yi Zhang, Kejin Wang, Yi-Xuan Deng
Il paper introduce RoboDawn, un'interfaccia intuitiva che permette a Vision-Language Models (VLM) di controllare robot in loop chiuso tramite comandi discreti. L'autori dimostrano come l'intelligenza dei VLM possa generalizzare dal mondo digitale a quello fisico senza addestramento specifico sul robot. Attraverso uno schema di apprendimento contestuale (ICL), il sistema raggiunge risultati state-of-the-art superando le policy tradizionali anche in scenari zero-shot e one-shot.
- RoboDawn consente ai VLM di osservare lo stato visivo, ragionare sull'azione successiva ed eseguire comandi su robot reali o simulati.
- L'utilizzo di pochi esempi (few-shot) tramite ICL migliora drasticamente il tasso di successo rispetto all'impostazione zero-shot.
- Il framework supera le policy addestrate specificamente sui benchmark come pi0.5 sia in ambienti simulati che su robot reali Franka.
- La soluzione elimina la necessità di training specifico per ogni task o tipo di robot, facilitando il trasferimento dell'intelligenza.
Perché conta. Per gli sviluppatori di agenti e LLM locali, questo lavoro dimostra come integrare capacità visive avanzate nel controllo fisico senza richiedere grandi dataset specifici del dominio. Offre un percorso concreto per colmare il gap digitale-reale utilizzando tecniche di ICL standard.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.