HexaShell: A Thin Harness for Exploring the Limits of VLM Agents as Robot Coding Agents
Pubblicata su AIChronos il · fonte del · Hongcheng Gao, Alex Zhou, Jay Zhu, Zelin Zheng, Shijia Ge, Xiping Li (HexaFuture)
HexaShell è un sistema che utilizza agenti basati su Vision Language Models (VLM) per controllare robot a due bracci tramite un'interfaccia da riga di comando. Il framework mantiene il 'harness' sottile, traducendo direttamente i comandi dell'agente in movimenti del robot senza intermediari complessi. L'approccio prevede l'utilizzo di strumenti evoluti che sfruttano la triangolazione delle immagini RGB per localizzare gli oggetti e vengono congelati dopo essere stati addestrati su pochi layout.
- HexaShell raggiunge un tasso di successo del 39.7% su tutti i task RoboDojo, stabilendo uno nuovo stato dell'arte (SOTA).
- Il sistema impiega Codex con GPT-6-Astra a sforzo ragionamento medio per generare e correggere il codice degli strumenti.
- Le prestazioni sono limitate principalmente dal contatto fisico durante inserimenti stretti (8.3%) piuttosto che dalla capacità di ragionamento dell'agente.
- Gli strumenti evoluti utilizzano la triangolazione tra più telecamere per determinare le posizioni relative rispetto al gripper e agli oggetti noti.
- Il codice sorgente degli strumenti è open source ed evolve iterativamente leggendo i log dopo ogni tentativo fallito.
Perché conta. Questo paper dimostra come gli agenti di coding possano essere applicati direttamente alla manipolazione robotica, offrendo un paradigma per lo sviluppo locale dove l'agente impara a correggere errori fisici modificando il proprio codice strumento.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.