EdgeWise: Bringing Long-Horizon Agents to the Edge via Selective Cloud Delegation
Pubblicata su AIChronos il · fonte del · Zeru Shi, Jindong Jiang, Ryo Hachiuma, Yonggan Fu, Byung-Kwan Lee, Peter Belcak (NVIDIA)
EdgeWise è un framework di collaborazione edge-cloud che utilizza modelli a scala piccola (SLM) come solver primario su dispositivi locali e delega selettivamente solo i passaggi critici a LLM cloud. Il sistema impiega il reinforcement learning per ottimizzare autonomamente le decisioni di delegazione senza richiedere modelli aggiuntivi durante l'inferenza, assegnando credito fine-granularità alle singole scelte. Gli esperimenti dimostrano che EdgeWise riduce fino al 62% i costi di inferenza su SWE-Rebench e il 34% su Terminal-Bench 2.1 mantenendo prestazioni paragonabili all'esecuzione pura LLM.
- L'allocazione dell'LLM solo a un sottoinsieme chiave di passaggi riduce drasticamente i costi pur mantenendo le performance.
- Un metodo RL step-level ottimizza congiuntamente la risoluzione del task e la delegazione con credit assignment fine-granulare.
- Una strategia basata su judge esterno permette di investigare sistematicamente quando, come e quanto frequentemente invocare il cloud LLM.
- La soluzione è stata testata su workstation locali dimostrando risparmi pratici in scenari edge-cloud reali.
Perché conta. Per gli sviluppatori che lavorano con agenti AI e modelli locali, EdgeWise offre un modo per bilanciare costi di inferenza elevati delle frontiera models senza sacrificare le capacità necessarie per task a lungo orizzonte.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.