DLite: History-free Speculative Decoding for Agentic AI
Pubblicata su AIChronos il · fonte del · Jiaming Xu, Hanzhen Wang, Tianlang Zhao, Jiewen Xiao, Chengze Yuan, Jiayi Pan (Shanghai Jiao Tong University)
DLite è un framework per il speculative decoding progettato specificamente per carichi di lavoro agentic che gestiscono contesti lunghi ed evolutivi. A differenza dei metodi tradizionali, DLite evita la manutenzione del cache KV storica riutilizzando direttamente gli stati nascosti dal modello target e trasformando problemi complessi in semplici previsioni locali. L'architettura include una head sequenziale leggera per ripristinare le dipendenze causali intra-blocco con un overhead minimo. Viene addestrata tramite una strategia su due stadi dedicata a gestire questa architettura eterogenea.
- Esiste fino all'80% di degradazione nella lunghezza di accettazione per i modelli draft esistenti sotto carichi agentic a causa del contesto storico crescente.
- DLite elimina la necessità di mantenere esplicitamente il contesto storico, riducendo significativamente l'overhead del sistema.
- Il framework supera lo stato dell'arte DSpark fino al 70% su benchmark per contesti lunghi e carichi agentic.
- Una head sequenziale leggera ripristina le dipendenze causali interne ai blocchi mantenendo bassi i costi computazionali.
- La strategia di addestramento a due stadi è essenziale per allenare efficacemente l'architettura eterogenea history-free.
Perché conta. Per gli sviluppatori che lavorano con agenti AI e modelli locali, DLite offre un modo pratico per accelerare l'inference senza essere penalizzati dalla gestione di contesti in continua espansione. Questo approccio risolve il collo di bottiglia del cache KV storico, rendendo fattibile lo speculative decoding anche in scenari complessi tipici degli agentic workloads.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.