TokenRouter: Efficient Serving System for Token-Level LLM Routing
Aggiunta all'archivio di AIChronos il (numero del 9 ottobre 2026 ricostruito)· fonte del · Tianyu Fu, Tengxuan Liu, Ruoxi Wang, Yixin Dong, Yi Ge, Yichen You (Tsinghua-NICS-EFC)
TokenRouter è un sistema di serving efficiente per l'inferenza a livello token che supera le limitazioni dei sistemi esistenti basati su singoli LLM. Il progetto affronta sfide come la disincronizzazione delle step e i ritardi nell'ammissione del batch, implementando una programmazione request-centric ed esecuzione model-centric. Ogni subserver utilizza uno scheduler con delayed-batching ottimizzato tramite un modello matematico di throughput.
- TokenRouter distribuisce l'inferenza tra diversi modelli a livello token per avanzare la frontiera costo-qualità del serving LLM.
- Il sistema supera i limiti dei sistemi attuali che soffrono di severe step desynchronization e frequenti batch admission delays sotto routing fine-grained.
- L'architettura permette agli sviluppatori di descrivere la logica di routing da una singola richiesta mentre il runtime gestisce asincronicamente le richieste per ogni LLM.
- TokenRouter raggiunge un aumento del throughput di decoding tra 2.01x e 64.15x rispetto ai sistemi esistenti su vari algoritmi di routing, carichi di lavoro e coppie di modelli.
- Il codice è open source e disponibile al repository GitHub associato all'autore Tsinghua-NICS-EFC.
Perché conta. Per gli sviluppatori che lavorano con LLM o agenti locali, TokenRouter offre un modo pratico per implementare routing fine-grained senza la complessità di gestione della desincronizzazione e dei ritardi tipici degli attuali sistemi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.