STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization
Aggiunta all'archivio di AIChronos il (numero del 8 ottobre 2026 ricostruito)· fonte del · Bingchen Yao, Haobo Xu, Haokun Lin, Yichen Wu, Ziyu Guo, Renrui Zhang (Zhejiang University)
STEPQuant è un framework di quantizzazione post-training per stati ricorrenti a regola Delta che sostituisce i cache KV in crescita con stati fissi. Il metodo alloca la precisione basandosi sulla magnitudine dell'errore e sulla durata della memoria, adattando simultaneamente le scale delle righe chiave e colonne valore. Gli esperimenti su modelli come Qwen3.8-27B dimostrano che STEPQuant mantiene l'accuratezza FP32 con un budget di 6-bit, superando la quantizzazione uniforme INT8 a 4-bit.
- Gli errori di quantizzazione negli stati ricorrenti persistono temporalmente attraverso molti step di decoding e variano spazialmente tra diverse righe chiave.
- STEPQuant distribuisce dinamicamente la precisione in base all'impatto dell'errore sulla memoria a lungo termine e sulle uscite del modello.
- L'integrazione con SGLang permette una compressione degli stati ricorrenti di oltre 5x riducendo il consumo di memoria fino al 68.7%.
- Il framework supera le prestazioni della quantizzazione uniforme INT8 in configurazioni a basso bit (4-bit) mantenendo accuratezza paragonabile allo stato FP32.
Perché conta. Per gli sviluppatori che gestiscono LLM e agenti, STEPQuant offre un modo efficace per mitigare il collo di bottiglia della memoria nei server concorrenti senza sacrificare drasticamente l'accuratezza del modello.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.