TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models
Aggiunta all'archivio di AIChronos il (numero del 7 ottobre 2026 ricostruito)· fonte del · Xin Wang, Hao Yu, Zhengyang Zhuge, Bochao Mao, Zheng Li, Junda Feng (Qwen)
Il paper TRACE introduce un framework per l'addestramento RL di modelli MoE in precisione FP4 che risolve le limitazioni dei metodi esistenti ottimizzando separatamente training e rollout. La tecnica proposta allinea direttamente i percorsi quantizzati tramite formazione guidata dal rollout, riducendo il divario tra le due esecuzioni. Inoltre, viene implementato uno schema efficiente per la memorizzazione delle informazioni di quantizzazione nei livelli profondi per minimizzare l'overhead di storage e comunicazione.
- TRACE utilizza un training consapevole della quantizzazione guidato dal rollout per ridurre direttamente il disallineamento tra percorsi FP4 addestrati ed eseguiti durante la generazione del rollout.
- Il framework supporta sia pesi/attivazioni in FP4 che rollout di KV-cache in FP4, ottenendo prestazioni RL comparabili a quelle dei modelli BF16 con un aumento della velocità fino a 5.4x.
- L'approccio è stato valutato su quattro grandi modelli MoE per compiti di ragionamento, coding e RL a lungo termine, superando le performance del quantizzazione post-hoc sui policy addestrati in BF16.
Perché conta. Per gli sviluppatori che lavorano con LLM locali o agenti autonomi, TRACE offre un modo per ridurre drasticamente i costi di memoria e computazione durante il fine-tuning RL senza sacrificare le prestazioni inferenziali rispetto alla precisione standard.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.