LoGRA: Scaling LLM Reinforcement Learning with Low-Rank Gradient Sketches
Aggiunta all'archivio di AIChronos il (numero del 6 ottobre 2026 ricostruito)· fonte del · Shaokun Zhang, Yifan Zhang, Jian Hu, Yueying Li, Hao Zhang, Binfeng Xu (NVIDIA)
LoGRA è un approccio per il reinforcement learning (RL) post-training dei Large Language Models (LLM) che riduce i requisiti di memoria conservando i segnali di apprendimento utili in gradienti a rango basso. Per evitare aggiornamenti eccessivi, integra una compressione del gradiente con un controllo dello step basato sulla KL predetta. Questo metodo permette addestramenti stabili su modelli da 27 miliardi di parametri dove l'Adam denso fallisce per mancanza di memoria.
- Riduzione della memoria media fino al 45,7% senza compromettere le prestazioni sui task di ragionamento.
- Abilita l'addestramento stabile su un singolo nodo a otto GPU dove soluzioni dense escono dalla memoria.
- Supporto sia per gli aggiornamenti del modello che per una sincronizzazione efficiente della policy.
- Utilizzo di gradienti compressi in sketch a rango basso e controllo adattivo dell'entità degli aggiornamenti.
Perché conta. È rilevante perché rende pratici scenari di addestramento RL precedentemente impossibili dal punto di vista delle risorse, permettendo lo sviluppo locale o su cluster ridotti senza sacrificare la qualità del modello.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.