On-Policy Parameter Update Direction Underlies Generalization in LLM Post-Training
Aggiunta all'archivio di AIChronos il (numero del 5 ottobre 2026 ricostruito)· fonte del · Shufan Shen, Zhongni Hou, Junshu Sun, Yufei Zhang, Wei Lin, Guojun Yin (ucas)
Lo studio analizza il comportamento degli aggiornamenti dei parametri nel paradigma on-policy post-training e ne confronta le direzioni con quelle del supervised fine-tuning (SFT). I risultati evidenziano che mentre l'SFT segue direzioni costanti, i paradigmi on-policy adattano continuamente la direzione di aggiornamento durante l'addestramento. Gli autori propongono OPSFT (On-Policy direction-constrained Supervised Fine-Tuning), una tecnica che vincola gli aggiornamenti SFT alla direzione cumulativa identificata dai metodi on-policy per trasferire il vantaggio generalizzazione. Questo approccio combina l'efficienza e la capacità di sfruttare traiettorie ad alta qualità dell'SFT con le prestazioni generali dei paradigmi on-policy.
- Gli aggiornamenti SFT seguono direzioni parametriche costanti, a differenza del paradigma on-policy che adatta continuamente la direzione durante il training.
- La tecnica OPSFT vincola gli aggiornamenti SFT alla specifica direzione cumulativa identificata dai paradigmi on-policy per migliorare la generalizzazione.
- OPSFT permette di raggiungere alte prestazioni combinando l'efficienza computazionale dell'SFT con le capacità generali dei metodi on-policy.
- È possibile identificare direzioni ottimali utilizzando pochi passi di training on-policy prima di applicare il vincolo SFT.
- Il metodo consente di continuare a migliorare un modello post-trained sfruttando traiettorie ad alta qualità senza alterare le abilità apprese.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti, questa tecnica offre una via per ottenere la robustezza della generalizzazione dei paradigmi on-policy mantenendo l'efficienza computazionale dell'SFT. Inoltre, permette di integrare efficacemente traiettorie ad alta qualità nei modelli locali senza compromettere le competenze pregresse.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.