The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation
Aggiunta all'archivio di AIChronos il (numero del 1 ottobre 2026 ricostruito)· fonte del · Hao Li, MeiJia Chen, Weijie Ren, Donghan Li, Zijun Tian, Jingchun Huang
L'articolo introduce RIDE (RL-Induced Direction Extrapolation), un metodo per il distillazione on-policy che supera le limitazioni delle tecniche di estrapolazione nello spazio degli output. A differenza dei metodi tradizionali, RIDE opera direttamente nello spazio delle rappresentazioni interne del modello, calcolando e regredendo verso target spostati lungo la direzione residuale indotta dal Reinforcement Learning (RL). Questo approccio mitiga l'instabilità causata dall'amplificazione del rumore nei logit e permette allo studente di eccedere le prestazioni dell'insegnante anche quando quest'ultimo è vicino al checkpoint base.
- Il linguaggio-model head attenua anisotropicamente i cambiamenti codificati negli hidden states, riducendo l'efficacia delle estrapolazioni nello spazio degli output.
- RIDE misura la direzione dello spostamento indotto dall'RL a ogni layer e regredisce gli hidden states del studente verso target oltre lo stato dell'insegnante lungo tale residuo.
- Il metodo è equivalente alla massimizzazione di una ricompensa lineare direzionale con un penalità quadratica centrata sull'insegnante, garantendo stabilità durante l'addestramento.
- RIDE supera o eguaglia il teacher RL in tutti e quattro i pair testati (diverse scale/architetture), mentre le tecniche di output-space extrapolation degradano quando il teacher è vicino al base model.
- È l'unica metodologia analizzata a garantire che la media delle prestazioni dello studente superi costantemente quella del teacher.
Perché conta. Per gli sviluppatori di LLM e agenti, RIDE offre un modo robusto per migliorare modelli locali tramite distillazione senza subire il degrado tipico degli approcci basati su output-space quando l'insegnante è già ottimizzato. Consente di sfruttare i guadagni del RL direttamente nella rappresentazione interna, migliorando la generalizzazione dello studente oltre le capacità dell'originale.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.