Latent-MOPD: Latent Multi-Teacher On-Policy Distillation
Aggiunta all'archivio di AIChronos il (numero del 5 ottobre 2026 ricostruito)· fonte del · Zhengyu Fang, Seoyeon Hong, Jie Yang, Muyang Li, Koyoshi Shindo, Brandon Joseph Lwowski (Zillow)
Latent-MOPD è il primo metodo di distillazione on-policy a livello rappresentazionale per LLM che integra specialisti esistenti tramite sia le loro previsioni dei token che gli stati nascosti utilizzati per calcolarli, senza richiedere addestramento aggiuntivo degli insegnanti. Il framework coordina la supervisione multipla selezionando target negli strati finali in base alla relazione studente-insegnante, utilizzando una proiezione condivisa per gestire larghezze di hidden state disuguali e raggruppando gli aggiornamenti per dominio. Durante l'addestramento, la supervisione di ogni insegnante si sposta gradualmente dagli stati nascosti alle previsioni dei token, mantenendo entrambi i canali su uno specialista instradato comune.
- Integrazione di specialisti esistenti attraverso distribuzioni di output e stati nascosti senza training aggiuntivo degli insegnanti.
- Selezione dinamica dei target negli strati finali basata sulla relazione specifica studente-insegnante per coordinare la supervisione rappresentazionale.
- Uso di una proiezione condivisa per collegare larghezze di hidden state disuguali e raggruppamento degli aggiornamenti basato sul dominio.
- Superiorità su nove benchmark in matematica, codice e logica rispetto a baseline token-only, representation-only e uniform-averaging.
- Stabilità del controllo 'same-family all-layer' con aggiornamenti puri per dominio che collassano se i domini sono intercalati.
Perché conta. Per gli sviluppatori di agenti AI locali o sistemi distribuiti, Latent-MOPD offre un modo efficiente per combinare le capacità di diversi modelli specialisti in un unico studente senza costi computazionali aggiuntivi per il fine-tuning degli insegnanti.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.