Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability
Aggiunta all'archivio di AIChronos il (numero del 7 ottobre 2026 ricostruito)· fonte del · Bingxi Hou, Guochao Jiang, Guofeng Quan, Weiqing Li, Wenfeng Feng, Guohua Liu
Questo studio esamina l'On-Policy Distillation (OPD) con tokenizzatori diversi, analizzando se espandere la copertura dell'allineamento tra vocabolari migliori le prestazioni. I risultati mostrano che gruppi di allineamento stretto 1:1 coprono già la maggior parte dei token generati dallo studente, mantenendo quasi tutta la massa di probabilità del teacher e dello studente anche con mismatch lessicale significativo. Limitare il reverse KL a un sottoinsieme top-16 condiviso al posto dell'intero vocabolario comune ottiene accuratezza comparabile all'OPD completo, superando le baseline cross-tokenizer valutate. L'introduzione della supervisione tramite errore quadratico medio sui log-probabilities degli span nei gruppi non allineati riduce l'accuratezza perché introduce gradienti deboli o conflittanti.
- L'allineamento stretto (strict alignment) tra vocabolari diversi copre efficacemente la maggior parte dei token generati senza bisogno di espandere eccessivamente il campo lessicale condiviso.
- Una supervisione ristretta al top-16 del vocabolario comune produce accuratezza paragonabile all'OPD completo, superando le baseline esistenti per cross-tokenizer.
- L'aggiunta di supervisione su span log-probabilities in gruppi non allineati riduce l'accuratezza a causa della presenza di gradienti deboli o con direzione opposta rispetto ai segnali principali.
- La ricerca suggerisce un cambio di paradigma: privilegiare la affidabilità della supervisione (supervision reliability) piuttosto che massimizzare semplicemente la copertura dell'allineamento.
- Le diagnosi sui gradienti degli span possono spiegare il calo di accuratezza osservato quando si aggiungono segnali di training non allineati o conflittanti.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti, questo paper è cruciale per ottimizzare strategie di distillazione in scenari reali dove teacher e student utilizzano tokenizzatori diversi (es. modelli open-source vs commerciali), evitando degradazioni delle prestazioni dovute a segnali di training rumorosi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.