StableVQ: Practical Guidelines for Stable Vector-Quantized Tokenizer Training
Aggiunta all'archivio di AIChronos il (numero del 23 settembre 2026 ricostruito)· fonte del · Bao Tang, Jiahao Guo, Haoxiang Cao, Wenyu Liu, Changqian Yu, Kun Gai (Kolors Team, Kuaishou Technology)
StableVQ affronta la criticità della stabilità durante l'addestramento dei tokenizer a quantizzazione vettoriale (VQ), comunemente usati nei modelli di generazione immagini. L'autore identifica come causa radice il legame tra Encoder-Decoder e Codebook, proponendo una soluzione che permette a ciascun modulo di ottimizzare le proprie responsabilità in modo indipendente. Il metodo introduce tre meccanismi chiave: Dynamic STE per correggere l'instabilità dell'Encoder, Region VQ Loss per garantire un tracking autonomo del codebook e Decoupled Schedule per gestire dinamiche di ottimizzazione distinte.
- Dynamic STE stabilizza l'obiettivo di apprendimento dell'Encoder anche con bassa utilizzazione del codebook.
- Region VQ Loss permette al Codebook di tracciare la distribuzione in uscita dell'encoder senza dipendere dalle oscillazioni dello stesso.
- Decoupled Schedule assegna schedule di learning rate indipendenti per garantire un comportamento robusto a livello di sistema.
- StableVQ è leggero, si basa su codebooks con proiezione condivisa e non introduce nuovi parametri apprendibili.
Perché conta. Per uno sviluppatore che lavora con LLM o agenti AI locali, comprendere la stabilità del tokenization vettoriale è cruciale per garantire l'affidabilità dei modelli generativi visivi senza introdurre complessità computazionali eccessive.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.