FuseReg: Regularizing Layer Fusion Mitigates the Reconstruction-Generation Gap in Representation Autoencoders
Aggiunta all'archivio di AIChronos il (numero del 28 settembre 2026 ricostruito)· fonte del · Hongyang Du, Yunfei Xie, Junjie Ye, Jiawei Yang, Xiaoyan Cong, Haodong Zhang (USC Physical Superintelligence (PSI) Lab)
Representation autoencoders (RAEs) integrano rappresentazioni visive pre-addestrate ma devono scegliere manualmente quali strati dell'encoder condividere per il generatore e il decodificatore pixel. Questo processo fissa un compromesso tra la preservazione di dettagli fini (strati più superficiali) e metriche di generazione migliori (strati più profondi). L'autore introduce FuseReg, una tecnica che sostituisce la selezione euristica con l'addestramento su sottoinsiemi casuali degli strati dell'encoder. Teoricamente, questo penalizza esplicitamente la sensibilità alle discrepanze tra gli strati e riduce il gap di ricostruzione-generazione senza modificare l'encoder pre-addestrato.
- FuseReg sostituisce le fusioni euristiche fisse con un approccio basato su training over random subsets degli strati dell'encoder.
- Un singolo decodificatore FuseReg supera i decoder specializzati in fuzioni specifiche, ottenendo PSNR più alti su ImageNet-256 con DINOv3-L.
- La sostituzione del solo decodificatore riduce il gFID non guidato (unguided gFID) del 27% mantenendo invariato il generatore RAEv2 DiT-XL.
- Il principio di regolarizzazione si estende anche all'addestramento della diffusione, riducendo ulteriormente il gFID quando entrambe le fasi sono regolariizzate congiuntamente.
- La tecnica migliora la flessibilità del modello permettendo l'utilizzo dello stesso decodificatore per fusioni dense, sparse o singole senza retraining dell'encoder.
Perché conta. Per uno sviluppatore che lavora con AI locale e modelli generativi, FuseReg offre un modo robusto per gestire la selezione degli strati di feature in autoencoders rappresentazionali, riducendo il gap tra ricostruzione fedele e generazione creativa senza richiedere modifiche all'encoder pre-addestrato.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.