Harnessing Domain Specialists in Multimodal Mixture-of-Experts for Efficient Adaptation
Aggiunta all'archivio di AIChronos il (numero del 1 ottobre 2026 ricostruito)· fonte del · Damiano Marsili, Raphi Kang, Aditya Mehta, Pietro Perona, Georgia Gkioxari
Questo studio esplora l'organizzazione intrinseca emergente nelle architetture Mixture-of-Experts (MoE) multimodali, rivelando una forte specializzazione semantica tra esperti senza addestramento esplicito per la modularità. Viene introdotto ExpertLens, un metodo privo di dati che identifica gli specialisti del dominio decodificando i pesi dei router in token lessicali significativi. L'approccio permette un adattamento efficiente multimodale selezionando il fine-tuning solo degli esperti rilevanti al target domain. I risultati dimostrano prestazioni pari o superiori al full fine-tuning aggiornando dal 21,7% al 47,0% dei parametri e ottenendo una velocità di training media 4 volte superiore rispetto a LoRA.
- Gli esperti nelle architetture MoE sviluppano specializzazione semantica intrinseca tra modalità e domini senza addestramento esplicito per la modularità.
- ExpertLens è un metodo data-free che mappa i pesi dei router in token lessicali per identificare direttamente gli esperti specializzati nel dominio.
- L'adattamento selettivo tramite ExpertLens supera LoRA sia nelle prestazioni di adattamento che nell'efficienza del training su task matematici, medici e di telerilevamento.
- Il metodo riduce l'aggiornamento dei parametri modello al 21,7-47,0% mantenendo performance comparabili o superiori rispetto al full fine-tuning.
- La sparsità introdotta per l'efficienza computazionale genera modularità semantica direttamente sfruttabile per adattamenti efficienti.
Perché conta. È rilevante perché permette di adattare modelli LLM e multimodali in modo efficiente su hardware locale, aggiornando solo una frazione dei parametri tramite tecniche come il fine-tuning selettivo degli esperti MoE.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.