IntBMoE: Integrating Block-Level Conditioning into Expert Composition for Full-Participation Mixture-of-Experts
Aggiunta all'archivio di AIChronos il (numero del 21 settembre 2026 ricostruito)· fonte del · Ran Cheng, Longfei Xu, Zheng Liu, Kaikui Liu, Xiangxiang Chu
IntBMoE è un'architettura Mixture-of-Experts (MoE) che disaccoppia partecipazione, esecuzione e materializzazione dei parametri attraverso una composizione densa degli esperti accoppiata a un'esecuzione sparsa basata su blocchi. Utilizza un codicebook appreso per generare esperti composti tramite ipernetworks leggeri in ogni strato interno, garantendo piena partecipazione senza aumentare i costi computazionali o di memoria proporzionalmente al numero di routing decisions. Il modello introduce Dual-Path Residual Gating (DPRG) per accoppiare due percorsi indipendenti attraverso gating moltiplicativo, ottenendo prestazioni superiori su classificazione immagini e generalizzazione a linguaggio naturale.
- Disaccoppia partecipazione, esecuzione e materializzazione in MoE tramite blocchi condizionati da codicebook appresi.
- Ogni strato interno utilizza un ipernetwork leggero per fondere tutte le basi degli esperti del pool in un singolo esperto composto.
- L'esecuzione rimane sparsa poiché il router invia ogni token a solo pochi blocchi, mantenendo bassi i costi computazionali.
- La materializzazione è limitata dal codicebook invece che dall'input, fissando il numero di blocchi esistenti indipendentemente dai dati in ingresso.
- Implementato nel sistema generativo AMap con guadagno del 2.4% relativo UVCTR e latenza sotto i 60ms per centinaia di milioni di utenti.
Perché conta. Per gli sviluppatori che lavorano su LLM, agenti o AI locale, IntBMoE offre un modo pratico per scalare la capacità del modello mantenendo il consumo di memoria e computazione sotto controllo attraverso una gestione intelligente dei blocchi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.