MassAlloc Attention: Let Attention Allocate Its Own Compute
Aggiunta all'archivio di AIChronos il (numero del 29 settembre 2026 ricostruito)· fonte del · Jingze Shi, Zhangyang Peng, Xianduo Li, Yanlin Qi, Xiaotian Lin, Haoxian Chen (Beijing Academy of Artificial Intelligence)
Il paper introduce MALA (MassAlloc Attention), un primitivo di attenzione fuso che ottimizza l'allocazione dei calcoli post-score basandosi sui contributi normalizzati dell'attenzione. A differenza delle implementazioni dense standard come FullAttn, MALA preserva l'accesso a tutte le interazioni causali legali ma riduce i computi per quelle con contributo trascurabile utilizzando un online-softmax dinamico in fase forward e uno finalizzato in backward. Gli esperimenti dimostrano che questa allocazione adattiva mantiene errori di output e gradienti bassi su contesti da 1K a 32K token, avvicinandosi quasi all'oracolo della massa di riferimento per istanza.
- MALA riduce la latenza forward del training del 54% (fattore 2.2x) e quella backward del 70% (fattore 3.0x) rispetto a FullAttn su benchmark da 128K token.
- Durante l'inference, MALA abbassa la latenza di decoding del 36% (fattore 1.6x), avvicinandosi all'accuratezza dell'oracolo con una massa omessa media dello 0.0188%.
- Il metodo utilizza un'unica tolleranza comune per governare sia l'addestramento che l'inference, permettendo la ritenzione adattiva del lavoro computazionale senza degradazione significativa delle prestazioni.
- Modelli addestrati con MALA fino a 14B parametri raggiungono punteggi comparabili in conoscenza e ragionamento rispetto ai modelli FullAttn, riducendo il totale dei FLOPs di training.
- L'approccio è scalabile: i risultati mostrano una stretta correlazione tra la riduzione del lavoro computazionale allocato e l'aumento della lunghezza del contesto fino a 32K token.
Perché conta. Per gli sviluppatori che lavorano con LLM, agenti AI o deployment locale, MALA offre un modo pratico per ridurre drasticamente i costi di training (FLOPs) e inference senza sacrificare le capacità cognitive del modello, rendendo fattibile l'uso di contesti lunghi su hardware limitato.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.