ALoDLM: Adaptively Looped Diffusion Language Models
Aggiunta all'archivio di AIChronos il (numero del 6 ottobre 2026 ricostruito)· fonte del · Liancheng Fang, Zhuowei Li, Youngeun Kim, Tianchen Zhao, Rajat Koner, Jiaye Wu (Amazon)
I modelli linguistici a diffusione (DLMs) soffrono di un divario qualitativo rispetto ai modelli autoregressivi (AR) dovuto alla difficoltà computazionale variabile tra i token. ALoDLM risolve questo problema sostituendo il calcolo uniforme con una ricorrenza latente adattiva al token, allocando risorse in base alla complessità della previsione. Il modello formula gli schemi di calcolo come variabili latenti e deriva un limite inferiore negativo dell'evidenza condizionato (NELBO) per l'addestramento congiunto. Addestrati a 1.7B e 8B parametri, ALoDLM supera i benchmark AR e DLM esistenti mantenendo la velocità del decodifica parallelo.
- Sostituisce il calcolo uniforme con una ricorrenza latente adattiva che rifina le rappresentazioni in base alla difficoltà di ogni token.
- I token pronti per essere commessi vengono restituiti come contesto discreto, mentre quelli irrisolti subiscono passaggi ricorrenti aggiuntivi.
- Gli schemi di calcolo a livello di token sono formulati come variabili latenti ottimizzate tramite un obiettivo NELBO.
- Il modello mantiene la capacità di decodifica parallelo veloce offrendo un ottimo compromesso qualità-efficienza rispetto ai modelli AR e DLM.
- Ha superato tutti i benchmark valutati in media sia alla scala da 1.7B che a quella da 8B parametri.
Perché conta. Per gli sviluppatori di LLM locali o agenti, ALoDLM offre un modo per colmare il divario qualità-velocità senza sacrificare l'efficienza del decodifica parallelo tipica dei DLMs. È rilevante perché permette di integrare modelli a diffusione ad alte prestazioni in pipeline operative dove la latenza e i costi computazionali sono critici.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.