Cortex: Consolidating Context into Parametric Memory
Aggiunta all'archivio di AIChronos il (numero del 15 ottobre 2026 ricostruito)· fonte del · Jintian Zhang, Feng He, Xinnian Liang, Ziwen Xu, Haoming Xu, Haojing Huang (ByteDance Seed)
Il paper introduce Cortex, un framework ispirato alla consolidazione biologica della memoria che internalizza i guadagni prestazionali derivanti dal contesto preservando le capacità non target. Il sistema genera query prospettiche per anticipare l'uso del contesto e distilla gli output condizionati al contesto in aggiornamenti a rete feed-forward strutturale o di rango inferiore mergeabili. Attraverso un testbed a cinque compiti, Cortex dimostra di posizionarsi sulla frontiera empirica consolidamento-retenzione su backbones densi e MoE da 4B a 120B parametri. Dopo 50 modifiche fattuali sequenziali su un modello da 14B, la variante strutturale recupera l'88,9% del guadagno indotto dal contesto mantenendo il 99,8% delle prestazioni originali.
- Cortex formula il Memory Consolidation (MC) come obiettivo comune che unisce editing contestuale specificato, apprendimento di skill e steering comportamentale.
- Il framework distilla gli output condizionati al contesto in aggiornamenti mergeabili a rete feed-forward strutturale o di rango inferiore.
- La valutazione avviene su un testbed a cinque compiti misurando consolidamento e ritenzione sotto singoli, batch e sequenziali update.
- Cortex opera efficacemente sia su modelli text-only che multimodali con architetture dense e Mixture of Experts (MoE).
- Dopo 50 modifiche fattuali sequenziali, Cortex-Structural recupera quasi il 90% del guadagno da contesto mantenendo le prestazioni originali.
Perché conta. Per gli sviluppatori di agenti e sistemi AI locali, Cortex offre una soluzione per mitigare la perdita di performance dopo l'eliminazione o l'aggiornamento del contesto (context removal), permettendo di consolidare dinamicamente i guadagni senza degradare le capacità preesistenti.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.