Retrieval Geometry Shapes Cache-Based Clip Adaptation
Aggiunta all'archivio di AIChronos il (numero del 20 settembre 2026 ricostruito)· fonte del · Mahir Shahriar Tamim, Md. Samiul Alim, Azmine Toushik Wasi, Shahriyar Zaman Ridoy, Meharun Nesa, Mohammad Abu Yousuf
Il paper introduce MARC (Memory Augmented Retrieval for CLIP), un sistema addestramento-free che migliora le previsioni di CLIP adattando il test-time utilizzando una memoria basata su cache. Gli autori dimostrano che la scelta dello spazio di retrieval è fondamentale: spazi come DINOv2-L offrono guadagni significativi (+19.7 punti) rispetto a CLIP o MAE, superando i metodi tradizionali e le architetture grafiche in velocità ed efficienza. MARC utilizza un singolo peso di fusione per combinare previsioni frozen con esempi recuperati da uno spazio embedding ottimizzato (DINOv2-B), correggendo efficacemente errori su distribuzioni OOD senza addestramento aggiuntivo.
- La qualità della memoria nella cache-based adaptation dipende non solo dagli esempi memorizzati, ma anche dallo spazio di retrieval utilizzato per il recupero delle immagini.
- MARC utilizza un encoder DINOv2-B frozen per la retrieval in combinazione con CLIP frozen, eliminando la necessità di fine-tuning o addestramento del modello.
- Un singolo view cache su MARC corregge 1074 errori baselini, superando l'ensemble a 64 views (878 errori) riducendo i costi computazionali di circa un settimo.
- Il sistema raggiunge una precisione OOD media del 67.91% su quattro shift distribuzionali ImageNet, outperforming sistemi basati su grafi con velocità 2.6 volte superiore.
- La selezione dello spazio di retrieval label-free preserva il 98% del guadagno teorico (oracle gain) su dataset come ImageNet-V2.
Perché conta. Per gli sviluppatori che lavorano con AI locale e agenti autonomi, MARC offre un approccio efficiente per migliorare la robustezza dei modelli visivi senza costi di addestramento o fine-tuning. Questo è cruciale quando si devono gestire ambienti dinamici (remote sensing, imaging scientifico) dove i dati in ingresso cambiano rapidamente e le risorse computazionali sono limitate.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.