Ovis-Embedding: Pushing the Frontiers of Universal Omni-Modal Embeddings
Aggiunta all'archivio di AIChronos il (numero del 23 settembre 2026 ricostruito)· fonte del · Embedding Team (ATH-MaaS)
Ovis-Embedding è una famiglia di embedding omni-modale che integra nativamente testo, immagini, video e audio in uno spazio rappresentazionale comune tramite un backbone condiviso. Il modello si basa su un Qwen-omni pre-addestrato adattato con training contrastivo a bassa dimensione (low-rank initialization) e utilizza un corpus eterogeneo di alta qualità per l'addestramento data-centric. Per ottimizzare le prestazioni, impiega focal loss sugli esempi difficili e similarity-based Embedding Distillation dai esperti complementari, mentre all'inferenza permette embedding compatti tramite decomposizione delle feature a bassa dimensione.
- Utilizzo di un backbone multimodale condiviso invece di torri separate per le diverse modalità.
- Adozione del modello Qwen-omni pre-addestrato come base con inizializzazione low-rank e training contrastivo.
- Implementazione di homogeneous-source sampling per creare batch coerenti con negativi informativi all'interno dello stesso lotto.
- Ottimizzazione dell'inferenza tramite decomposizione a bassa dimensione delle feature per ridurre le dimensioni mantenendo le prestazioni.
- Raggiungimento del state-of-the-art su benchmark come MMEB-v3, MVEB e MAEB.
Perché conta. ["Permette di superare la frammentazione modale offrendo un'unificazione per il retrieval any-to-any in architetture locali o distribuite.", "La capacità di decomposizione a bassa dimensione riduce i costi computazionali e di memoria, rendendo l'embedding efficiente anche su hardware limitato."]
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.