MaLiang-Harness: A Programmable Path to Image and Video Generation
Aggiunta all'archivio di AIChronos il (numero del 30 settembre 2026 ricostruito)· fonte del · Haoyu Zhao, Zihao Zhang, Xudong Wang, Jiaxi Gu, Zuxuan Wu, Yu-Gang Jiang (National University of Singapore)
MaLiang-Harness è un framework unificato che organizza la generazione visiva guidata da MLLM in un processo persistente di costruzione, ispezione e revisione per colmare il divario tra programmi eseguibili e output visuali. Il sistema introduce lo stato Persistent Executable Generation (PEG) per preservare contesto e codice, collegando le modifiche alle evidenze renderizzate tramite Traceable Generation Process (TGP). Inoltre, implementa Revision-aware Editing and Verification (REV) per supportare il ripristino e la verifica delle revisioni prima del completamento. L'analisi di 15 modelli MLLM rivela discrepanze tra capacità generali e performance visive reali.
- Definizione del Program-to-Visual (P2V) gap come divergenza tra codice corretto semanticamente ma visualmente inadeguato rispetto alla richiesta.
- Implementazione di un processo persistente che condivide una reference comune per programma, storia e verifica visiva.
- GPT-6-Astra ottiene il 100% di successo nella generazione su entrambi i benchmark (MaLiang-IBench e MaLiang-VBench).
- Esposizione del limite dei benchmark generici come predittori dell'abilità a tradurre codice eseguibile in risultati visivi.
- Coordinamento pianificazione, esecuzione e feedback visivo attraverso diversi backend di rendering.
Perché conta. Questo framework è cruciale per gli sviluppatori che lavorano con agenti autonomi o sistemi locali perché fornisce un metodo sistematico per gestire iterazioni complesse nella generazione multimodale senza perdere il contesto storico. Permette di validare non solo la correttezza logica del codice generato dall'LLM, ma anche l'esatta corrispondenza visiva richiesta.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.