ExplorationBench: Measuring AI Systems' Exploration in Verifiable Alien Worlds
Aggiunta all'archivio di AIChronos il (numero del 25 settembre 2026 ricostruito)· fonte del · Ming Zhang, Zhenghao Xiang, Peizhong Gao, Yujiong Shen, Yuhui Wang, Zhonghan Yue (Tencent Hunyuan)
Il paper introduce ExplorationBench, un framework per valutare la capacità dei sistemi AI di esplorare ambienti sconosciuti e formulare ipotesi nuove. Il benchmark si basa su 'Alien Worlds', mondi virtuali con regole verificabili ma in conflitto con le conoscenze pregresse dell'AI, impedendo così che il sistema si limiti a richiamare dati dal pre-training. Sono forniti due sandbox: AlienCode per la programmazione e AlienLogic per la logica formale, ciascuno con obiettivi specifici da scoprire tramite l'esplorazione guidata da feedback ambientali. L'analisi di 10 sistemi AI rivela che solo i modelli più forti possono acquisire regole inedite, mentre le prestazioni variano significativamente lungo diverse traiettorie esplorative.
- Esiste una difficoltà fondamentale nel distinguere tra vera esplorazione scientifica e semplice richiamo di conoscenze preesistenti dai dati di training.
- Alien Worlds utilizzano regole eseguibili che contraddicono la conoscenza umana consolidata, rendendo impossibile risolvere i task tramite recall passivo.
- Il benchmark include due ambienti: AlienCode (31 target) e AlienLogic (24 target), ognuno con 70 tasks specifici per testare l'adattabilità del sistema.
- L'esplorazione continua può portare a stalli o al ribaltamento dei guadagni iniziali, evidenziando la complessità dell'apprendimento in ambienti non familiari.
- I sistemi AI devono utilizzare manuali difettosi e feedback specifici per iterare sulle ipotesi fino alla scoperta di nuove regole operative.
Perché conta. Per gli sviluppatori che lavorano con LLM, agenti autonomi o modelli locali, questo benchmark offre un metodo rigoroso per misurare la capacità reale degli AI di scoprire conoscenza nuova piuttosto che solo generare testo basato su pattern noti. È cruciale per valutare se un agente può operare efficacemente in domini non visti durante il training senza degradarsi nel richiamare informazioni errate.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.