Predictive Credit: Measuring What Scientific Explanations Add to Experimental Forecasts
Aggiunta all'archivio di AIChronos il (numero del 2 ottobre 2026 ricostruito)· fonte del · Jingjie Ning, Xueqi Li, Yibo Kong, Dongting Li (Carnegie Mellon University)
Lo studio 'Predictive Credit' valuta l'apporto delle spiegazioni scientifiche rispetto alle previsioni sperimentali utilizzando agenti di ricerca e benchmark su dataset Tox21 e OpenML. I risultati mostrano che le decisioni sul credito predittivo con il modello v5 sono inconclusive, mentre specifiche verifiche come la coerenza dei segnali noti e i test ROC AUC non sono state soddisfatte in modo significativo. Sebbene alcune configurazioni di DeepSeek V4 Pro abbiano ridotto lo drift nei dati Tox21, l'equivalenza degli intervalli punto-donatore è rimasta irrobustita o ha mostrato copertura inferiore rispetto alle descrizioni base.
- Il protocollo misura il 'predictive credit' attraverso cinque controlli: commitment, delivery, predictive gain, alignment e known-signal uptake.
- Su 336 stati prospettici analizzati in apprendimento controllato, i test preregistrati su Tox21 (ROC AUC interval-score harm) non sono stati soddisfatti.
- L'uso di carte 'matched' e 'donor' con DeepSeek V4 Pro ha ridotto il drift secondario nei dati Tox21 del 64.5% e del 59.1%, ma senza confermare i guadagni puntuali rispetto alla sola descrizione.
- Le assegnazioni a card complete su OpenML hanno allargato gli intervalli nominali dell'80% del 21%, con una copertura al di sotto della soglia attesa (49.3%).
- Il credito naturale delle spiegazioni scientifiche non è stato confermato alle risoluzioni dei donatori testate nel protocollo.
Perché conta. ["È cruciale per gli sviluppatori che integrano agenti AI e sistemi di forecasting locali comprendere i limiti reali dell'interpretazione causale rispetto alla pura accuratezza predittiva.", 'Aiuta a definire metriche robuste per validare se le spiegazioni fornite da un modello (come DeepSeek) aggiungono valore informativo reale o sono solo artefatti descrittivi.']
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.