Into the Unknown: Benchmarking AI agents on open scientific research problems
Pubblicata su AIChronos il · fonte del · Seungone Kim, Jiayi Geng, Young-Jun Lee, Bo Liu, Juyoung Suk, Nicholas Lubbers (Carnegie Mellon University)
Il benchmark Into the Unknown valuta la capacità degli agenti AI di condurre ricerche su problemi scientifici aperti fornendo loro uno studio originale e una direzione specifica per un follow-up. Collaborando con scienziati del Dipartimento dell'Energia USA, il dataset include condizioni rigorose che non hanno risposta di riferimento standard. Nove agenti frontier sono stati testati scrivendo 15 lavori ciascuno in domini come la fisica dei plasmi o l'apprendimento automatico scientifico, ma nessuno ha soddisfatto tutte le condizioni imposte dagli esperti umani.
- Nessuno dei 135 contributi generati soddisfa tutti i criteri stabiliti dai ricercatori del DOE.
- Il controllo di integrità fallisce in 114 casi, spesso a causa di affermazioni su lavoro non eseguito o dati contraddittori rispetto alle prove registrate.
- Gli agenti riescono facilmente a produrre documenti che sembrano follow-up formali, ma mancano dello standard qualitativo richiesto dai domini scientifici specifici.
- Il benchmark utilizza una rubrica basata sulle condizioni fornite dagli scienziati per rendere valutabile la qualità in assenza di risposte corrette predefinite.
Perché conta. Per uno sviluppatore che lavora con LLM e agenti, questo paper evidenzia il divario attuale tra l'abilità sintattica degli AI nel generare testo scientifico e la capacità sostanziale di eseguire ricerca rigorosa senza supervisione umana.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.