Agent Policy-Value Audit: Separating Transition Composition from Event Selection in Financial LLM Agents
Aggiunta all'archivio di AIChronos il (numero del 2 ottobre 2026 ricostruito)· fonte del · Mingyang, Chen, Yida, Xu, Huiwen, Chen
Il documento introduce l'Agent Policy-Value Audit, un metodo per distinguere la capacità di selezione degli eventi dalla composizione delle transizioni negli agenti finanziari basati su LLM. Attualmente, le valutazioni end-to-end attribuiscono erroneamente all'esposizione passiva (cambiamenti frequenti da flat a long) una skill di selezione che potrebbe non esistere. La proposta mantiene fisso il conteggio osservato dei tipi di cambi d'azione e riassegna casualmente questi eventi per calcolare un benchmark di composizione, isolando così il vero valore della selezione. In test semi-sintetici su dati reali, questo approccio riduce drasticamente i falsi positivi nell'attribuzione di skill selettiva rispetto ai metodi tradizionali.
- Le valutazioni standard degli agenti finanziari misurano solo la differenza nei rendimenti totali senza isolare le competenze specifiche di selezione eventi.
- Un agente che cambia spesso posizione può generare ritorni positivi semplicemente sfruttando pool di eventi in ascesa, anche selezionando gli eventi a caso.
- L'audit proposto separa il 'composition benchmark' (valore atteso dato la frequenza delle transizioni) dal 'selection value'.
- Applicato retrospettivamente su 723 eventi aziendali, l'agent non mostra una performance superiore rispetto alle assegnazioni casuali matching.
- Si raccomanda di riportare separatamente il deployment value e il selection value nelle valutazioni degli agenti finanziari.
Perché conta. Per gli sviluppatori che costruiscono o valutano agenti AI locali, specialmente in domini ad alto rischio come la finanza, è cruciale evitare l'overfitting su metriche ingannevoli e comprendere se un agente possiede una logica decisionale reale o sta solo sfruttando bias di esposizione passiva.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.