PACT: From Credit Assignment to Critic Alignment
Aggiunta all'archivio di AIChronos il (numero del 24 settembre 2026 ricostruito)· fonte del · Jiayan Fu, Hang Xu, Yong Zhang, Zhaokai Luo, Yao Hu, Dongyan Zhao (AllSpark Research)
Il paper definisce formalmente il credit assignment a livello di token attraverso tre condizioni regolarità (Completeness, Prefix Consistency, Neutrality) e dimostra come questo guidi l'allineamento tra attore e critico. L'autori introducono PACT, una procedura di training che applica un ordine di aggiornamento Attore-poi-Critico con correzione tramite importance sampling per migliorare la stabilità del gradiente politico. Questo approccio supera significativamente metodi esistenti come GRPO e PPO su benchmark matematici (72.87% accuracy) e ingegneristici (SWE-bench Verified).
- Formalizzazione unica delle condizioni regolarità per determinare il credit a livello di token.
- PACT utilizza un ordine Attore-poi-Critico con correzione importance sampling per allineare meglio la funzione valore alla politica aggiornata.
- Risultati empirici superiori su agentic mathematical reasoning (+8.80% vs GRPO) e SWE-bench Verified (+2.4% vs PPO).
- Analisi del ruolo dell'insegnante ideale nell'On-Policy Distillation come critico implicito.
- Dimostrazione di approssimazioni nella sparsità del credito sotto ricompense vincolate.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti autonomi, PACT offre un framework teorico solido per migliorare l'efficienza dell'inference locale riducendo il rumore nei segnali di reward. La tecnica è cruciale per ottimizzare algoritmi come GRPO o PPO in scenari complessi dove la precisione del credit assignment determina direttamente le prestazioni degli agent.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.