Many Right Answers, One Training Example: Removing Responder Noise from GRPO for LLM Recommenders
Aggiunta all'archivio di AIChronos il (numero del 15 ottobre 2026 ricostruito)· fonte del · Xin Li, Hao Jiang, Jinghao Guo, Weisi Lin, Chau Yuen (Nanyang Technological University)
Il paper propone ReMaRk, un metodo per eliminare il rumore dei risponditori (responder noise) nell'addestramento di LLM recommender tramite reinforcement learning. A differenza dell'approccio standard Rank-GRPO che seleziona una singola risposta per esempio, ReMaRk valuta ogni lista generata contro l'unione di tutti i titoli delle risposte disponibili nel thread Reddit. Questo approccio permette un addestramento più efficiente in termini computazionali e raggiunge performance competitive con meno risorse GPU.
- Rank-GRPO soffre di rumore perché il vantaggio (advantage) registrato dipende dall'85% dalla risposta specifica scelta piuttosto che dalla qualità della lista generata.
- ReMaRk assegna un punteggio unico a ogni lista confrontandola con l'unione dei titoli di tutte le risposte valide per quella richiesta.
- Il metodo raggiunge il recall di validazione equivalente a 2.000 step RL basati su singole risposte utilizzando solo il 25-53% degli step necessari.
- L'approccio è applicabile anche a dataset come ProtoQA dove circa 100 persone rispondono alla stessa domanda, confermando la regola di premiare congiuntamente le risposte valide.
- ReMaRk supera o eguaglia Rank-GRPO in termini di efficienza GPU-hours senza sacrificare significativamente le performance finali.
Perché conta. Per gli sviluppatori che costruiscono agenti e sistemi di raccomandazione locali, ReMaRk offre un modo per ridurre drasticamente i costi computazionali dell'addestramento RL sfruttando tutte le risposte umane valide invece di sceglierne una arbitrariamente.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.