AIChronos.notizie sull'intelligenza artificiale
Iscriviti
Dossier

Ragionamento e thinking models

Come funzionano i modelli di ragionamento (thinking models) e quando conviene usarli?

Pubblicato il · versione 1· 45 fontiVerifica automatica

A cura di Daniele Viscuso

Scritto con l'assistenza di Claude (Anthropic) esclusivamente sulle schede citate; una verifica automatica ha controllato le affermazioni contro le fonti. Verifica sempre sulle fonti originali.

In breve

Le fonti non contengono una spiegazione diretta e sistematica del funzionamento dei thinking models. Ne emergono però tre elementi. Il ragionamento esplicito è addestrato soprattutto con reinforcement learning (RL) 18,32. Queste tracce di ragionamento sono utili: l'estrazione del CoT nascosto di modelli chiusi ne eguaglia le prestazioni "native" e supera nettamente le baseline senza ragionamento 42. Il compute extra a inference time (più campioni, verifica) migliora l'affidabilità, ma solo a certe condizioni 30,27. Non c'è invece una guida quantitativa su quando il thinking convenga rispetto al non-thinking: le indicazioni qui sotto sono inferenze dai dati disponibili.

Lo stato attuale

Addestramento. L'RL è indicato come paradigma centrale per far avanzare i modelli 18 e può indurre capacità di ragionamento sostanziali negli LLM 32. Con reward verificabili (RLVR) migliora il ragionamento multimodale, ma GRPO assegna un unico advantage a livello di sequenza a ogni token, benché gli errori si concentrino in pochi passaggi decisivi 3. Nel coding, con reward binari sui test, GRPO dà advantage identici a tutte le traiettorie che passano i test, ignorando la qualità dell'implementazione 35. Un lavoro sul credit assignment riporta per PACT 72,87% di accuratezza media su quattro benchmark di agentic mathematical reasoning, con +8,80 punti su GRPO e +13,16 su PPO 44.

Il ragionamento è reale ma non sempre controllabile. Estraendo le tracce dei modelli chiusi tramite un tool custom registrato via API, il ragionamento estratto eguaglia quello nativo (verificato su modelli open-source) in matematica da competizione, scienza e codice 42. Lo stesso studio osserva che GPT-6 Astra risolve internamente i passaggi elementari ed esternalizza solo quelli cruciali 42. Sul versante opposto, i controlli "no-think" espliciti non eliminano in modo affidabile l'inferenza visibile: su sei LLM e sei interventi di prompting emerge la "Thinking Inertia", più marcata quando lo spazio delle risposte si apre. L'accuratezza resta stabile su domande booleane e a scelta multipla; nei task aperti c'è un trade-off tra rispetto del formato answer-only e accuratezza 14.

Test-time compute. In Mid-Harness, campionare 8 azioni e verificarle con un verifier GPT-5.6 Sol porta il Pass@1 su TerminalBench-Lite da 50,00% a 68,03%. Con verifica debole, più campioni danno poco beneficio 30. Con un generatore da 9B, la verifica pairwise è il meccanismo migliore tra quelli valutati. Combinare scaling di azioni e di traiettorie dà più successo a minor costo stimato in token rispetto alle sole traiettorie 30.

Costo del post-training. Su 14 coppie base/post-trained e tre benchmark agentic, i modelli pre-addestrati con un harness leggero hanno pass@1 molto inferiore ma spesso superano i post-trained in pass@K con budget sufficiente. Il post-training spinge i task verso gli estremi "sempre risolto / mai risolto" 27. Gli autori chiamano questo costo "Sharpening Tax" e dicono che è diffuso nella maggior parte dei casi 27.

Approcci e strumenti

  • RL con reward verificabili e credit assignment raffinato. Pro: reward oggettivi, miglioramenti misurati 44,35. Contro: il segnale grossolano per sequenza penalizza il credito per token 3. Un risultato negativo: PPO in un gioco risolto analiticamente resta impreciso con flusso non informato stocastico, perché i critic non ordinano in modo affidabile azioni vicine 28.
  • Controllo della lunghezza/costo del ragionamento. Il grading agentic di gruppo in MiMo-V2.6 orienta il modello verso soluzioni più brevi ed efficienti in token 18. Qwen-Planner-Agent usa CARE per ridurre i costi di ragionamento e uso degli strumenti preservando le prestazioni 40. Le fonti non confrontano questi metodi tra loro.
  • Distillazione on-policy. Un esperto RL compatto può trasferire capacità a uno studente molto più grande; a parità di gold score, teacher più piccoli trasferiscono meglio 32. Il guadagno col teacher scala solo fino a circa la dimensione dello studente 32.
  • Verifica e campionamento a inference time. Vedi Mid-Harness 30 e PTGS, un sampler bayesiano plug-and-play che adatta la temperatura alla difficoltà stimata del prompt 27. Pro: non serve riaddestrare il generatore 30. Contro: serve un verifier capace 30.
  • Self-critique. UniEvo-VL usa le auto-critiche come informazione privilegiata; su Qwen-image-2512 GenEval passa da 0,747 a 0,808. Il miglioramento non è uniforme tra i task (risultati misti sul text rendering) 29.
  • Efficienza dell'RL. Rollout in FP4 con TRACE fino a 5,4x più veloci con prestazioni RL comparabili a BF16 21. NVFP4 nativo con TRIAGE fino a 2,3x di throughput rispetto a BF16 22. LoGRA riduce la memoria fino al 45,7% 23.
  • Modelli di ragionamento locali. Secondo la sola scheda (senza testo originale), LFM2.5-24B-A2B è un modello di ragionamento MoE con 2B parametri attivi per token, pensato per agenti on-device 12. HyperCLOVAX Vision V2 supporta ragionamento a catena tramite thinking tokens (anche qui, dalla sola scheda delle release notes 33). Questi dati vanno verificati sulle fonti primarie.

Cosa provare

Queste sono indicazioni inferite, non raccomandazioni esplicite delle fonti.

  1. Valutare il thinking sul proprio task, non assumerlo. Le prove di benefici riguardano matematica, scienza e codice 42; per i task a risposta chiusa l'accuratezza era stabile con e senza controlli no-think 14. Per questi casi conviene misurare se il thinking aggiunge qualcosa.
  2. Non fidarsi del flag "thinking off". Se serve output senza inferenza visibile, misurare la conformità (ad esempio con l'Empty-Thinking Rate 14) e considerare di fornire candidati di risposta, che facilitano output puramente descrittivi 14.
  3. Per agenti, spendere compute su verifica più che su generazione. Un verifier capace ha reso utili le alternative dello stesso generatore 30; se il verifier è debole, campionare di più serve poco 30.
  4. Misurare pass@K oltre a pass@1 quando si confrontano base e post-trained: il solo pass@1 può nascondere una perdita di copertura 27.
  5. Se si fa RL, partire da una buona inizializzazione e diagnosticare il critic. In un caso di studio finanziario, un Actor-Critic addestrato da zero ha ottenuto in media 0,18%, contro 37,54% con inizializzazione supervisionata 19. Il risultato viene da un dominio lontano, quindi va letto come indizio.

Questioni aperte

  • Lacune nelle fonti. Mancano confronti diretti thinking vs non-thinking su costo, latenza e accuratezza, e una descrizione dei meccanismi interni. Gran parte del materiale è sull'RL, non sull'uso dei thinking models.
  • Fedeltà delle tracce. Gli autori riconoscono che le tracce estratte potrebbero essere razionalizzazioni a posteriori; il controllo è stato fatto confrontando con il CoT nativo di modelli open-source 42. Per i modelli chiusi resta un'inferenza.
  • Sharpening vs capacità nuove. Il costo di copertura è documentato in più contesti 27, mentre altri lavori mostrano guadagni da RL su task agentic 18,45. Le fonti non riconciliano i due quadri.
  • Limiti dei modelli. Su RoTA-Bench, GPT-5.6-Sol riesce nel 17% dei task contro il 100% di studenti umani, per compiti di controllo 3D con feedback visivo 6.
  • Dati solo da scheda. Le affermazioni su LFM2.5 12, Gemini 4 Argon (compreso il monitoraggio della chain-of-thought) 31 e le release di Transformers 33 provengono da sintesi o note parziali, non da testo completo verificato. Non vanno trattate come risultati consolidati.
  • Da osservare. Se i metodi per ridurre i token di ragionamento 18,40 reggano su benchmark indipendenti, e se i risultati sulla distillazione weak-to-strong 32 si estendano oltre i setup studiati.

Fonti

  1. Enhancing Multimodal RLVR with Pairwise Token Contrast and Adaptive Trajectory Confidence — arXiv, in AIChronos dal 18 ottobre 2026 · scheda
  2. RoTA-Bench: Evaluating 3D Spatial Reasoning through Interactive Projection Alignment — HF Daily Papers, in AIChronos dal 17 ottobre 2026 · scheda
  3. Run fast, private agents on-device with LFM2.5-24B-A2B — Blog, in AIChronos dal 13 ottobre 2026 · scheda
  4. Thinking Inertia: LLMs Keep Thinking When Told Not To — HF Daily Papers, in AIChronos dal 13 ottobre 2026 · scheda
  5. MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement — HF Daily Papers, in AIChronos dal 9 ottobre 2026 · scheda
  6. MLP-Initialized Reinforcement Learning for Exit Timing in SPX Short-Straddle Portfolios — arXiv (temi verticali), in AIChronos dal 9 ottobre 2026 · scheda
  7. TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models — HF Daily Papers, in AIChronos dal 7 ottobre 2026 · scheda
  8. TRIAGE: Direction-Aware Mismatch Stabilization of Native NVFP4 Reinforcement Learning — HF Daily Papers, in AIChronos dal 7 ottobre 2026 · scheda
  9. LoGRA: Scaling LLM Reinforcement Learning with Low-Rank Gradient Sketches — HF Daily Papers, in AIChronos dal 6 ottobre 2026 · scheda
  10. Sharpening Tax in Post-Training — HF Daily Papers, in AIChronos dal 2 ottobre 2026 · scheda
  11. When a Correct Reward Is Not Enough: Diagnosing and Guiding PPO in an Analytically Solved Broker-Trader Game — arXiv (temi verticali), in AIChronos dal 2 ottobre 2026 · scheda
  12. UniEvo-VL: An On-policy Self-Distillation Training Recipe for Multimodal Model Self-improvement — HF Daily Papers, in AIChronos dal 1 ottobre 2026 · scheda
  13. Mid-Harness: Scaling Actions Between Model and Harness for Terminal Agents — HF Daily Papers, in AIChronos dal 1 ottobre 2026 · scheda
  14. Gemini 4 Argon: our next era of frontier intelligence — Blog, in AIChronos dal 30 settembre 2026 · scheda
  15. Scaling Properties of Same-Family On-Policy Distillation — HF Daily Papers, in AIChronos dal 30 settembre 2026 · scheda
  16. huggingface/transformers v5.18.0 — Release 5.18.0 — GitHub, in AIChronos dal 30 settembre 2026 · scheda
  17. Groupwise Agentic Grading and Advantage Redistribution for Code Agent RL — HF Daily Papers, in AIChronos dal 29 settembre 2026 · scheda
  18. Qwen-Planner-Agent: A Closed-Loop AI-for-AI Framework for Real-World Mobile Planner Agents — HF Daily Papers, in AIChronos dal 25 settembre 2026 · scheda
  19. Capable yet Parsimonious: Extracting and Characterizing Hidden Chain-of-Thought in Frontier Models — HF Daily Papers, in AIChronos dal 24 settembre 2026 · scheda
  20. PACT: From Credit Assignment to Critic Alignment — HF Daily Papers, in AIChronos dal 24 settembre 2026 · scheda
  21. CodeMidas: Scaling Agentic Coding RL Environments from Code Itself — HF Daily Papers, in AIChronos dal 21 settembre 2026 · scheda