Concetto · 6 novità
KV Cache
Pagina pubblicata il · ultima novità il
Cronologia
- DLite: History-free Speculative Decoding for Agentic AIPer gli sviluppatori che lavorano con agenti AI e modelli locali, DLite offre un modo pratico per accelerare l'inference senza essere penalizzati dalla gestione di contesti in continua espansione. Questo approccio risolve il collo di bottiglia del cache KV storico, rendendo fattibile lo speculative decoding anche in scenari complessi tipici degli agentic workloads.
- huggingface/transformers v5.20.0 — Release v5.20.0Questa release è cruciale per gli sviluppatori che costruiscono agenti AI locali o sistemi multimodali, poiché abilita l'uso di modelli a contesto ultra-lungo e architetture Mixture of Experts in modo sicuro e ottimizzato su hardware eterogeneo.
- STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State QuantizationPer gli sviluppatori che gestiscono LLM e agenti, STEPQuant offre un modo efficace per mitigare il collo di bottiglia della memoria nei server concorrenti senza sacrificare drasticamente l'accuratezza del modello.
- TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language ModelsPer gli sviluppatori che lavorano con LLM locali o agenti autonomi, TRACE offre un modo per ridurre drasticamente i costi di memoria e computazione durante il fine-tuning RL senza sacrificare le prestazioni inferenziali rispetto alla precisione standard.
- Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMsPer gli sviluppatori che operano con LLM e agenti locali, HeteroFold riduce drasticamente la latenza e il consumo computazionale permettendo l'uso combinato di modelli eterogenei senza sovraccaricare i nuovi nodi della rete con operazioni di prefilling costose.
- vllm-project/vllm v0.30.0Questa release è cruciale per gli sviluppatori che gestiscono deployment locali o edge computing, offrendo meccanismi avanzati come HiSparse ed ipc_cache per massimizzare l'utilizzo dell'hardware esistente (es. SM100) e ridurre i tempi di latenza durante il riavvio dei servizi.