vllm-project/vllm v0.31.0
Aggiunta all'archivio di AIChronos il (numero del 5 ottobre 2026 ricostruito)· fonte del · vllm-project
La release v0.31.0 di vLLM introduce significativi miglioramenti nelle prestazioni e nella stabilità per il servizio su larga scala, con l'implementazione del Model Runner V2 che abilita la decodifica speculativa tramite modelli bozza (draft models) e ottimizzazioni specifiche per hardware NVIDIA Hopper come SM100/SM103. Sono stati apportati aggiornamenti critici alla gestione della cache delle chiavi-valori (KV cache), inclusi supporti nativi per formati compressi NVFP4 e DeepGEMM, oltre a nuove funzionalità di riavvio rapido tramite daemon di weight-cache. Il rilascio include anche rafforzamenti sulla sicurezza rigettando parametri multimodali non autorizzati e correzioni profonde nel scheduler per prevenire deadlock e gestire meglio le code delle richieste.
- Il Model Runner V2 integra la decodifica speculativa con il drafter LiLiCorr e scheduling asincrono DFlash per migliorare l'efficienza della generazione token.
- Ottimizzazioni hardware specifiche includono FlashMLA mega attention come default su SM100 e supporto per quantizzazione MXFP8 nelle operazioni GEMM fuse.
- Nuovi controlli di sicurezza impediscono l'utilizzo di parametri multimodali (`mm_processor_kwargs`) a meno che non sia esplicitamente abilitata la fiducia tramite flag `--trust-request-mm-kwargs`.
- Il scheduler ora gestisce dinamicamente le code delle richieste basandosi sui blocchi KV in attesa e adatta automaticamente la soglia dei token di prefill lunghi.
- Miglioramenti nella gestione della memoria includono il riutilizzo dello workspace DeepGEMM durante il profiling MoE per prevenire frammentazione dell'allocatore.
Perché conta. Questa release è cruciale per gli sviluppatori che operano con LLM locali o agenti autonomi poiché offre strumenti concreti per scalare l'inferenza su hardware enterprise (Hopper) riducendo i tempi di latenza e mitigando rischi di OOM durante il profiling MoE. Inoltre, le nuove garanzie di sicurezza proteggono da collisioni nei cache dei LoRA e attacchi tramite parametri multimodali non validati.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.