Sezione
LLM in locale con 8-16 GB di VRAM
19 novità raccolte · ultima il
Come far girare LLM in locale con 8-16 GB di VRAM: quali modelli, quantizzazioni e runtime funzionano oggi?
Le fonti fornite non contengono una guida diretta né benchmark specifici per la fascia 8-16 GB di VRAM, quindi la domanda trova solo risposta parziale. Emergono però indicazioni utili: llama.cpp è il runtime di riferimento per la quantizzazione a basso bit, Ollama lo integra e lo aggiorna di continuo, e i modelli MoE con pochi parametri attivi, come LFM2.5-24B-A2B (24B totali, 2B attivi), sono candidati naturali per hardware limitato. Per i modelli più grandi, Unsloth descrive uno swap dei blocchi che permette di far girare MoE GGUF più grandi della VRAM. Nessuna fonte, tuttavia, indica quali quantizzazioni o modelli entrino precisamente in 8 o 16 GB.
Leggi il dossier completo →Ultime novità della sezione
- MAS-Bai: Linguistically Informed Adaptive Multi-Agent Translation for Bowen-Script BaiPer gli sviluppatori che lavorano con LLM e agenti, MAS-Bai dimostra come il routing adattivo e la specializzazione linguistica siano cruciali quando si affrontano lingue a risorse estreme o sistemi di scrittura non standard. Inoltre, l'uso del ciclo-consistenza per monitorare l'affidabilità in tempo reale offre un pattern utile per implementare controlli di qualità robusti negli agenti AI locali senza sacrificare le prestazioni.
- Google DeepMind and Singapore Government collaborate to build fine-tuned AI model for scam detectionQuesta soluzione è rilevante perché dimostra come gli agenti AI locali possano proteggere i dati sensibili degli utenti senza comprometterne la sicurezza tramite l'invio al cloud, offrendo un modello pratico di privacy by design.
- Welcome Beam: a 501B open model you can own, customize, and scalePer uno sviluppatore che lavora con LLM, agenti e AI locale, Welcome Beam offre un modello potente e flessibile, adattabile tramite fine-tuning e integrabile in diversi scenari computazionali.
- ggml-org/llama.cppPer uno sviluppatore che lavora con LLM, agenti e AI locale, llama.cpp offre una soluzione efficiente e versatile per l'inferenza su vari dispositivi, facilitando lo sviluppo di applicazioni personalizzate.
- affaan-m/ECCÈ rilevante per uno sviluppatore che lavora con LLM, agenti e AI locale poiché ECC offre una soluzione integrata per l'ottimizzazione del processo di sviluppo e la gestione delle competenze degli agenti.
- ollama/ollama v0.40.6Queste modifiche sono rilevanti per uno sviluppatore che lavora con LLM, agenti e AI locale poiché migliorano la stabilità del software, ampliano i formati supportati e offrono nuove funzionalità di interazione.
- ollama/ollama v0.40.5Questa release è cruciale per gli sviluppatori che operano in ambienti locali o ibridi perché offre modelli ad alte prestazioni (Nemotron) ottimizzati per hardware specifico come le GPU NVIDIA da 24 GB, riducendo i costi di inferenza. Inoltre, l'integrazione nativa del cloud decision models e il supporto agli errori nelle conversazioni con tool calls estendono la capacità degli agenti AI senza richiedere infrastrutture complesse.
- unslothai/unsloth v0.1.906-beta — Browser Use + Qwen-Image-2.1-TurboQuesta release è cruciale per gli sviluppatori che operano in ambienti locali o ibridi, offrendo accelerazioni hardware-specifiche (Apple Silicon/NVIDIA/AMD) e riducendo la dipendenza da cloud costosi. Consente di implementare agenti autonomi con capacità visive avanzate e training personalizzato su architetture emergenti senza sacrificare le prestazioni.
- unslothai/unsloth v0.1.905-beta — Sandboxing is here!Questa release è cruciale per gli sviluppatori che lavorano con agenti AI e modelli locali perché garantisce l'esecuzione sicura in sandbox, riduce le dipendenze esterne integrando ComfyUI nativamente e accelera drasticamente i tempi di training su hardware consumer o enterprise.
- AI-Based On-Board Maritime Object Detection for Earth Observation Payload Data Reduction on Versal Embedded HardwareQuesto lavoro è rilevante per gli sviluppatori di AI locale e agenti autonomi poiché dimostra come tecniche di ottimizzazione hardware (quantization) permettano l'esecuzione efficiente di modelli complessi su dispositivi embedded, un principio trasferibile all'ottimizzazione di LLM o sistemi di visione artificiale in edge computing.
- The model that didn't exist, so you made it yourselfPer gli sviluppatori che lavorano con LLM e AI locale, questa tecnologia democratizza l'accesso al fine-tuning avanzato eliminando la necessità di competenze ingegneristiche profonde o budget elevati per costruire modelli verticali.
- Matt and Ryan Have a Chat: Dishwashers, Datadog Spreadsheets, & Electric Fly SwattersPer uno sviluppatore che lavora con LLM e agenti, è cruciale comprendere come le acquisizioni aziendali stanno ridefinendo gli standard per l'osservabilità degli agenti (prevenzione allucinazioni su competitor) e quali nuovi strumenti open-source sono disponibili per eseguire inference locale efficiente.
- Don't Make This Big Mistake with JevQuesta tecnologia permette agli sviluppatori di costruire agenti autonomi sicuri ed efficienti senza dipendere da API esterne che potrebbero violare la privacy o introdurre latenze critiche. L'adozione locale riduce i costi operativi eliminando le chiamate a rete e protegge asset sensibili come log, hash e statistiche dai termini commerciali dei provider cloud.
- EmbeddingGemma 2: an open, lightweight multimodal embedding modelÈ rilevante perché consente agli sviluppatori di costruire pipeline RAG (Retrieval Augmented Generation) completamente locali che garantiscono la privacy dei dati riducendo la latenza del network. La capacità unificata riduce l'overhead computazionale rispetto all'utilizzo di modelli specialistici separati, abilitando agenti AI e motori di ricerca semantico per codice/media direttamente su dispositivi consumer.
- vllm-project/vllm v0.31.0Questa release è cruciale per gli sviluppatori che operano con LLM locali o agenti autonomi poiché offre strumenti concreti per scalare l'inferenza su hardware enterprise (Hopper) riducendo i tempi di latenza e mitigando rischi di OOM durante il profiling MoE. Inoltre, le nuove garanzie di sicurezza proteggono da collisioni nei cache dei LoRA e attacchi tramite parametri multimodali non validati.
- Harnessing Domain Specialists in Multimodal Mixture-of-Experts for Efficient AdaptationÈ rilevante perché permette di adattare modelli LLM e multimodali in modo efficiente su hardware locale, aggiornando solo una frazione dei parametri tramite tecniche come il fine-tuning selettivo degli esperti MoE.
- Disaggregated Quantization: Specializing LLM Prefill and Decode["Permette agli sviluppatori di ottimizzare l'inferenza locale bilanciando velocità del prompt (prefill) e accuratezza della generazione (decode).", 'Consente di migliorare le prestazioni su task complessi senza richiedere hardware aggiuntivo, sfruttando efficientemente risorse esistenti come SSD.']
- vllm-project/vllm v0.30.0Questa release è cruciale per gli sviluppatori che gestiscono deployment locali o edge computing, offrendo meccanismi avanzati come HiSparse ed ipc_cache per massimizzare l'utilizzo dell'hardware esistente (es. SM100) e ridurre i tempi di latenza durante il riavvio dei servizi.
- Transformers now runs llama.cpp quantsQuesta integrazione permette agli sviluppatori di lavorare con checkpoint GGUF direttamente all'interno degli ecosistemi PyTorch e Transformers standard, eliminando la necessità di gestire runtime separati per l'inferenza locale su hardware Apple. Consente inoltre una verifica immediata dell'accuratezza della conversione dei pesi e del quantization error prima di procedere a pipeline complesse come il fine-tuning o lo sviluppo di agenti.