Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint
Pubblicata su AIChronos il · fonte del · Hugging Face blog
Granite Switch 4.1 è un modello modulare che integra chat, capacità decisionali e riconoscimento vocale (ASR) in un'unica fine endpoint senza aumentare il consumo di VRAM rispetto al modello base. Utilizza adapter a basso rango come Decision aLoRA per le decisioni generali e Guardian aLoRA per la sicurezza, oltre all'ultimo Granite-Speech-5.0-Turbo-CTC per la trascrizione audio. Grazie alla riutilizzazione efficiente del KV cache dei modelli di base, il sistema permette un switching istantaneo tra task diversi con velocità elevate.
- I modelli Granite Switch 4.1 (8B e 30B) combinano capacità generiche e specializzate in una singola infrastruttura GPU.
- Gli adapter sono costruiti come Activated LoRAs per garantire l'efficienza della cache KV durante il cambio di task.
- Il modello supera i competitor chiusi (come Jev) nelle workflow RAG reali, completando passaggi complessi più velocemente.
- È possibile comporre modelli personalizzati mescolando adapter da Granite Libraries o utilizzando SDK futuri per Mellea.
- La versione 3B del modello è in grado di navigare nel gioco Doom a oltre 60 decisioni al secondo con narrazione vocale.
Perché conta. Per gli sviluppatori che gestiscono agenti AI e LLM locali, questa architettura permette di ottenere funzionalità avanzate (decisioni sicure, trascrizione) senza il costo hardware aggiuntivo tipico dei modelli separati. La capacità di riutilizzare la cache KV riduce drasticamente i latency quando si alternano richieste di chat a task decisionali o vocali.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.