Codice · GitHub
ggml-org/llama.cpp
Aggiunta all'archivio di AIChronos il (numero del 18 ottobre 2026 ricostruito)· fonte del · ggml-org
llama.cpp è un progetto open source che permette l'inferenza di modelli LLM in C/C++ con ottimizzazioni hardware specifiche e supporto per vari backends. Offre una soluzione rapida da installare e funziona su una vasta gamma di dispositivi.
- Implementazione in C/C++ senza dipendenze
- Supporto per vari architetture hardware (x86, ARM, RISC-V)
- Ottimizzazioni specifiche per Apple silicon e GPU NVIDIA
- Supporto per quantizzazione di basso bit
- API CLI e server REST
Perché conta. Per uno sviluppatore che lavora con LLM, agenti e AI locale, llama.cpp offre una soluzione efficiente e versatile per l'inferenza su vari dispositivi, facilitando lo sviluppo di applicazioni personalizzate.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.