Vai al contenuto
Model Wayfinder
Guida

Come eseguire un modello AI sul proprio computer

Eseguire un modello localmente significa che i tuoi dati non lasciano mai il tuo computer: funziona offline e non ci sono costi mensili. Ti serve solo un computer abbastanza potente e circa 15 minuti di tempo.

01 · Controlla il tuo hardware

La cosa più importante è la memoria della tua scheda grafica (VRAM). Su Windows: Gestore attività → Prestazioni → GPU → “Memoria GPU dedicata”. Su un Mac con chip della serie M, è possibile utilizzare circa tre quarti della memoria principale.

Una regola approssimativa per la versione compressa standard (Q4): 0.6 GB per miliardo di parametri più 1.5 GB. Un modello da 7B richiede circa 6 GB, quindi entra in una scheda da 8 GB. Il nostro finder verifica tutto questo per te quando scegli l’opzione “locale”.

02 · Il modo semplice: LM Studio

LM Studio è un’applicazione desktop gratuita per Windows, macOS e Linux che dispone di una finestra di chat semplice: non serve una riga di comando.

  1. Scarica e installa LM Studio da lmstudio.ai.
  2. Apri la barra di ricerca e digita il nome del modello; i modelli provengono da Hugging Face.
  3. Scegli una versione contrassegnata con Q4_K_M: offre un buon equilibrio tra dimensioni e qualità. LM Studio indica se è adatta alla tua memoria.
  4. Clicca su Download, carica il modello e inizia a chattare.

03 · Per chi ama sperimentare: Ollama

Ollama esegue i modelli dalla riga di comando e fornisce un’API locale che altri programmi possono utilizzare.

  1. Installa Ollama da ollama.com.
  2. Apri un terminale e avvia un modello utilizzando la libreria Ollama, ad esempio: ollama run <model-name>. Le nostre pagine dei modelli mostrano esattamente il comando da utilizzare.
  3. I modelli di Hugging Face in formato GGUF possono essere avviati direttamente: ollama run hf.co/<user>/<repository>:Q4_K_M

04 · Trovare modelli su Hugging Face

Hugging Face è la più grande raccolta di modelli open source. Consigli:

  • Filtra per GGUF: è il formato utilizzato da LM Studio e Ollama.
  • Leggi la model card: indica la licenza. Alcuni modelli possono essere usati solo a scopo personale o per ricerca.
  • Preferisci i file forniti dal creatore originale o da utenti noti.

05 · Cosa aspettarti

I modelli locali sono solitamente un po’ meno potenti rispetto ai modelli cloud più grandi, ma spesso sono sufficienti per scrivere, riassumere e tradurre. La prima risposta richiede alcuni secondi mentre il modello si carica. Funzionano anche senza scheda grafica, anche se molto più lentamente.