L’AI per i principianti
01Cos’è un token?
Un token è un piccolo frammento di testo su cui lavora un’AI: di solito una parola breve o una parte di parola. “House” è spesso un singolo token, mentre una parola lunga come “internationalisation” ne contiene diversi. Regola pratica: 1.000 token corrispondono approssimativamente a 750 parole inglesi, circa una pagina e mezza.
Paghi per token: una volta per quello che invii (input) e una volta per la risposta (output). Ecco perché un breve messaggio costa una frazione di centesimo, mentre riassumere un intero libro costa decisamente di più.
02Cos’è la finestra di contesto?
La finestra di contesto rappresenta la “memoria a breve termine” di un modello: è la quantità di testo che può elaborare contemporaneamente, ovvero la tua domanda, i documenti allegati e la conversazione finora avuta, tutti insieme. Viene misurata in token.
Un modello con una capacità di contesto di 32.000 token può leggere circa 40–50 pagine alla volta. Se il tuo documento è più lungo, dovrà essere diviso in parti oppure avrai bisogno di un modello con una capacità maggiore. Tuttavia, una capacità più grande non significa necessariamente qualità superiore: gli input lunghi costano di più e alcuni modelli perdono dettagli nei testi molto estesi.
03Che cosa significa il numero di parametri?
I parametri sono gli elementi che un modello impara durante l’addestramento, come delle “manopole di regolazione”. Un modello “70B” ne possiede 70 miliardi. Un numero maggiore di parametri indica solitamente una maggiore conoscenza, ma richiede anche più potenza di calcolo e hardware più costosi.
Da solo, questo numero dice poco sulla qualità: i dati di addestramento e i metodi utilizzati sono spesso più importanti. Un modello piccolo ben addestrato può superare uno grande male addestrato, proprio come un’enciclopedia voluminosa non spiega automaticamente le cose meglio di un buon libro sottile. Molti fornitori non pubblicano nemmeno questo numero.
04Quali hardware ho bisogno per eseguire un modello localmente?
La cosa più importante è la memoria della tua scheda grafica (VRAM). Il modello deve stare lì dentro, altrimenti il funzionamento diventa molto lento. Come regola pratica per la versione compressa standard: circa 0.6 GB per miliardo di parametri, più 1–2 GB di spazio extra.
Un modello da 7B richiede circa 6 GB di memoria, quindi funziona su una RTX 4060 con 8 GB. Un modello da 70B ne richiede più di 40 GB: nessuna scheda grafica normale ne ha abbastanza. I Mac con chip della serie M condividono la memoria principale con la GPU, perciò spesso riescono a gestire modelli più grandi. Funziona anche senza scheda grafica, ma molto più lentamente. Su Windows puoi trovare la memoria della GPU in Gestore attività → Prestazioni → GPU.