Ga direct naar de inhoud
Model Wayfinder
Gids

Hoe kun je een AI-model op je eigen computer uitvoeren?

Als je een model lokaal uitvoert, blijven je gegevens altijd op je computer. Het werkt offline en er zijn geen maandelijkse kosten. Je hebt alleen een computer met voldoende kracht nodig en ongeveer 15 minuten tijd.

01 · Controleer je hardware

Het belangrijkste is de geheugenkapaciteit van je grafische kaart (VRAM). Op Windows: Taakbeheer → Prestaties → GPU → “Gereserveerd GPU-geheugen”. Op een Mac met een M-serie chip kun je ongeveer driekwart van het hoofdgeheugen gebruiken.

Voor de standaard gecompresseerde versie (Q4) geldt als richtlijn: 0,6 GB per miljard parameters plus 1,5 GB. Een 7B-model heeft ongeveer 6 GB nodig, dus dat past op een 8 GB-kaart. Onze finder controleert dit voor je wanneer je “local” kiest.

02 · De gemakkelijke manier: LM Studio

LM Studio is een gratis desktopapp voor Windows, macOS en Linux met een gewone chatvenster – er is geen commandoregel nodig.

  1. Laad LM Studio van lmstudio.ai naar beneden en installeer het.
  2. Gebruik de zoekfunctie (vergrotingsspiegel) en typ de naam van het model. De modellen komen van Hugging Face.
  3. Kies een versie gemarkeerd met Q4_K_M – dit biedt een goede balans tussen grootte en kwaliteit. LM Studio laat zien of deze past in je geheugen.
  4. Klik op Download, laad het model op en begin te chatten.

03 · Voor experimenteerders: Ollama

Ollama voert modellen uit vanaf de commandoregel en biedt een lokale API die andere programma’s kunnen gebruiken.

  1. Installeer Ollama vanaf ollama.com.
  2. Open een terminal en start een model met de Ollama-bibliotheek, bijvoorbeeld: ollama run <model-naam>. Op onze modelpagina’s staat de exacte opdracht die we hebben gecontroleerd.
  3. Modellen van Hugging Face in GGUF-formaat kunnen direct worden gestart: ollama run hf.co/<gebruiker>/<repository>:Q4_K_M

04 · Modellen vinden op Hugging Face

Hugging Face is de grootste bibliotheek met openbare modellen. Tips:

  • Filter op GGUF – dat is het formaat dat LM Studio en Ollama gebruiken.
  • Lees de modelkaart: daarin staat de licentie. Sommige modellen mogen alleen privé of voor onderzoek worden gebruikt.
  • Gebruik liever bestanden van de oorspronkelijke ontwikkelaar of bekende uploaders.

05 · Wat je kunt verwachten

Lokale modellen zijn meestal iets zwakker dan de grootste cloudmodellen, maar vaak goed genoeg voor schrijven, samenvatten en vertalen. Het eerste antwoord duurt een paar seconden terwijl de model wordt geladen. Zonder een grafische kaart werkt het ook – alleen veel langzamer.