Jak uruchomić model AI na swoim komputerze
Uruchomienie modelu lokalnie oznacza, że twoje dane nigdy nie opuszczają komputera, działa on offline i nie ma żadnych miesięcznych opłat. Wystarczy komputer o odpowiedniej mocy oraz około 15 minut.
01 · Sprawdź swój sprzęt
Najważniejsza jest pamięć karty graficznej (VRAM). W systemie Windows: Menedżer zadań → Wydajność → GPU → „Dedykowana pamięć GPU”. W Macu z chipem serii M można wykorzystać około trzech czwartych pamięci głównej.
Zasada przybliżona dla zwykłej wersji skompresowanej (Q4): 0,6 GB na miliard parametrów plus 1,5 GB. Model 7B potrzebuje około 6 GB, więc mieści się na karcie o pojemności 8 GB. Nasz finder sprawdzi to za ciebie, gdy wybierzesz opcję „local”.
02 · Prosty sposób: LM Studio
LM Studio to darmowe oprogramowanie do komputera dostępne dla Windows, macOS i Linux, które posiada zwykłe okno czatu – nie potrzebujesz linii poleceń.
- Pobierz i zainstaluj LM Studio z adresu lmstudio.ai.
- Otwórz pole wyszukiwania i wpisz nazwę modelu – modele pochodzą z Hugging Face.
- Wybierz wersję oznaczoną Q4_K_M – zapewnia dobrą równowagę między rozmiarem a jakością. LM Studio pokaże, czy pasuje do twojej pamięci.
- Kliknij Download, następnie załaduj model i zacznij rozmawiać.
03 · Dla eksperymentatorów: Ollama
Ollama uruchamia modele z linii poleceń i dostarcza lokalną API, którą mogą wykorzystywać inne programy.
- Zainstaluj Ollama z strony ollama.com.
- Otwórz terminal i uruchom model z biblioteki Ollama, na przykład:
ollama run <model-name>. Na naszych stronach z modelami znajdziesz dokładny komendę, którą sprawdziliśmy. - Modele z Hugging Face w formacie GGUF można uruchomić bezpośrednio:
ollama run hf.co/<user>/<repository>:Q4_K_M
04 · Szukanie modeli na Hugging Face
Hugging Face to największa baza otwartych modeli. Wskazówki:
- Filtruj według formatu GGUF – to format używany przez LM Studio i Ollama.
- Przeczytaj model card: podaje on licencję. Niektóre modele można używać tylko prywatnie lub do celów badawczych.
- Wolij pliki od oryginalnego twórcy lub od znanych dostawców.
05 · Co możesz się spodziewać
Modele lokalne są zazwyczaj nieco słabsze od największych modeli chmurowych, ale często wystarczają do pisania, streszczania i tłumaczenia. Pierwsza odpowiedź pojawia się po kilku sekundach, gdy model się ładuje. Działają również bez karty graficznej – tylko znacznie wolniej.