İçeriğe geç
Model Wayfinder
Rehber

Kendi bilgisayarınızda bir AI modelini nasıl çalıştırırınız?

Yerel olarak bir model çalıştırmak, verilerinizin bilgisayarınızdan asla dışarı çıkmaması anlamına gelir; çevrimdışı çalışır ve aylık ücret talep edilmez. Yalnızca yeterince güçlü bir bilgisayara ve yaklaşık 15 dakikaya ihtiyacınız vardır.

01 · Donanımınızı kontrol edin

En önemli faktör, grafik kartınızın belleği (VRAM)dir. Windows’ta: Görev Yöneticisi → Performans → GPU → “Özel GPU belleği”. M-serisi çipli bir Mac’te ise toplam ana belleğinizin yaklaşık dörtte üçü kullanılabilir.

Genel sıkıştırılmış versiyon (Q4) için yaklaşık kural: her bir milyar parametre için 0,6 GB artı 1,5 GB. 7B’lik bir model yaklaşık 6 GB alan gerektirir; bu yüzden 8 GB’lık bir kartta yer alır. “Yerel” seçeneğini seçtiğinizde finder aracımız bunu sizin için kontrol eder.

02 · Kolay yol: LM Studio

LM Studio, komut satırı gerektirmeyen, sıradan bir sohbet penceresine sahip olan Windows, macOS ve Linux için ücretsiz bir masaüstü uygulamasıdır.

  1. lmstudio.ai adresinden LM Studio’yu indirip yükleyin.
  2. Arama çubuğunu açın ve model adını yazın; bu modeller Hugging Face’ten gelmektedir.
  3. Boyut ile kalite arasında iyi bir denge sağlayan Q4_K_M etiketli sürümü seçin. LM Studio, bu sürümün belleğinize uyup uymadığını gösterir.
  4. Download butonuna tıklayın, ardından modeli yükleyip sohbet etmeye başlayın.

03 · Deney yapmayı sevenler için: Ollama

[Siz], Ollama aracılığıyla komut satırından modelleri çalıştırabilir ve diğer programların kullanabileceği yerel bir API sunar.

  1. ollama.com adresinden Ollama’yı indirin.
  2. Bir terminal açın ve Ollama kütüphanesi kullanarak bir model başlatın; örneğin: ollama run <model-name>. Model sayfalarımızda doğruladığımız komutları aynen gösterilmektedir.
  3. GGUF formatındaki Hugging Face modelleri doğrudan başlatılabilir: ollama run hf.co/<user>/<repository>:Q4_K_M

04 · Hugging Face’de modeller bulma

Hugging Face, açık kaynaklı modellerin en büyük kütüphanesidir. İpuçları:

  • GGUF ile filtreleme yapın – bu, LM Studio ve Ollama’nın kullandığı formattır.
  • Model kartını inceleyin: burada lisans bilgisi yer alır. Bazı modeller yalnızca özel kullanım veya araştırma amaçlı kullanılabilir.
  • Orijinal üreticiden veya tanınmış yükleyicilerden gelen dosyaları tercih edin.

05 · Neler bekleyebilirsiniz

Yerel modeller genellikle en büyük bulut tabanlı modellere kıyasla biraz daha zayıftır, ancak yazma, özetleme ve çeviri işlemleri için çoğu zaman yeterlidir. Model yüklenirken ilk yanıt birkaç saniye sürer. Grafik kartı olmasa bile çalışır; sadece çok daha yavaş olur.