Cara menjalankan model AI di komputer pribadi Anda
Mengjalankan model secara lokal berarti data Anda tidak akan pernah keluar dari komputer Anda, berfungsi tanpa koneksi internet, dan tidak ada biaya bulanan. Anda hanya membutuhkan komputer yang cukup kuat serta waktu sekitar 15 menit.
01 · Periksa perangkat keras Anda
Yang paling penting adalah kapasitas memori kartu grafis Anda (VRAM). Di Windows: Task Manager → Performance → GPU → “Dedicated GPU memory”. Pada Mac dengan chip seri M, sekitar tiga perempat dari memori utama dapat digunakan.
Aturan praktis untuk versi terkompresi biasa (Q4): 0,6 GB per miliar parameter ditambah 1,5 GB. Model 7B membutuhkan sekitar 6 GB, sehingga cocok untuk kartu berkapasitas 8 GB. Alat finder kami akan memeriksa hal ini untuk Anda saat Anda memilih opsi “local”.
02 · Cara termudah: LM Studio
LM Studio adalah aplikasi desktop gratis untuk Windows, macOS, dan Linux yang memiliki jendela obrolan biasa – tidak memerlukan baris perintah.
- Unduh dan instal LM Studio dari lmstudio.ai.
- Buka fitur pencarian, ketikkan nama modelnya. Model-model tersebut berasal dari Hugging Face.
- Pilih versi yang bertanda Q4_K_M – keseimbangan yang baik antara ukuran dan kualitas. LM Studio akan menunjukkan apakah versi tersebut cocok untuk memori Anda.
- Klik Download, lalu muat modelnya dan mulai berbicara.
03 · Untuk para penggemar eksperimen: Ollama
Ollama menjalankan model dari baris perintah dan menyediakan API lokal yang dapat digunakan oleh program lain.
- Instal Ollama dari ollama.com.
- Buka terminal lalu jalankan model menggunakan pustaka Ollama, misalnya:
ollama run <model-name>. Halaman model kami menampilkan perintah yang tepat setelah diverifikasi. - Model dari Hugging Face dalam format GGUF dapat dijalankan langsung:
ollama run hf.co/<user>/<repository>:Q4_K_M
04 · Mencari model di Hugging Face
Hugging Face merupakan perpustakaan model terbuka terbesar. Tips:
- Filter berdasarkan GGUF – format yang digunakan oleh LM Studio dan Ollama.
- Baca model card: di sana tercantum lisensinya. Beberapa model hanya boleh digunakan secara pribadi atau untuk penelitian.
- Pilih file dari pembuat asli atau pengunggah yang terpercaya.
05 · Apa yang perlu Anda ketahui
Model lokal umumnya sedikit lebih lemah dibandingkan model cloud terbesar, tetapi seringkali sudah cukup baik untuk keperluan menulis, merangkum, dan menerjemahkan. Jawaban pertama akan muncul dalam beberapa detik saat model sedang dimuat. Tanpa kartu grafis pun model ini masih bisa berfungsi, hanya saja lebih lambat.