跳转至内容部分
Model Wayfinder
指南

如何在自己的电脑上运行 AI 模型

在本地运行模型意味着你的数据不会离开电脑,可在离线状态下使用,且无需支付月费。你只需一台性能足够的电脑,以及大约15分钟的时间即可。

01 · 检查你的硬件

最重要的是显卡的显存(VRAM)。在 Windows 系统中,可通过“任务管理器”→“性能”→“GPU”查看“专用 GPU 显存”数值。搭载 M 系列芯片的 Mac 可使用主内存的约四分之三。

常规压缩版本(Q4)的估算规则为:每十亿个参数占用0.6 GB,另加1.5 GB。70亿参数的模型大约需要6 GB空间,因此可以存储在8 GB的显卡中。当你选择“本地”选项时,我们的查找工具会自动为你进行检测。

02 · 简单方法:LM Studio

LM Studio 是一款适用于 Windows、macOS 和 Linux 的免费桌面应用,拥有常规聊天界面,无需命令行。

  1. 从 lmstudio.ai 下载并安装 LM Studio。
  2. 打开搜索框,输入模型名称。这些模型均来自 Hugging Face。
  3. 选择标记为 Q4_K_M 的版本,其在大小与性能之间达到了良好平衡。LM Studio 会显示该版本是否适合你的内存容量。
  4. 点击 Download,加载模型后即可开始聊天。

03 · 面向技术爱好者:Ollama

Ollama 可通过命令行运行模型,同时提供本地 API 供其他程序调用。

  1. 从 ollama.com 安装 Ollama。
  2. 打开终端,使用 Ollama 库启动模型,例如:ollama run <model-name>。我们的模型页面已列出经过验证的准确命令。
  3. 为 GGUF 格式的 Hugging Face 模型可直接启动:ollama run hf.co/<user>/<repository>:Q4_K_M

04 · 在 Hugging Face 上查找模型

Hugging Face 是规模最大的开源模型库。提示:

  • 按 GGUF 格式筛选——这是 LM Studio 和 Ollama 所使用的格式。
  • 阅读模型卡片:其中会注明许可证信息。某些模型仅允许在私人环境中或用于研究用途。
  • 建议选择来自原始开发者或知名上传者的文件。

05 · 你能获得什么体验

本地模型通常比最大的云端模型稍弱,但已足以满足写作、总结和翻译等需求。在模型加载期间,首次生成答案需要几秒钟时间。即便没有显卡,它也能运行——只是速度会慢很多。