跳转至内容部分
Model Wayfinder
术语表

面向初学者的 AI 指南

01什么是令牌?

令牌是人工智能处理时的小型文本片段,通常为简短的单词或单词的一部分。“House”通常属于一个令牌,而像“internationalisation”这样的长单词则包含多个令牌。大致经验法则为:1,000个令牌约相当于750个英文单词,大致相当于一页半的篇幅。

你需要按令牌数量付费:发送输入内容时收取一次费用,生成输出结果时再收取一次费用。正因如此,发送一封简短邮件只需极少的费用,而总结整本书则需要高得多的成本。

02什么是上下文窗口?

上下文窗口即模型的“短期记忆”:它一次能够处理的文本量——包括你的问题、附上的文档以及目前的对话内容,所有这些加在一起。其大小以标记数来衡量。

例如,上下文长度为32,000个标记的模型一次可读取约40至50页的内容。如果文档更长,则需要将其拆分,或者使用上下文窗口更大的模型。不过,窗口越大并不一定越好:过长的输入会提高成本,而且某些模型在处理极长的文本时可能会遗漏细节。

03参数数量指的是模型中包含的参数总数。

参数是模型在训练过程中学到的“调节旋钮”。一个“70B”模型拥有700亿个这样的参数。参数越多通常意味着模型掌握的知识越丰富,但同时也需要更高的计算能力以及更昂贵的硬件。

仅凭这个数值很难判断模型质量:训练数据与训练方法往往更为重要。训练充分的小型模型可能优于训练不足的大型模型——就如同厚厚的百科全书并不一定比精简的好书更能清晰地解释事物。许多服务提供商甚至不会公开这个数值。

04要在本地运行模型,我需要哪些硬件?

最重要的是你的显卡显存(VRAM)。模型必须能够容纳在显存中,否则运行速度会变得极慢。对于常见的压缩版本,大致的参考标准是:每十亿个参数约需0.6 GB显存,还需预留1–2 GB的额外空间。

例如,70亿参数的模型大约需要6GB内存,因此可以在8GB内存的RTX 4060显卡上运行。而700亿参数的模型则需要超过40GB的内存——普通显卡无法满足这一需求。配备M系列芯片的Mac电脑会将系统主内存与GPU共享,因此通常能够处理更大规模的模型。即便没有显卡,这类系统也能运行,只是速度会慢很多。在Windows系统中,你可以在任务管理器→性能→GPU中查看GPU内存使用情况。