초보자를 위한 AI
01토큰이란 무엇인가요?
토큰이란 AI가 처리하는 작은 텍스트 조각으로, 보통 짧은 단어나 단어의 일부입니다. “House”는 보통 하나의 토큰이지만 “internationalisation”과 같은 긴 단어는 여러 개의 토큰으로 구성됩니다. 대략적인 기준으로 1,000토큰은 약 750개의 영어 단어에 해당하며, 이는 약 한 페이지 반 분량입니다.
토큰당 요금이 부과되므로 입력하는 내용과 출력되는 답변에 각각 한 번씩 비용이 청구됩니다. 그래서 짧은 이메일의 비용은 1센트의 일부에 불과한 반면, 전체 책을 요약하는 경우에는 훨씬 더 많은 비용이 듭니다.
02컨텍스트 윈도우란 무엇인가요?
컨텍스트 윈도우는 모델의 “단기 기억”에 해당하며, 한 번에 처리할 수 있는 텍스트의 양을 의미합니다. 여기에는 사용자의 질문, 첨부된 문서, 그리고 지금까지의 대화 내용이 모두 포함됩니다. 이 값은 토큰 단위로 측정됩니다.
예를 들어, 32,000토큰의 컨텍스트를 가진 모델은 한 번에 약 40~50페이지 분량의 텍스트를 읽을 수 있습니다. 문서가 더 길 경우 분할해야 하거나 더 큰 컨텍스트 윈도우를 갖춘 모델이 필요합니다. 다만 더 큰 것이 반드시 더 좋은 것은 아닙니다. 긴 입력은 더 많은 비용이 들며, 일부 모델은 매우 긴 텍스트에서 세부 사항을 놓칠 수 있습니다.
03파라미터의 수는 무엇을 의미하나요?
파라미터는 모델이 학습 과정에서 익힌 “조절 손잡이”와 같은 것입니다. “70B” 모델의 경우 이러한 파라미터의 개수가 700억 개에 달합니다. 파라미터가 많을수록 일반적으로 더 많은 지식을 가질 수 있지만, 더 많은 연산 능력과 더 고가의 하드웨어도 필요해집니다.
이 수치만으로는 모델의 품질을 판단하기 어렵습니다. 학습 데이터와 학습 방법이 보통 더 중요한 역할을 하기 때문이에요. 제대로 훈련된 작은 모델이 제대로 훈련되지 않은 큰 모델보다 더 우수할 수 있으며, 두꺼운 백과사전이 반드시 얇은 좋은 책보다 더 잘 설명해주는 것도 아닙니다. 많은 서비스 제공업체들은 이 수치를 공개하지도 않습니다.
04로컬에서 모델을 실행하려면 어떤 하드웨어가 필요한가요?
가장 중요한 것은 그래픽 카드의 메모리(VRAM)입니다. 모델이 이 메모리에 들어가야 하며, 그렇지 않으면 성능이 크게 저하됩니다. 일반적인 압축된 버전의 기준으로는 10억 개의 파라미터당 약 0.6 GB에 1–2 GB의 여유 공간을 더하는 것이 적절합니다.
예를 들어 7B 모델은 약 6GB의 메모리가 필요하여 8GB를 갖춘 RTX 4060에서도 작동할 수 있습니다. 70B 모델의 경우 40GB가 넘는 메모리가 필요하기 때문에 일반 그래픽 카드로는 실행할 수 없습니다. M시리즈 칩을 탑재한 Mac은 메인 메모리를 GPU와 공유하기 때문에 보통 더 큰 모델도 처리할 수 있습니다. 그래픽 카드가 없어도 작동하지만 속도가 훨씬 느려집니다. Windows에서는 작업 관리자 → 성능 → GPU에서 GPU 메모리를 확인할 수 있습니다.