IA para iniciantes
01O que é um token?
Um token é um pequeno trecho de texto com o qual a IA trabalha – geralmente uma palavra curta ou parte de uma palavra. “House” costuma ser um único token, enquanto uma palavra longa como “internationalisation” pode ter vários. Regra prática: 1.000 tokens correspondem a aproximadamente 750 palavras em inglês, o que equivale a cerca de uma página e meia.
Você paga por token: uma vez pelo que envia (entrada) e outra vez pela resposta (saída). Por isso, um e-mail curto custa uma fração de centavo, enquanto resumir um livro inteiro custa bem mais.
02O que é a janela de contexto?
A janela de contexto é a “memória de curto prazo” de um modelo: a quantidade de texto que ele consegue processar de uma só vez – sua pergunta, documentos anexados e toda a conversa até agora, tudo junto. Ela é medida em tokens.
Um modelo com capacidade de contexto de 32.000 tokens consegue ler cerca de 40 a 50 páginas de uma vez. Se o seu documento for mais longo, ele precisará ser dividido – ou você precisará de um modelo com janela maior. No entanto, maior não significa necessariamente melhor: entradas longas custam mais e alguns modelos perdem detalhes em textos muito extensos.
03O que significa o número de parâmetros?
Os parâmetros são os “controles de ajuste” que um modelo aprende durante o treinamento. Um modelo “70B” possui 70 bilhões deles. Ter mais parâmetros geralmente significa mais conhecimento – mas também mais poder de processamento e hardware mais caro.
Por si só, esse número diz pouco sobre a qualidade: os dados de treinamento e os métodos utilizados costumam ser mais importantes. Um modelo pequeno bem treinado pode superar um modelo grande mal treinado – assim como uma enciclopédia volumosa não explica as coisas automaticamente melhor do que um bom livro fino. Muitos fornecedores nem sequer divulgam esse número.
04Que hardware eu preciso para rodar um modelo localmente?
O que importa mais é a memória da sua placa de vídeo (VRAM). O modelo precisa caber nela; caso contrário, o desempenho fica muito lento. Regra prática para a versão normal compactada: cerca de 0,6 GB por bilhão de parâmetros, mais 1–2 GB de reserva.
Por exemplo, um modelo de 7B precisa de cerca de 6 GB, portanto roda em uma RTX 4060 com 8 GB. Um modelo de 70B requer mais de 40 GB – nenhuma placa de vídeo comum tem essa capacidade. Macs com chips da série M compartilham sua memória principal com a GPU, o que permite que eles lidem frequentemente com modelos maiores. Também é possível usar sem placa de vídeo, mas a velocidade será muito menor. No Windows, você encontra a memória da GPU em Gerenciador de Tarefas → Desempenho → GPU.