IA para principiantes
01¿Qué es un token?
Un token es un pequeño fragmento de texto con el que trabaja la IA; suele ser una palabra corta o parte de una palabra. “House” suele ser un token, mientras que una palabra larga como “internationalisation” lo es varios. Regla práctica: 1,000 tokens equivalen aproximadamente a 750 palabras en inglés, lo que corresponde a una página y media.
Pagas por token: una vez por lo que envías (entrada) y otra vez por la respuesta (salida). Por eso un correo corto cuesta una fracción de centavo, mientras que resumir un libro entero cuesta mucho más.
02¿Qué es la ventana de contexto?
La ventana de contexto es la “memoria a corto plazo” de un modelo: la cantidad de texto que puede procesar al mismo tiempo, como tu pregunta, los documentos adjuntos y toda la conversación hasta ahora. Se mide en tokens.
Por ejemplo, un modelo con un contexto de 32,000 tokens puede leer entre 40 y 50 páginas a la vez. Si tu documento es más largo, habrá que dividirlo o necesitarás uno con un rango de contexto mayor. Sin embargo, mayor no siempre significa mejor: los textos largos cuestan más y algunos modelos pierden detalles en documentos muy extensos.
03¿Qué significa la cantidad de parámetros?
Los parámetros son los “botones de ajuste” que un modelo aprende durante su entrenamiento. Un modelo de “70B” cuenta con 70 mil millones de ellos. Cuantos más parámetros tenga, generalmente más conocimiento tendrá, pero también se necesita más potencia de cálculo y hardware más costoso.
Por sí solo, ese número dice poco sobre la calidad: los datos de entrenamiento y los métodos utilizados suelen ser más importantes. Un modelo pequeño bien entrenado puede superar a uno grande mal entrenado, al igual que una enciclopedia gruesa no explica las cosas automáticamente mejor que un buen libro delgado. Muchos proveedores ni siquiera publican ese número.
04¿Qué hardware necesito para ejecutar un modelo localmente?
Lo más importante es la memoria de tu tarjeta gráfica (VRAM). El modelo debe caber en ella, de lo contrario funcionará muy lento. Como regla general para la versión comprimida habitual: aproximadamente 0.6 GB por mil millones de parámetros, más 1–2 GB de margen adicional.
Por ejemplo, un modelo de 7B necesita unos 6 GB, por lo que funciona en una RTX 4060 con 8 GB. Un modelo de 70B requiere más de 40 GB; ninguna tarjeta gráfica común tiene esa cantidad. Las Macs con chips de la serie M comparten su memoria principal con la GPU, así que suelen poder manejar modelos más grandes. También funciona sin tarjeta gráfica, aunque mucho más lento. En Windows encontrarás la memoria de la GPU en Administrador de tareas → Rendimiento → GPU.