Tamaños y cuantizaciones

Introducción

Para utilizar IA en local necesitamos descargar un modelo y luego cargarlo en la memoria de nuestro ordenador. Esto nos permite no ser dependientes de un proveedor de IA en la nube y hacerlo desde nuestro propio equipo.

En su forma más básica, el modelo se carga en la RAM y lo procesa la CPU. Si el modelo cabe en la memoria que tenemos disponible, podemos trabajar con él. Por ejemplo, un modelo de IA de 10GB, puedes cargarlo perfectamente si tienes 16GB de RAM:

Sin embargo, no todo es tan sencillo. Esto proceso probablemente resultaría muy lento. Empecemos hablando de los tamaños de los modelos, para entenderlo mejor.

Tamaños de los modelos

Un modelo de IA es, en esencia, un conjunto enorme de parámetros: valores numéricos (los «pesos») que se ajustan durante el entrenamiento para que el modelo aprenda patrones. Cuantos más parámetros tiene, más capacidad de razonamiento gana… y más memoria necesita para funcionar.

El tamaño del modelo se suele medir con la unidad B, una unidad que representa billions (mil millones de parámetros). Así, un modelo «7B» tiene 7.000 millones de parámetros.

• 8B → 8000M → 8 mil millones de parámetros
• 200M → 200 millones de parámetros
• 1.5T → 1500B → 1500000M → 1500 mil millones de parámetros

Si miramos su tamaño en disco, existen modelos desde unos ~150MB (los más pequeños) hasta modelos masivos de 500GB (o incluso más). Aunque hay modelos fuera de nuestro alcance, como estos últimos, existen modelos de todo tipo. Si nuestro hardware tiene recursos limitados, sólo podemos optar a utilizar modelos más pequeños. Sin embargo, cuanto más grande es el modelo, más «inteligente» y capaz tiende a ser:

RAM o VRAM

El problema radica en que los modelos de IA suelen ocupar varios GB, y ejecutarlos en la RAM con la CPU, si bien es posible, resulta bastante lento. Sin embargo, nuestros dispositivos cuentan con un tipo de memoria mucho más rápida y adecuada para esto: la VRAM, es decir, Video RAM, la memoria de la tarjeta gráfica.

Usar la memoria de nuestra GPU es ideal para ejecutar estos modelos, ya que es la más rápida (puede transmitir un mayor caudal de información). Sin embargo, esta memoria es costosa y, por lo general, no contamos con tarjetas gráficas con demasiada VRAM. Aquí es donde entra en juego la cuantización de los modelos.

ℹ️ Las cifras de tok/sec (tokens por segundo) son orientativas. La velocidad real depende sobre todo del ancho de banda de la memoria (los GB/s que puede mover), no sólo de su tamaño. Puedes comparar componentes en Hardware para IA.

Cuantización de los modelos

Los modelos de IA almacenan una gran cantidad de información en formato numérico. Cada parámetro se guarda, por defecto, con una precisión alta (por ejemplo, 16 bits). Cuando hablamos de modelos cuantizados, nos referimos a que esos números se almacenan con menos bits por parámetro: se reduce la precisión, el modelo ocupa menos y se ejecuta más rápido, pero inevitablemente pierde algo de exactitud y calidad en los resultados.

Tenemos múltiples niveles de cuantización. En este ejemplo, tenemos un modelo de 12B con cuantizaciones Q1 (1 bit), Q4 (4 bits), Q8 (8 bits) y FP16 (16 bits):

Generalmente, se considera que las cuantizaciones cercanas a Q4 ofrecen un buen equilibrio entre calidad y tamaño. Cuanto más agresiva sea la cuantización de un modelo (número más bajo), más pequeño será su tamaño en GB y más probable será que quepa en nuestro hardware al ejecutarlo.

Por contra, también será más posible que cometa errores o devuelva información incorrecta. Lo aconsejable es que si usamos modelos muy cuantizados para generar texto (código de programación), establezcamos formas de testear los resultados y comprobarlos para corregirlos si son incorrectos.

Cómo leer los nombres de cuantización

La mayoría de modelos que descargarás para uso local usan uno de estos formatos:

• El formato .safetensors (comunmente, más rígido)
• El formato .GGUF (más opciones de cuantización)

Vamos a centrarnos en el formato .GGUF, ya que suele ser el que más opciones de cuantización ofrece. Un ejemplo de un modelo podría ser Qwen3-8B-Q4_K_M.gguf, donde cada letra tiene un significado:

• Q4: 4 bits por parámetro (simplificando mucho).
• K: variante k-quant, que agrupa los pesos en bloques y reparte la precisión de forma más inteligente.
• M: medium, qué capas se cuantizan más o menos (S = small, L = large).
• _0 / _1: variantes antiguas y más simples, algo peores con el mismo número de bits.

Como regla rápida: Q4_K_M es el mejor punto de partida casi siempre. Sube a Q5_K_M o Q6_K (5-6 bits) si te sobra memoria, usa Q8_0 (8 bits) si quieres una pérdida casi nula, y recurre a Q2/Q3 (2-3 bits) sólo cuando no haya otra opción.

¿Cuánta memoria necesito?

Aquí está la pregunta del millón: Una regla práctica: si tu GPU tiene X GB de VRAM, el modelo debería ocupar como máximo el 70-80% de X. El resto lo necesitan el contexto (*la «memoria» de la conversación, o KV-cache) y el propio sistema operativo. Si no tienes una buena GPU, cuenta con la RAM y resta lo que use el sistema.

Para hacerte una idea del tamaño aproximado de un modelo cuantizado a Q4:

Modelo	Tamaño del modelo Q4	VRAM/RAM recomendada
3B	~2 GB	4 GB
7B	~4-5 GB	8 GB
14B	~9 GB	16 GB
32B	~20 GB	24-32 GB
70B	~42 GB	48-64 GB

Cuanto mayor sea la ventana de contexto que configures, más memoria extra consumirá. Por eso conviene no disparar el contexto si no lo necesitas. Pero esto lo veremos más adelante.

Si quieres verlo con tu hardware real, en cada modelo de nuestra sección de Modelos tienes un simulador de VRAM y RAM, y puedes comparar tus componentes en Hardware para IA.

Resumen

• 1️⃣ Los modelos se miden en B (miles de millones de parámetros).
• 2️⃣ Cuanto más grande es el modelo, más memoria exige y más «inteligente» es.
• 3️⃣ La GPU/VRAM es mucho más rápida que la CPU/RAM, pero solemos tener menos.
• 4️⃣ La cuantización reduce los bits por parámetro. Q4 es un buen equilibrio.
• 5️⃣ Antes de descargar, comprueba que el modelo cabe en tu memoria.

Si quieres seguir profundizando, la siguiente parada natural es Empezando: IA local para elegir herramientas, o ponerte manos a la obra con la guía de llama.cpp.