Cuánta VRAM necesitas para ejecutar un modelo de IA en local
Respuesta corta: un modelo de 8.000 millones de parámetros con cuantización de 4 bits necesita unos 6 GB de VRAM con 8.192 tokens de contexto. El mismo modelo en 16 bits necesita unos 18 GB. La cifra que se suele citar («necesitas 16 GB para IA local») es el peor caso, sin contexto alguno.
En vez de una lista de modelos que tendríamos que estar revisando, aquí está la aritmética. Es la misma fórmula que usa nuestra calculadora de VRAM, así que puedes reproducir cada fila de abajo.
Tres cosas usan tu VRAM
- Pesos. El modelo en sí: parámetros × bits por peso ÷ 8.
- Caché KV. La memoria de las claves y valores de atención de la conversación hasta ahora. Crece con la ventana de contexto que permitas y con el tamaño del modelo.
- Sobrecarga del motor. El motor, el contexto de la GPU y los búferes de trabajo. Reservamos 0,8 GB.
pesos_GB = parámetros_B × bits ÷ 8
kv_GB ≈ (contexto ÷ 8192) × parámetros_B × 0,15
total ≈ pesos + kv + 0,8
La línea de la caché KV es una aproximación a propósito: la cifra exacta depende de la arquitectura (cuántas cabezas de atención y capas hay, cuántas comparten caché). Basta para decidir si un modelo entra, y deja claro el punto importante de más abajo.
Lo que cuesta cada tamaño de modelo (contexto de 8.192 tokens)
| Tamaño del modelo | Q8 | Q6 | Q5 | Q4_K_M | Q3 | 16 bits |
|---|---|---|---|---|---|---|
| 1B | 2,0 GB | 1,7 GB | 1,6 GB | 1,5 GB | 1,3 GB | 3,0 GB |
| 3B | 4,3 GB | 3,5 GB | 3,1 GB | 2,8 GB | 2,4 GB | 7,3 GB |
| 8B | 10,0 GB | 8,0 GB | 7,0 GB | 6,0 GB | 5,0 GB | 18,0 GB |
| 14B | 16,9 GB | 13,4 GB | 11,7 GB | 9,9 GB | 8,2 GB | 30,9 GB |
| 32B | 37,6 GB | 29,6 GB | 25,6 GB | 21,6 GB | 17,6 GB | 69,6 GB |
| 70B | 81,3 GB | 63,8 GB | 55,1 GB | 46,3 GB | 37,6 GB | 151,3 GB |
Dos cosas que conviene notar. Primero, la cuantización es la palanca más grande que tienes: bajar un modelo de 8B de 16 bits a 4 bits lo lleva de 18 GB a 6 GB. Segundo, un archivo Q4_K_M real es algo más grande de lo que sugiere la aritmética, porque la cuantización guarda escalas y tensores de corrección junto a los pesos; la calculadora se queda con la versión simple para que cada número siga siendo reproducible.
El contexto es lo que sorprende
Los pesos son fijos; la caché no. Con un modelo de 8B:
| Contexto | Caché KV | Total en Q4_K_M |
|---|---|---|
| 8,192 | 1,2 GB | 6,0 GB |
| 32,768 | 4,8 GB | 9,6 GB |
| 131,072 | 19,2 GB | 24,0 GB |
Así que el mismo modelo que cabe holgado en una tarjeta de 8 GB con 8k de contexto necesita una de 24 GB con 128k. Si un modelo «de repente no entra», el deslizador del contexto suele ser la razón. Bajar el contexto permitido, o activar la cuantización de la caché KV en tu motor, suele bastar, a cambio de recordar menos de la conversación.
Qué entra en las tarjetas habituales
Con la regla de la propia calculadora (cabe bien por debajo del 85 % de la tarjeta, justo hasta el 100 %):
| VRAM | Cómodo con 8k de contexto | Demasiado |
|---|---|---|
| 8 GB | 8B en Q4/Q5, o un 3B en 16 bits | 8B en Q8, 14B en Q4 |
| 12 GB | 8B en Q8, 14B en Q4 | 14B en Q6, 32B en Q4 |
| 16 GB | 14B en Q5/Q6 | 8B en 16 bits, 32B en Q4 |
| 24 GB | 32B en Q4, 14B en Q8 | 14B en 16 bits, 70B en Q4 |
| 48 GB | 70B en Q4 | 70B en Q8 |
Son estimaciones, no garantías. Un modelo que comparte una sola caché entre varias cabezas de atención puede usar mucho menos de lo que sugiere la heurística, y la generación de imágenes tiene su propio perfil de memoria, distinto.
Si no entra
- Cuantización menor. Q4_K_M es el punto dulce habitual; Q3 te da algo más de margen a cambio de calidad.
- Contexto más corto. El arreglo más barato que hay y muchas veces invisible en un chat normal.
- Descarga parcial a la CPU. Ejecutar parte del modelo en la CPU o en la memoria del sistema: funciona, es más lento, y el veredicto de la calculadora no lo cubre.
- No lo ejecutes tú. Si solo necesitas una respuesta, un modelo alojado en un nivel gratis sale más barato que una tarjeta gráfica nueva: para eso está nuestro Buscador multi-IA, y en Ofertas y planes gratis están los planes gratuitos que pudimos verificar.
Preguntas frecuentes
¿Bastan 8 GB de VRAM para IA local?
Sí, para modelos de 7B a 8B en 4 o 5 bits y un contexto normal, y para modelos más pequeños con más precisión. No basta para un modelo de 14B en 4 bits, que necesita unos 9,9 GB.
¿Hace falta una tarjeta gráfica dedicada?
No. Los modelos también se ejecutan en la CPU y en la memoria del sistema, solo que mucho más despacio. La fórmula de arriba habla de memoria de GPU porque es el límite con el que la gente choca primero.
¿Por qué mi uso real no coincide con la estimación?
Porque el motor también guarda búferes, la caché KV puede estar en otra precisión, el tamaño de lote influye y otras aplicaciones están usando la GPU al mismo tiempo. Toma la estimación como un sí o un no y luego mide con tu propio equipo.
¿De dónde salen estos números?
De la fórmula del principio de la página, evaluada con 8.192 tokens de contexto. Son aritmética, no mediciones: puedes reproducir cualquier fila en la calculadora introduciendo el tamaño, la cuantización y el contexto.
Prueba tu propia configuración
La calculadora se tarda cinco segundos: tamaño del modelo, cuantización, contexto y tu tarjeta, y te dice si entra y con cuánto margen.
- Calculadora de VRAM para IA local: la estimación para tu máquina.
- Ranking de IA: los proyectos y modelos que la gente descarga de verdad, con estrellas y descargas reales.
- Herramientas de IA gratis: 28 proyectos de código abierto y 8 planes gratis, con licencias y estrellas.
Seguir leyendo
- Comandos de Ollama para IA local — los comandos que vas a usar de verdad.
- Cuantización GGUF explicada — qué significan Q4_K_M, Q5_K_M y Q8_0, y cómo elegir una.
Fórmula, tamaños de cuantización y la regla de comodidad del 85 % tal como los usa nuestra calculadora, comprobado el 18 de octubre de 2026. Todo lo que hay en las tablas se calcula con esa fórmula y 8.192 tokens de contexto.