Combien de VRAM faut-il pour exécuter un modèle IA en local
Réponse courte : un modèle de 8 milliards de paramètres en quantification 4 bits demande environ 6 GB de VRAM pour 8 192 tokens de contexte. Le même modèle en 16 bits demande environ 18 GB. Le chiffre que l'on cite souvent (« il faut 16 GB pour l'IA locale ») correspond au pire cas, sans aucun contexte.
Plutôt qu'une liste de modèles qu'il faudrait revérifier sans cesse, voici l'arithmétique. C'est la même formule que celle utilisée par notre calculateur de VRAM : vous pouvez donc reproduire chaque ligne ci-dessous.
Trois éléments occupent votre VRAM
- Poids. Le modèle lui-même : paramètres × bits par poids ÷ 8.
- Cache KV. La mémoire des clés et des valeurs d'attention de la conversation jusqu'ici. Il augmente avec la fenêtre de contexte que vous autorisez et avec la taille du modèle.
- Surcoût du moteur. Le moteur, le contexte GPU, les tampons de travail. Nous comptons 0,8 GB.
weights_GB = params_B × bits ÷ 8
kv_GB ≈ (context ÷ 8192) × params_B × 0.15
total ≈ weights + kv + 0.8
La ligne du cache KV est volontairement une approximation : le chiffre exact dépend de l'architecture (nombre de têtes d'attention et de couches, nombre de celles qui partagent un cache). Elle suffit pour décider si un modèle tient, et elle illustre le point important ci-dessous.
Ce que coûte chaque taille de modèle (contexte de 8 192 tokens)
| Taille du modèle | Q8 | Q6 | Q5 | Q4_K_M | Q3 | 16 bits |
|---|---|---|---|---|---|---|
| 1B | 2,0 GB | 1,7 GB | 1,6 GB | 1,5 GB | 1,3 GB | 3,0 GB |
| 3B | 4,3 GB | 3,5 GB | 3,1 GB | 2,8 GB | 2,4 GB | 7,3 GB |
| 8B | 10,0 GB | 8,0 GB | 7,0 GB | 6,0 GB | 5,0 GB | 18,0 GB |
| 14B | 16,9 GB | 13,4 GB | 11,7 GB | 9,9 GB | 8,2 GB | 30,9 GB |
| 32B | 37,6 GB | 29,6 GB | 25,6 GB | 21,6 GB | 17,6 GB | 69,6 GB |
| 70B | 81,3 GB | 63,8 GB | 55,1 GB | 46,3 GB | 37,6 GB | 151,3 GB |
Deux remarques. D'abord, la quantification est votre principal levier : faire passer un modèle 8B de 16 bits à 4 bits le fait descendre de 18 GB à 6 GB. Ensuite, un vrai fichier Q4_K_M est un peu plus gros que ne le suggère l'arithmétique, car la quantification stocke des échelles et des tenseurs de correction à côté des poids ; le calculateur s'en tient à la version simple pour que chaque chiffre reste reproductible.
Le contexte est ce qui surprend le plus
Les poids sont fixes ; le cache, non. Avec un modèle 8B :
| Contexte | Cache KV | Total en Q4_K_M |
|---|---|---|
| 8,192 | 1,2 GB | 6,0 GB |
| 32,768 | 4,8 GB | 9,6 GB |
| 131,072 | 19,2 GB | 24,0 GB |
Ainsi, le même modèle qui tient à l'aise sur une carte de 8 GB avec un contexte de 8k exige une carte de 24 GB à 128k. Si un modèle « ne tient soudain plus », c'est généralement le curseur de contexte qui est en cause. Réduire le contexte autorisé, ou activer la quantification du cache KV dans votre moteur, suffit souvent — au prix d'une mémoire plus courte de la conversation.
Ce qui tient dans les tailles de carte courantes
Selon la règle du calculateur (à l'aise sous 85 % de la carte, serré jusqu'à 100 %) :
| VRAM | À l'aise avec un contexte de 8k | Trop lourd |
|---|---|---|
| 8 GB | 8B en Q4/Q5, ou un 3B en 16 bits | 8B en Q8, 14B en Q4 |
| 12 GB | 8B en Q8, 14B en Q4 | 14B en Q6, 32B en Q4 |
| 16 GB | 14B en Q5/Q6 | 8B en 16 bits, 32B en Q4 |
| 24 GB | 32B en Q4, 14B en Q8 | 14B en 16 bits, 70B en Q4 |
| 48 GB | 70B en Q4 | 70B en Q8 |
Ce sont des estimations, pas des garanties. Un modèle qui partage un cache entre plusieurs têtes d'attention peut consommer bien moins que ne le suggère l'heuristique, et la génération d'images a son propre profil de mémoire, différent.
Si cela ne tient pas
- Quantification plus basse. Q4_K_M est le compromis habituel ; Q3 vous donne un peu plus de marge et fait perdre en qualité.
- Contexte plus court. C'est la solution la moins coûteuse, et souvent invisible en conversation normale.
- Déport partiel. Exécutez une partie du modèle sur le CPU ou dans la RAM système : cela fonctionne, c'est plus lent, et le verdict du calculateur ne le couvre pas.
- Ne l'exécutez pas vous-même. Si vous avez seulement besoin d'une réponse, un modèle hébergé sur une offre gratuite coûte moins cher qu'une nouvelle carte graphique — c'est l'objet de notre Recherche multi-IA, et Offres et niveaux gratuits recense les offres gratuites que nous avons pu vérifier.
Questions fréquentes
8 GB de VRAM suffisent-ils pour l'IA locale ?
Oui, pour des modèles de 7B à 8B en 4 bits ou 5 bits avec un contexte normal, et pour des modèles plus petits en précision plus élevée. Ce n'est pas assez pour un modèle 14B en 4 bits, qui demande environ 9,9 GB.
Faut-il une carte graphique dédiée ?
Non. Les modèles fonctionnent aussi sur le CPU et la mémoire système, simplement bien plus lentement. La formule ci-dessus concerne la mémoire GPU parce que c'est la contrainte que l'on rencontre en premier.
Pourquoi mon usage réel diffère-t-il de l'estimation ?
Parce que le moteur garde aussi des tampons, que le cache KV peut être stocké dans une autre précision, que la taille de lot compte et que d'autres applications utilisent le GPU en même temps. Considérez l'estimation comme une réponse par oui ou non, puis mesurez avec votre propre configuration.
D'où viennent ces chiffres ?
De la formule en haut de la page, évaluée à 8 192 tokens de contexte. Ce sont des calculs, pas des mesures : vous pouvez reproduire n'importe quelle ligne dans le calculateur en saisissant la taille, la quantification et le contexte.
Essayez votre propre configuration
Le calculateur prend cinq secondes : taille du modèle, quantification, contexte et votre carte, et il vous dit si cela tient et de quelle marge vous disposez.
- Calculateur de matériel pour IA locale — l'estimation pour votre machine.
- Classement IA — les projets et modèles que les gens téléchargent vraiment, avec les nombres réels d'étoiles et de téléchargements.
- Meilleurs outils IA gratuits — 28 projets open source et 8 offres gratuites, avec licences et étoiles.
À lire ensuite
- Commandes Ollama pour IA locale — les commandes que vous allez vraiment taper.
- Quantification GGUF expliquée — ce que signifient Q4_K_M, Q5_K_M et Q8_0, et comment choisir.
Formule, tailles de quantification et règle de confort de 85 % telles qu'utilisées par notre calculateur, vérifiées le 18 octobre 2026. Tout ce qui figure dans les tableaux est calculé à partir de cette formule avec 8 192 tokens de contexte.