Wie viel VRAM braucht ein lokales KI-Modell
Kurze Antwort: Ein Modell mit 8 Milliarden Parametern braucht bei 4-Bit-Quantisierung und 8.192 Token Kontext etwa 6 GB VRAM. Dasselbe Modell braucht bei 16 Bit etwa 18 GB. Die Zahl, die meist zitiert wird („du brauchst 16 GB für lokale KI“), ist der schlimmste Fall ganz ohne Kontext.
Statt einer Liste von Modellen, die wir ständig neu prüfen müssten, hier die Rechnung. Es ist dieselbe Formel, die unser VRAM-Rechner verwendet, du kannst also jede Zeile unten nachrechnen.
Drei Dinge belegen deinen VRAM
- Gewichte. Das Modell selbst: Parameter × Bits pro Gewicht ÷ 8.
- KV-Cache. Der Speicher für die Attention-Keys und -Values des bisherigen Gesprächs. Er wächst mit dem Kontextfenster, das du zulässt, und mit der Größe des Modells.
- Overhead der Laufzeit. Die Engine, der GPU-Kontext, Arbeitspuffer. Wir rechnen mit 0,8 GB.
weights_GB = params_B × bits ÷ 8
kv_GB ≈ (context ÷ 8192) × params_B × 0.15
total ≈ weights + kv + 0.8
Die KV-Zeile ist absichtlich eine Näherung: Der genaue Wert hängt von der Architektur ab (wie viele Attention-Heads und Layer, wie viele davon einen Cache teilen). Sie reicht aus, um zu entscheiden, ob ein Modell passt, und sie macht den wichtigen Punkt unten deutlich.
Was jede Modellgröße kostet (Kontext mit 8.192 Token)
| Modellgröße | Q8 | Q6 | Q5 | Q4_K_M | Q3 | 16 Bit |
|---|---|---|---|---|---|---|
| 1B | 2,0 GB | 1,7 GB | 1,6 GB | 1,5 GB | 1,3 GB | 3,0 GB |
| 3B | 4,3 GB | 3,5 GB | 3,1 GB | 2,8 GB | 2,4 GB | 7,3 GB |
| 8B | 10,0 GB | 8,0 GB | 7,0 GB | 6,0 GB | 5,0 GB | 18,0 GB |
| 14B | 16,9 GB | 13,4 GB | 11,7 GB | 9,9 GB | 8,2 GB | 30,9 GB |
| 32B | 37,6 GB | 29,6 GB | 25,6 GB | 21,6 GB | 17,6 GB | 69,6 GB |
| 70B | 81,3 GB | 63,8 GB | 55,1 GB | 46,3 GB | 37,6 GB | 151,3 GB |
Zwei Dinge sind bemerkenswert. Erstens: Die Quantisierung ist der größte Hebel, den du hast — ein 8B-Modell von 16 Bit auf 4 Bit zu senken, bringt es von 18 GB auf 6 GB. Zweitens: Eine echte Q4_K_M-Datei ist etwas größer, als die Rechnung vermuten lässt, weil die Quantisierung Skalen und Korrektur-Tensoren neben den Gewichten speichert; der Rechner bleibt bei der einfachen Version, damit jede Zahl reproduzierbar bleibt.
Der Kontext ist das, was Leute überrascht
Die Gewichte sind fest, der Cache nicht. Mit einem 8B-Modell:
| Kontext | KV-Cache | Gesamt bei Q4_K_M |
|---|---|---|
| 8,192 | 1,2 GB | 6,0 GB |
| 32,768 | 4,8 GB | 9,6 GB |
| 131,072 | 19,2 GB | 24,0 GB |
Dasselbe Modell, das bei 8k Kontext bequem auf eine 8-GB-Karte passt, braucht bei 128k eine 24-GB-Karte. Wenn ein Modell „plötzlich nicht mehr passt“, ist meist der Kontext-Regler der Grund. Den erlaubten Kontext zu senken oder die KV-Cache-Quantisierung in deiner Engine einzuschalten, reicht oft — auf Kosten von weniger Gesprächserinnerung.
Was in gängige Kartengrößen passt
Mit der Regel des Rechners selbst (bequem unter 85 % der Karte, knapp bis 100 %):
| VRAM | Bequem bei 8k Kontext | Zu viel |
|---|---|---|
| 8 GB | 8B bei Q4/Q5 oder 3B bei 16 Bit | 8B bei Q8, 14B bei Q4 |
| 12 GB | 8B bei Q8, 14B bei Q4 | 14B bei Q6, 32B bei Q4 |
| 16 GB | 14B bei Q5/Q6 | 8B bei 16 Bit, 32B bei Q4 |
| 24 GB | 32B bei Q4, 14B bei Q8 | 14B bei 16 Bit, 70B bei Q4 |
| 48 GB | 70B bei Q4 | 70B bei Q8 |
Das sind Schätzungen, keine Garantien. Ein Modell, das einen Cache über mehrere Attention-Heads teilt, kann viel weniger brauchen, als die Heuristik vermuten lässt, und die Bilderzeugung hat ein eigenes, anderes Speicherprofil.
Wenn es nicht passt
- Kleinere Quantisierung. Q4_K_M ist der übliche Kompromiss; Q3 schafft etwas mehr Platz und kostet Qualität.
- Kürzeres Kontextfenster. Die billigste Lösung, die es gibt, und im normalen Chat oft unsichtbar.
- Teilweises Auslagern. Ein Teil des Modells läuft auf CPU oder System-RAM: Es funktioniert, es ist langsamer, und das Urteil des Rechners deckt es nicht ab.
- Selbst nicht ausführen. Wenn du nur eine Antwort brauchst, ist ein gehostetes Modell in einem Gratis-Tarif billiger als eine neue Grafikkarte — dafür ist unsere Multi-AI-Suche da, und Angebote & Gratis-Tarife listet die Gratis-Tarife, die wir prüfen konnten.
Häufige Fragen
Reichen 8 GB VRAM für lokale KI?
Ja, für 7B- bis 8B-Modelle bei 4 Bit oder 5 Bit und normalem Kontext sowie für kleinere Modelle mit höherer Präzision. Für ein 14B-Modell bei 4 Bit reicht es nicht, das braucht etwa 9,9 GB.
Brauche ich eine dedizierte Grafikkarte?
Nein. Modelle laufen auch auf CPU und System-Arbeitsspeicher, nur viel langsamer. Die Formel oben bezieht sich auf GPU-Speicher, weil das die Grenze ist, an die Leute zuerst stoßen.
Warum weicht mein tatsächlicher Verbrauch von der Schätzung ab?
Weil die Engine zusätzlich Puffer hält, der KV-Cache in einer anderen Präzision gespeichert sein kann, die Batch-Größe zählt und andere Anwendungen gleichzeitig die GPU nutzen. Nimm die Schätzung als Ja/Nein-Antwort und miss dann mit deinem eigenen Setup.
Woher kommen diese Zahlen?
Aus der Formel oben auf der Seite, ausgewertet bei 8.192 Token Kontext. Es ist Arithmetik, keine Messung: Du kannst jede Zeile im Rechner nachvollziehen, indem du Größe, Quantisierung und Kontext eingibst.
Probiere deine eigene Konfiguration
Der Rechner dauert fünf Sekunden: Modellgröße, Quantisierung, Kontext und deine Karte, und er sagt dir, ob es passt und wie viel Spielraum du hast.
- Rechner für lokale KI-Hardware — die Schätzung für deinen Rechner.
- KI-Ranking — die Projekte und Modelle, die Leute tatsächlich herunterladen, mit echten Sternen- und Download-Zahlen.
- Top kostenlose KI-Tools — 28 Open-Source-Projekte und 8 Gratis-Tarife, mit Lizenzen und Sternen.
Weiterlesen
- Ollama-Befehle für lokale KI — die Befehle, die Sie wirklich tippen.
- GGUF-Quantisierung erklärt — was Q4_K_M, Q5_K_M und Q8_0 bedeuten und wie Sie eine wählen.
Formel, Quantisierungsgrößen und die 85-%-Komfortregel unseres Rechners, geprüft am 18. Oktober 2026. Alles in den Tabellen ist mit dieser Formel bei 8.192 Token Kontext berechnet.