Ratgeber
Ein LLM auf einer 6 bis 8 GB Karte ausführen
Kurze Antwort: Auf einer Karte mit 6–8 GB läuft ein Modell mit 7–8B in 4 Bit mit mäßigem Kontext, oder eines mit 3–4B in höherer Präzision. Was nicht läuft, ist ein 13–14B-Modell in 4 Bit: Es braucht etwa 10 GB, bevor der Desktop seinen Anteil nimmt. Der Unterschied zwischen 6 und 8 GB ist nicht kosmetisch, aber kleiner, als die meisten Ratgeber suggerieren. Das ist kein Benchmark einzelner Karten. Alle Zahlen kommen aus derselben Formel wie unser VRAM-Rechner , du kannst also jede Zeile mit deinem Modell nachrechnen. Geprüft am 2. November 2026. Was „6–8 GB“ wirklich bedeutet Die Zahl auf der Packung ist nicht die, die du hast. Der Desktop-Compositor, der Browser mit Hardwarebeschleunigung und jede andere GPU-Anwendung belegen schon Speicher auf der Karte, bevor dein Modell startet. Auf einem Rechner mit 8 GB zeigt `nvidia-smi` im Leerlauf oft 0,6 bis 1,6 GB als belegt an. Die erste Gewohnheit ist deshalb, den echten Wert zu lesen statt das Datenblatt: nvidia-smi bei NV...