Welches lokale KI-Modell passt zu meiner GPU
LOKALE KI · KEINE DATEN GESENDET
Kann ich dieses Modell auf meinem Rechner ausführen?
Nennen Sie Ihre GPU, Ihren Speicher und Ihren Einsatzzweck. Wir schlagen passende Modelle, eine sinnvolle Quantisierung und den Befehl zum Testen in Ollama vor. Das ist eine Schätzung, kein Benchmark.
Nur eine Schätzung. Der tatsächliche VRAM-Verbrauch hängt von Backend, Treibern, Kontext, Batch und Betriebssystem ab. Nutzen Sie den VRAM-Rechner zum Feinjustieren und testen Sie immer auf Ihrem Rechner. Letzte Modellprüfung: 30. Okt. 2026.
Echter Test auf 8 GB (30. Okt. 2026): Auf einer GTX 1070 Ti wurden Llama 3.2 3B, Qwen2.5 7B und Llama 3.1 8B Q4_K_M auf der GPU geladen; das 8B erreichte 6,2 GB Spitze. In einem kurzen Fakten-Test war Qwen 7B korrekt, beide Llama-Modelle scheiterten. Nur ein Rechner: keine Garantie für Ihren.
Häufige Fragen
Ist die VRAM-Schätzung exakt?
Nein. Es ist eine Schätzung auf Basis von Modellparametern, Quantisierungsbits, Kontext und einem Overhead-Puffer. Der reale Verbrauch variiert mit Backend, Treibern und geöffneten Anwendungen.
Warum fehlt mein Lieblingsmodell?
Das MVP enthält 17 gängige Modelle. Wenn Ihres fehlt, berechnen Sie den VRAM mit dem Rechner nach derselben Logik: Gewichte + KV-Cache + Overhead.
Funktioniert es für Bilder, Audio oder Video?
Nein. Dieses Tool ist für Sprachmodelle (LLMs). Stable Diffusion, Flux, Sprach- oder Videomodelle haben andere Speicheranforderungen und werden in separaten Anleitungen behandelt.
Werden meine Daten an einen Server gesendet?
Nein. Die Berechnung läuft in Ihrem Browser. Es gibt kein Konto, keine E-Mail wird verlangt und das ausgewählte Modell wird nicht gespeichert.
So wird gerechnet
Wir gehen von den Modellparametern und den Bits pro Gewicht der Quantisierung aus. Danach addieren wir den KV-Cache für den Kontext und einen Overhead-Puffer.
Die Zahl ist eine Spanne, kein Versprechen. Ein Modell kann passen und bei sehr langem Kontext trotzdem langsam laufen.
Was nicht berücksichtigt wird
- Die tatsächliche Geschwindigkeit Ihrer GPU.
- Treiber und Backend-Unterstützung.
- Andere geöffnete Programme.
- Bilder, Audio oder Video: Dieses Tool misst nur LLMs.
Wenn es nicht passt
- Senken Sie zuerst den Kontext, bevor Sie die Quantisierung ändern.
- Probieren Sie ein kleineres Modell.
- Akzeptieren Sie Offload nur, wenn Sie weniger Geschwindigkeit tolerieren.
- Berechnen Sie Ihren genauen Fall mit dem VRAM-Rechner.
Nicht sicher, was kombinieren?
Nutzen Sie den Stack-Builder, um Tools nach Ziel, Budget und Datenschutz zu wählen – mit kostenlosen oder lokalen Alternativen.