Articles

Showing posts from November, 2026
Ratgeber

Ein LLM auf einer 6 bis 8 GB Karte ausführen

Kurze Antwort: Auf einer Karte mit 6–8 GB läuft ein Modell mit 7–8B in 4 Bit mit mäßigem Kontext, oder eines mit 3–4B in höherer Präzision. Was nicht läuft, ist ein 13–14B-Modell in 4 Bit: Es braucht etwa 10 GB, bevor der Desktop seinen Anteil nimmt. Der Unterschied zwischen 6 und 8 GB ist nicht kosmetisch, aber kleiner, als die meisten Ratgeber suggerieren. Das ist kein Benchmark einzelner Karten. Alle Zahlen kommen aus derselben Formel wie unser VRAM-Rechner , du kannst also jede Zeile mit deinem Modell nachrechnen. Geprüft am 2. November 2026. Was „6–8 GB“ wirklich bedeutet Die Zahl auf der Packung ist nicht die, die du hast. Der Desktop-Compositor, der Browser mit Hardwarebeschleunigung und jede andere GPU-Anwendung belegen schon Speicher auf der Karte, bevor dein Modell startet. Auf einem Rechner mit 8 GB zeigt `nvidia-smi` im Leerlauf oft 0,6 bis 1,6 GB als belegt an. Die erste Gewohnheit ist deshalb, den echten Wert zu lesen statt das Datenblatt: nvidia-smi bei NV...
Guias

Como executar um LLM numa GPU de 6 a 8 GB

Resposta curta: numa placa de 6–8 GB você roda um modelo de 7–8B em 4 bits com um contexto moderado, ou um de 3–4B em precisão maior. O que não roda é um 13–14B em 4 bits: ele pede cerca de 10 GB antes de a área de trabalho pegar a sua parte. A diferença entre 6 e 8 GB não é cosmética, mas é menor do que a maioria dos guias sugere. Isto não é um teste de placas específicas. Todos os números saem da mesma fórmula usada pela nossa calculadora de VRAM , então você pode reproduzir cada linha com o seu modelo. Verificado em 2 de novembro de 2026. O que «6–8 GB» significa de verdade O número da caixa não é o que você tem. O compositor da área de trabalho, o navegador com aceleração de hardware e qualquer outro aplicativo que use a GPU já ocupam memória na placa antes de o seu modelo começar. Numa máquina com 8 GB, o `nvidia-smi` costuma mostrar entre 0,6 e 1,6 GB em uso com a área de trabalho parada. Por isso o primeiro hábito é ler o número real, não a ficha técnica: nvidia-sm...
Guides

Comment exécuter un LLM sur une carte de 6 à 8 Go

Réponse courte : sur une carte de 6–8 Go, vous pouvez faire tourner un modèle de 7–8B en 4 bits avec un contexte modéré, ou un modèle de 3–4B à plus haute précision. Ce que vous ne pouvez pas faire, c'est un 13–14B en 4 bits : il demande environ 10 Go avant même que le bureau ne prenne sa part. La différence entre 6 et 8 Go n'est pas cosmétique, mais elle est plus petite que ne le suggèrent la plupart des guides. Ce n'est pas un banc d'essai de cartes précises. Tous les chiffres viennent de la même formule que notre calculateur de VRAM , donc vous pouvez reproduire chaque ligne avec votre propre modèle. Vérifié le 2 novembre 2026. Ce que « 6–8 Go » veut vraiment dire Le chiffre sur la boîte n'est pas celui dont vous disposez. Le compositeur du bureau, le navigateur avec accélération matérielle et toute autre application qui utilise le GPU occupent déjà de la mémoire sur la carte avant que votre modèle ne démarre. Sur une machine à 8 Go, `nvidia-smi` affiche s...
Guías

Cómo ejecutar un LLM en una GPU de 6 a 8 GB

Respuesta corta: con una tarjeta de 6–8 GB puedes ejecutar un modelo de 7–8B a 4 bits con un contexto moderado, o uno de 3–4B a más precisión. Lo que no puedes es un 13–14B a 4 bits: pide unos 10 GB antes de que el escritorio se lleve su parte. La diferencia entre 6 y 8 GB no es cosmética, pero es más pequeña de lo que sugiere la mayoría de las guías. Esto no es un banco de pruebas de tarjetas concretas. Todas las cifras salen de la misma fórmula que usa nuestra calculadora de VRAM , así que puedes reproducir cada fila con tu modelo. Comprobado el 2 de noviembre de 2026. Qué significa de verdad «6–8 GB» El número de la caja no es el que tienes. El compositor del escritorio, el navegador con aceleración por hardware y cualquier otra aplicación que use la GPU ya ocupan memoria en la tarjeta antes de que arranque tu modelo. En un equipo con 8 GB, `nvidia-smi` suele marcar entre 0,6 y 1,6 GB en uso con el escritorio parado. Por eso la primera costumbre es leer la cifra real, no la...
Guides

How to run a local LLM on a 6 to 8 GB GPU

Short answer: on a 6–8 GB card you can run a 7–8B model at 4-bit with a moderate context, or a 3–4B model at higher precision. What you cannot run is a 13–14B model at 4-bit: it needs about 10 GB before the desktop takes its share. The difference between 6 and 8 GB is not cosmetic, but it is smaller than most guides suggest. This is not a benchmark of specific cards. Every number below comes from the same formula our Local AI Hardware Calculator uses, so you can reproduce each row with your own model. Checked 2 November 2026. What "6–8 GB" actually means The number on the box is not the number you have. The desktop compositor, the browser with hardware acceleration and any other GPU-aware application already hold memory on the card before your model starts. On a machine with an 8 GB card, `nvidia-smi` often reports 0.6–1.6 GB in use while the desktop is idle. So the first habit is to read the real figure, not the spec sheet: nvidia-smi on NVIDIA rocm-smi o...