Guias
Quantização GGUF explicada
Calculadora · Busca IA · Seleção · Grátis · Preços · Comparativo · Ofertas · Ranking · Skills · English GGUF é o formato de arquivo que o llama.cpp usa, e as letras depois do nome de um modelo dizem quanta precisão foi descartada para deixá-lo menor. Q4_K_M, Q5_K_M, Q8_0 e o resto não são marcas: descrevem um método de quantização e um tamanho-alvo. Este guia explica o que os rótulos significam, qual é o trade-off e como escolher um que caiba na sua máquina. Não é um benchmark. Os números abaixo vêm da documentação de quantização do llama.cpp, que lista bits por peso e tamanhos de arquivo para o Llama 3.1 8B. Eles foram conferidos em 29 de outubro de 2026. Seu modelo e suas tarefas podem se comportar de forma diferente. O que a quantização faz Um modelo é um conjunto enorme de pesos, normalmente armazenados com precisão de 16 ou 32 bits. A quantização armazena esses pesos com menos bits: 8, 6, 5, 4, 3 ou at...