Esta etapa aumenta o número de coeficientes com valor zero, levando-se da redução da amplitude dos coeficientes que contribuem pouco para qualidade da imagem. A quantização também descarta informação que não é visualmente significativa.
Os coeficientes resultantes da etapa de DCT são transformados de acordo com a fórmula:
onde os valores 
constituem
a tabela de quantização. Cada um dos elementos é um número
inteiro de 1 a 255. O padrão permite até 4 tabelas de quantização.
Para o processo de decodificação utiliza-se a quantização inversa, que é dada pela seguinte fórmula:
A quantização é o estágio de perdas na codificação JPEG. Se quantizarmos grosseiramente, podemos terminar com imagens que parecem blocos, mas se quantizarmos muito bem, podemos acabar com os bits inúteis que codificam (essencialmente) ruído.
Podemos controlar a quantização pelo Fator de Qualidade (Quality Factor – Q-Factor), um número que muda a matriz padrão da quantização usando um fator multiplicativo eficaz. Um Q-Factor mais elevado dá uma compressão melhor, um Q-Factor mais baixo dá uma imagem melhor em qualidade. Duas tabelas quantidades são necessárias para crominância e luminância e somente uma para os componentes do RGB.