La cuantización es una técnica utilizada para reducir el tamaño de un modelo local de IA disminuyendo la precisión de sus pesos y cálculos (menos bits por parámetro). Esto hace que el modelo sea mucho más pequeño, rápido y fácil de ejecutar en hardware limitado, pero tiene una desventaja: la menor precisión numérica puede degradar ligeramente la exactitud y el rendimiento general en comparación con el modelo original de precisión completa.