Hardware para IA

Para ejecutar modelos de IA en local, el hardware es muy importante. Esta tabla compara la memoria (VRAM) y el ancho de banda de las GPU/CPU más comunes. Cuanta más memoria y más ancho de banda, más grande y rápido puede ser el modelo que ejecutes.

Esto te puede servir para comparar como te funcionaría cambiar de una a otra tarjeta gráfica o sistema. Ten en cuenta que la memoria influye en cuanto a los modelos que puedes cargar en ella, mientras que el ancho de banda define la velocidad con la que se carga el modelo, lo rápido que procesa los datos (tokens/seg), lo rápido que genera las imágenes, etc.