ManzGPU

Hardware para IA

Hype-Generator 3000™: It's a game-changer

Comparativa de GPUs y CPUs: memoria (VRAM) y ancho de banda de memoria de los componentes más usados para ejecutar modelos de IA.

Introducción

Para ejecutar modelos de IA en local, el hardware es muy importante. Esta tabla compara la memoria (VRAM) y el ancho de banda de las GPU/CPU más comunes. Cuanta más memoria y más ancho de banda, más grande y rápido puede ser el modelo que ejecutes.

Esto te puede servir para comparar como te funcionaría cambiar de una a otra tarjeta gráfica o sistema. Ten en cuenta que la memoria influye en cuanto a los modelos que puedes cargar en ella, mientras que el ancho de banda define la velocidad con la que se carga el modelo, lo rápido que procesa los datos (tokens/seg), lo rápido que genera las imágenes, etc.

Comparativa de hardware

132 componentes
NombreMemoriaAncho de banda
RTX 509032 GB
1792 GB/s
RTX 508016 GB
960 GB/s
RTX 5070 Ti16 GB
896 GB/s
RTX 507012 GB
672 GB/s
RTX 5060 Ti16 GB
448 GB/s
RTX 50608 GB
448 GB/s
RTX 409024 GB
~1008 GB/s
RTX 4080 Super16 GB
~736 GB/s
RTX 408016 GB
~717 GB/s
RTX 4070 Ti Super16 GB
~672 GB/s
RTX 4070 Ti12 GB
~504 GB/s
RTX 4070 Super12 GB
~504 GB/s
RTX 407012 GB
~504 GB/s
RTX 4060 Ti8–16 GB
~288 GB/s
RTX 40608 GB
~272 GB/s
RTX 3090 Ti24 GB
1008 GB/s
RTX 309024 GB
936 GB/s
RTX 3080 Ti12 GB
912 GB/s
RTX 308012 GB
912 GB/s
RTX 308010 GB
760 GB/s
RTX 3070 Ti8 GB
608 GB/s
RTX 30708 GB
448 GB/s
RTX 3060 Ti8 GB
448 GB/s
RTX 306012 GB
360 GB/s
RTX 30508 GB
224 GB/s
RTX 2080 Ti11 GB
616 GB/s
RTX 2080 Super8 GB
496 GB/s
RTX 20808 GB
448 GB/s
RTX 2070 Super8 GB
448 GB/s
RTX 20708 GB
448 GB/s
RTX 2060 Super8 GB
448 GB/s
RTX 20606 GB
336 GB/s
RTX 206012 GB
336 GB/s
GTX 1080 Ti11 GB
484 GB/s
GTX 10808 GB
320 GB/s
GTX 1070 Ti8 GB
256 GB/s
GTX 10708 GB
256 GB/s
GTX 10606 GB
192 GB/s
GTX 10603 GB
192 GB/s
GTX 1050 Ti4 GB
112 GB/s
GTX 10502 GB
112 GB/s
AI PRO R9700/S32 GB
640 GB/s
AI PRO R960032 GB
640 GB/s
AI PRO R9600D32 GB
640 GB/s
RX 9070/XT16 GB
640 GB/s
RX 9070 GRE12 GB
432 GB/s
RX 9060 XT8/16 GB
~320 GB/s
RX 90608 GB
288 GB/s
RX 90508 GB
288 GB/s
PRO W790048 GB
864 GB/s
PRO W780048 GB
864 GB/s
PRO W780032 GB
576 GB/s
PRO W770016 GB
576 GB/s
PRO W76008 GB
288 GB/s
PRO W75008 GB
~173–256 GB/s
PRO V71028 GB
448 GB/s
RX 7900 XTX24 GB
~960 GB/s
RX 7900 XT20 GB
~800 GB/s
RX 7900 GRE16 GB
~576 GB/s
RX 7800 XT16 GB
~624 GB/s
RX 7700 XT12 GB
~432 GB/s
RX 770016 GB
624 GB/s
RX 7600 XT16 GB
288 GB/s
RX 76008 GB
288 GB/s
RX 74008 GB
173 GB/s
PRO W6900X32 GB
512 GB/s
PRO W6800/X32 GB
512 GB/s
PRO W6600X8 GB
256 GB/s
PRO W66008 GB
224 GB/s
PRO W64004 GB
128 GB/s
PRO V62032 GB
512 GB/s
RX 6950 XT16 GB
576 GB/s
RX 6900 XT/X16 GB
512 GB/s
RX 6800/XT16 GB
512 GB/s
RX 6750 XT12 GB
432 GB/s
RX 6750 GRE 12 GB12 GB
~384 GB/s
RX 6750 GRE 10 GB10 GB
320 GB/s
RX 6700 XT12 GB
384 GB/s
RX 670010 GB
320 GB/s
RX 6650 XT8 GB
288 GB/s
RX 6600 XT8 GB
256 GB/s
RX 66008 GB
224 GB/s
RX 6500 XT4/8 GB
144 GB/s
RX 64004 GB
128 GB/s
RX 5700/XT8 GB
448 GB/s
PRO W5700X16 GB
448 GB/s
PRO W57008 GB
448 GB/s
RX 5600/XT6 GB
~288 GB/s
RX 5500 XT4/8 GB
224 GB/s
RX 55004 GB
224 GB/s
PRO W5500/X8 GB
224 GB/s
PRO 53004 GB
224 GB/s
RX 5300 XT4 GB
112 GB/s
RX 53003 GB
168 GB/s
M512/16/24/32 GB
~153 GB/s
M5 Pro24/48/64 GB
~307 GB/s
M5 Max (32-core GPU)36/48 GB
~460 GB/s
M5 Max (40-core GPU)48/64/128 GB
~614 GB/s
M5 Ultra96/256/512 GB
~1200 GB/s
M416/24/32 GB
~120 GB/s
M4 Pro24/48/64 GB
~273 GB/s
M4 Max (32-core GPU)36/48 GB
~410 GB/s
M4 Max (40-core GPU)48/64/128 GB
~546 GB/s
M38/16/24 GB
~100 GB/s
M3 Pro18/36 GB
~150 GB/s*
M3 Max36/48/64 GB
~300–408 GB/s
M3 Ultra96/256/512 GB
~819 GB/s
M28/16/24 GB
~100 GB/s
M2 Pro16/32 GB
~204 GB/s
M2 Max32/64/96 GB
~409 GB/s
M2 Ultra64/128/192 GB
~819 GB/s
M18/16 GB
~68 GB/s
M1 Pro16/32 GB
~204 GB/s
M1 Max32/64 GB
~409 GB/s
M1 Ultra64/128 GB
~819 GB/s
Arc Pro B7032 GB
608 GB/s
Arc Pro B6532 GB
608 GB/s
Arc Pro B6024 GB
456 GB/s
Arc Pro B5016 GB
224 GB/s
Arc B58012 GB
456 GB/s
Arc B57010 GB
380 GB/s
Arc A7708/16 GB
560 GB/s
Arc A7508 GB
512 GB/s
Arc A5808 GB
512 GB/s
Arc A3806 GB
186 GB/s
Ryzen 9 9950XDDR5-6000
96 GB/s
Ryzen 7 7800X3DDDR5-6000
96 GB/s
Ryzen 7 5800XDDR4-3600
58 GB/s
Ryzen 5 3600DDR4-3200
51 GB/s
AMD Ryzen AI Max+ PRO192 GB
~273 GB/s
AMD Ryzen AI Halo128 GB
~256 GB/s
NVIDIA DGX Spark128 GB
~273 GB/s