Hype-Generator 3000™: It's a game-changer
Aquí puedes encontrar un listado de modelos de IA locales de Eleuther AI, ordenados por parámetros, estimar su cuantización, etc...
Eleuther AI Labs
Los parámetros son los pesos aprendidos en un modelo de IA. Se calculan en Billions (miles de millones) Determinan cómo procesa los datos y produce resultados. Más parámetros generalmente significa mayor capacidad y mejores resultados, pero también mayores requisitos de memoria y computación. Menos parámetros hacen que el modelo sea más rápido y ligero, pero potencialmente menos preciso o capaz.
El modelo seleccionado en el gráfico anterior aparecerá aquí con sus cuantizaciones.
La cuantización es una técnica utilizada para reducir el tamaño de un modelo local de IA disminuyendo la precisión de sus pesos y cálculos (menos bits por parámetro). Esto hace que el modelo sea mucho más pequeño, rápido y fácil de ejecutar en hardware limitado, pero tiene una desventaja: la menor precisión numérica puede degradar ligeramente la exactitud y el rendimiento general en comparación con el modelo original de precisión completa.