Un ingeniero entrena LLM de 3.8B por US$998 y supera a GPT-2

El 10 de septiembre de 2026, Hugo Vergnes publicó los resultados de un experimento que pocos habrían imaginado posible hace apenas unos años: entrenar desde cero un modelo de lenguaje de 3.800 millones de parámetros en 43 horas, sobre 8 GPU B200 alquiladas, por un costo total de US$998. El modelo, bautizado little-lm, no solo completó el entrenamiento dentro de ese presupuesto ajustado, sino que superó a GPT-2 en el benchmark CORE, obteniendo 0,384 frente al 0,2565 del modelo de OpenAI publicado en 2019.

Lo que hace notable el resultado no es únicamente el número, sino la arquitectura que lo sostiene. Vergnes combinó componentes modernos —RMSNorm para la normalización, RoPE para los embeddings posicionales, Grouped Query Attention para reducir el costo de atención— con value embeddings de estilo ResFormer, una decisión que aportó por sí sola un 3,2% de mejora en CORE sin ningún costo computacional adicional. La suma de estas optimizaciones convierte a little-lm en un argumento vivo a favor de la eficiencia arquitectónica sobre la escala bruta.

El experimento llega en un momento en que el campo de la inteligencia artificial debate hacia dónde dirigir sus esfuerzos. La narrativa dominante durante años fue la de escalar: más parámetros, más datos, más cómputo. Vergnes ofrece una narrativa alternativa: que la optimización cuidadosa por FLOP puede comprimir capacidades que antes requerían laboratorios enteros hasta caber en el presupuesto de una startup —o de un ingeniero con una tarjeta de crédito y una buena idea.

La historia de little-lm sigue desarrollándose. A medida que otros medios y la comunidad técnica examinen la metodología y los resultados, el alcance real de este hito irá tomando forma.