GPT-3: cuando la escala se volvió la estrategia (2020)
El modelo de 175 mil millones de parámetros de OpenAI mostró que un modelo de lenguaje lo bastante grande podía aprender tareas nuevas con unos pocos ejemplos en la consigna, sin reentrenar.
En 2020, OpenAI publicó GPT-3, un gran modelo de lenguaje con 175 mil millones de parámetros, más de cien veces mayor que su predecesor. El título del artículo era modesto, “Language Models are Few-Shot Learners”, pero la afirmación de dentro no lo era.
Aprendizaje con pocos ejemplos
Los modelos anteriores solían ser especializados: para que uno fuera bueno en traducción o resumen, se afinaba con un conjunto de datos etiquetado para esa tarea. GPT-3 sugirió otra forma de trabajar. Como era un Transformer entrenado con enormes cantidades de texto de internet, a menudo bastaba con describir la tarea en la consigna, mostrarle un par de ejemplos, y seguía el patrón, sin ninguna actualización de pesos.
Esa capacidad, llamada aprendizaje en contexto o con pocos ejemplos, es la razón por la que la consigna se volvió una idea tan central. De repente importaba enormemente cómo se preguntaba, y un solo modelo podía inducirse a muchas tareas sin el coste de afinar una versión aparte para cada una.
La apuesta por la escala
El verdadero mensaje de GPT-3 era sobre la escala. Su comportamiento venía en gran medida de hacer mucho más grande la misma receta básica: más parámetros, más datos, más cómputo. El artículo documentó cómo las capacidades tendían a mejorar de forma suave a medida que esas cifras crecían, dando a la investigación y la industria un argumento compartido, casi económico: si más grande significaba de forma fiable mejor, la inversión podía apuntar a escalar.
Ese argumento reconfiguró el campo. Justificó los enormes entrenamientos y presupuestos de centros de datos que siguieron, y fijó la expectativa de que cada nueva generación sería drásticamente más capaz que la anterior.
Por qué importa
GPT-3 no se lanzó al público como producto de chat. El acceso iba por una API dirigida a desarrolladores, y por un tiempo fue sobre todo un tema entre quienes seguían de cerca el campo. Pero sentó las bases de lo que vino después. Una vez claro que un solo modelo grande podía manejar tareas de lenguaje abiertas desde una consigna, la pieza que faltaba era una interfaz que cualquiera pudiera usar.
Esa interfaz llegó dos años después como ChatGPT, y el público masivo que alcanzó reaccionaba, lo supiera o no, a las capacidades que GPT-3 había demostrado primero.