BERT: preentrenamiento bidireccional para comprensión del lenguaje (2018)

El 11 de octubre de 2018 Jacob Devlin y colegas en Google publicaron el artículo BERT en arXiv. Un codificador Transformer con modelado de lenguaje enmascarado lee texto en ambas direcciones, marcó récords en benchmarks y popularizó el patrón de preentrenamiento y afinación en el procesamiento del lenguaje.

Fecha del evento: Publicado:
HistoriaInvestigación

El 11 de octubre de 2018, Jacob Devlin y colegas en Google publicaron en arXiv BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (1810.04805). El artículo defendía una receta sencilla: tomar la mitad codificadora del transformer de «Attention is all you need», preentrenarla a fondo en texto plano y aplicar afinación en tareas etiquetadas.

Leer en ambas direcciones

Los modelos de lenguaje anteriores a menudo procesaban el texto estrictamente de izquierda a derecha, el patrón que más tarde escalarían los decodificadores tipo GPT hasta extremos en GPT-3. BERT usó contexto bidireccional: cada token podía atender a ambos lados. Eso choca con predecir siempre la siguiente palabra, porque los tokens futuros filtrarían la respuesta. La salida de BERT fue el modelado de lenguaje enmascarado: ocultar tokens de entrada al azar y entrenar la red para reconstruirlos desde el entorno.

Una segunda tarea auxiliar, predicción de la siguiente oración, fomentó representaciones que captan relaciones a nivel de párrafo. Juntas produjeron vectores de propósito general que el afinado adaptaba a clasificación, respuesta a preguntas y reconocimiento de entidades con relativamente pocos datos etiquetados por tarea.

Benchmarks y adopción

En GLUE y SQuAD de la época, BERT saltó a la cima de las tablas con márgenes amplios. El resultado importó más allá de puntuaciones académicas. Búsqueda, publicidad y procesamiento de lenguajes naturales empresarial ya corrían con rasgos superficiales o modelos específicos; BERT ofreció una columna vertebral compartida que mejoraba muchos flujos tras un pase de afinado.

Google publicó checkpoints preentrenados y el ecosistema Hugging Face convirtió «descargar BERT, afinar con tus etiquetas» en flujo habitual. Transformers solo codificador se volvieron estándar para tareas de comprensión, mientras los solo decodificador llevaron la historia de generación.

Por qué importa

BERT no sustituyó la narrativa de escala que GPT-3 amplificaría dos años después. Partió el campo con claridad: codificadores bidireccionales para clasificación y recuperación, decodificadores autorregresivos para texto abierto. Ambas líneas descienden del mismo transformer de 2017, por eso los stacks modernos suelen mezclar ideas de cada una.

Para quienes implementan sistemas, el legado de BERT es la plantilla preentrenar y afinar sobre un modelo de lenguaje orientado al contexto en ambos sentidos. Sigue sosteniendo embeddings en índices de búsqueda, clasificadores de documentos y mucho PLN empresarial, aunque los LLM orientados al chat dominen titulares.

#transformador#procesamiento-lenguajes-naturales