Modelado de lenguaje enmascarado (MLM)

Objetivo de preentrenamiento que oculta tokens de entrada al azar y entrena a reconstruirlos con contexto bidireccional; central en codificadores tipo BERT.

El modelado de lenguaje enmascarado (MLM) es un objetivo de preentrenamiento de modelo de lenguaje usado sobre todo con transformers solo codificador. Una fracción de tokens de entrada se sustituye por una máscara (o un token aleatorio); la red debe predecir los originales usando contexto izquierdo y derecho. Esa bidireccionalidad hace del MLM la tarea estándar de preentrenamiento para modelos tipo BERT en procesamiento de lenguajes naturales.

El MLM difiere del objetivo autorregresivo palabra-a-palabra de decodificadores tipo GPT, que escalan a LLM modernos pero no leen tokens futuros durante el preentrenamiento. Arquitecturas híbridas posteriores a veces combinan ambas ideas. Véase el artículo sobre BERT y la entrada de cronología.