Embedding de palabras
Representación vectorial densa de una palabra aprendida a partir de coocurrencia o contexto de predicción, que captura regularidades semánticas y sintácticas en espacio continuo.
Un embedding de palabras es un vector denso aprendido que representa el significado y el uso de una palabra en contexto. A diferencia de codificaciones dispersas one-hot o de enormes tablas n-grama basadas en cadenas de Márkov, los embeddings sitúan palabras relacionadas cerca en un espacio continuo, de modo que el modelo puede generalizar entre términos similares. Yoshua Bengio y sus colegas mostraron en 2003 que un modelo de lenguaje neuronal podía aprender tales representaciones distribuidas mientras predecía la siguiente palabra, atacando la maldición de la dimensionalidad que afectaba a los modelos basados en conteos anteriores.
Trabajos posteriores como word2vec hicieron práctico entrenar embeddings a escala, y la idea se convirtió en base del procesamiento de lenguajes naturales moderno y de los grandes modelos de lenguaje actuales. Los embeddings también impulsan sistemas de recuperación que emparejan consultas con documentos en espacio vectorial. Véase el artículo sobre modelos de lenguaje neuronales y la entrada de la cronología.