word2vec: Mikolov aprende el significado de palabras del contexto a escala (2013)
El 16 de enero de 2013 Tomáš Mikolov y sus colegas publicaron en arXiv «Efficient Estimation of Word Representations in Vector Space», con modelos skip-gram y CBOW que entrenaban vectores densos a partir de miles de millones de tokens en horas.
El 16 de enero de 2013, Tomáš Mikolov y colegas en Google publicaron en arXiv Efficient Estimation of Word Representations in Vector Space (1301.3781). El artículo presentó word2vec, modelos neuronales poco profundos que aprenden embeddings de palabras a partir de texto sin procesar prediciendo palabras desde el contexto. Entrenar en corpus grandes pasó a ser lo bastante rápido para pipelines industriales de procesamiento de lenguajes naturales (PLN), no solo benchmarks académicos pequeños.
Skip-gram y CBOW
Los autores compararon dos arquitecturas en skip-gram y CBOW (CBOW). CBOW predice una palabra objetivo a partir de palabras de contexto cercanas. Skip-gram invierte la dirección: dada una palabra, predice varios vecinos. Ambas comparten la idea del modelo de lenguaje neuronal de Bengio en 2003, pero word2vec eliminó mucha estructura pesada que hacía lentos los modelos de lenguaje neuronales.
Una nota posterior en octubre de 2013 añadió muestreo negativo y vectores de frases, escalando al corpus Google News (del orden de 100 mil millones de tokens). Los vectores publicados se convirtieron en referencia para similitud semántica y analogías.
Vectores que capturan gramática y significado
El espacio aprendido mostró regularidades difíciles de compartir con modelos basados en conteos. Ejemplos famosos incluyen king − man + woman ≈ queen. La similitud entre «Russia» y «Moscow» reflejó «France» y «Paris». Eso convenció a equipos de que las representaciones distribuidas estaban listas para búsqueda, recomendación y características de aprendizaje automático, años antes de los LLM actuales a escala mucho mayor.
Por qué importa
word2vec no inventó los embeddings de palabras, pero los hizo baratos, públicos y reproducibles. Investigadores pudieron descargar vectores preentrenados o entrenar los suyos en un puesto de trabajo. El trabajo enlaza la modelización neuronal de los 2000 con capas de embedding en transformadores y sistemas de recuperación modernos.