Modelado del Lenguaje

Proveer conocimientos teóricos que permitan profundizar en el estudio de modelos lingüísticos: modelos de lenguaje, modelos semánticos distribucionales.

Asociar el modelado lingüístico y los tipos de modelos con diferentes tareas dentro del área de las tecnologías lingüísticas y del procesamiento de las lenguas naturales.

Evaluar diferentes aspectos de los modelos lingüísticos.

Proveer conocimiento práctico que permita poder entrenar nuevos modelos y usarlos convenientemente en diferentes tareas de procesamiento de las lenguas naturales.

1. Modelos de lenguaje:
1.1. Modelos de lenguaje basados en n-gramas.
1.2. Modelos de lenguaje basados en redes neuronales.

2. Modelos de semántica distribucional:
2.1. Hipótesis lingüísticas sobre el significado distribucional.
2.2. Modelos distribucionales clásicos.
2.3. Modelos neuronales de significado estático (word embeddings).
2.4. Modelos neuronales de significado dinámico-contextual.
2.5. Modelos composicionales.

3. Etiquetado secuencial:
3.1. Uso y adaptación de modelos para el etiquetado secuencial.

4. Modelos texto a texto.

Baroni, Marco, Raffaella Bernardi & Roberto Zamparelli (2014). “Frege in space: A program for compositional distributional semantics.” Linguistic Issues in Language Technologies 9(6): 5-110.

Baroni, Marco, Georgiana Dinu & Germán Kruszewski (2014). “Don’t count, predict! A systematic comparison of context-counting vs. context-predicting semantic vectors.” In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 238–247, Baltimore, Maryland. Association for Computational Linguistics.

Church, Kenneth Ward, Zeyu Chen & Yanjun Ma (2021). “Emerging trends: A gentle introduction to fine-tuning.” Natural Language Engineering, 27: 763–778.

Devlin, Jacob, Ming-Wei Chang, Kenton Lee & Kristina Toutanova (2018). “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171–4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Erk, Katrin (2012). "Vector space models of word meaning and phrase meaning: A survey." Language and Linguistics Compass 6.10: 635-653.

Hirschberg, Julia & Christopher D. Manning (2015). "Advances in natural language processing." Science 349.6245: 261-266.

Jeremy Howard & Sebastian Ruder (2018). “Universal Language Model Fine-tuning for Text Classification.” In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 328–339, Melbourne, Australia. Association for Computational Linguistics.

Jurafsky, Daniel & James H. Martin (2021). “N-gram Language Models.” Speech and Language Processing, Capítulo 3. https://web.stanford.edu/~jurafsky/slp3/

Jurafsky, Daniel & James H. Martin (2021). “Vector Semantics and Embeddings.” Speech and Language Processing, Capítulo 6. https://web.stanford.edu/~jurafsky/slp3/

Jurafsky, Daniel & James H. Martin (2021). “Neural Networks and Neural Language Models.” Speech and Language Processing, Capítulo 7. https://web.stanford.edu/~jurafsky/slp3/

Jurafsky, Daniel & James H. Martin (2021). “Sequence Labeling for Parts of Speech and Named Entities.” Speech and Language Processing, Capítulo 8. https://web.stanford.edu/~jurafsky/slp3/

Lenci, Alessandro (2018). “Distributional Models of Word Meaning.” Annual Review of Linguistics, Vol. 4:151-171.

Linzen, Tal (2016). "Issues in evaluating semantic spaces using word analogies." In Proceedings of the 1st Workshop on Evaluating Vector-Space Representations for NLP, pp. 13–18, Berlin, Germany. Association for Computational Linguistics.

Mikolov, Tomas, Wen-tau Yih & Geoffrey Zweig (2013). "Linguistic Regularities in Continuous Space Word Representations." In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 746–751, Atlanta, Georgia. Association for Computational Linguistics.

Taher Pilehvar, Mohammad & Jose Camacho-Collados (2021). Embeddings in Natural Language Processing: Theory and Advances in Vector Representations of Meaning. Morgan & Claypool (Synthesis Lectures on Human Language Technologies, volume 47).

Competencias básicas y generales:

CG1 - Mantener y extender planteamientos teóricos fundados para permitir la introducción y explotación de tecnologías nuevas y avanzadas en el campo de la Inteligencia Artificial.

CG3 - Buscar y seleccionar la información útil necesaria para resolver problemas complejos, manejando con soltura las fuentes bibliográficas del campo.

CG4- Elaborar adecuadamente y con cierta originalidad composiciones escritas o argumentos motivados, redactar planes, proyectos de trabajo, artículos científicos y formular hipótesis razonables en el campo.

CB6 - Poseer y comprender conocimientos que proporcionen una base u oportunidad para ser originales en el desarrollo y/o aplicación de ideas, normalmente en un contexto de investigación.

CB7 - Que los estudiantes sepan aplicar los conocimientos adquiridos a su capacidad de resolución de problemas en entornos nuevos o poco conocidos dentro de contextos más amplios (o multidisciplinares) relacionados con su área de estudio.

Competencias transversales:

CT7 - Desarrollar la capacidad de trabajar en equipos interdisciplinares o transdisciplinares, para ofrecer propuestas que contribuyan a un desarrollo sostenible ambiental, económico, político y social.

CT8 - Valorar la importancia que tiene la investigación, la innovación y el desarrollo tecnológico en el avance socioeconómico y cultural de la sociedad.

Habilidades específicas:

CE1.- Comprensión y dominio de técnicas para el procesado de textos en lenguaje natural.

CE2.- Comprensión y dominio de los fundamentos y técnicas de procesamiento semántico de documentos enlazados, estructurados y no estructurados, y de la representación de su contenido.

CE3.- Comprensión y conocimiento de las técnicas de representación y procesado de conocimiento mediante ontologías, grafos y RDF, así como de las herramientas asociadas a las mismas.

Se adopta la siguiente metodología docente:

- Método expositivo / aula magistral: el profesorado presenta un tema al alumnado con el objetivo de facilitar un conjunto de información con un alcance concreto.

- Prácticas de laboratorio: el profesorado de la materia presenta al alumnado uno o varios problemas de carácter práctico que requieren la comprensión y la aplicación de los contenidos teórico-prácticos incluidos en el programa de la materia. El alumnado puede trabajar la solución a los problemas planteados de manera individual o en equipo. El trabajo podrá ser autónomo, aunque guiado por el profesorado de la asignatura.

- Aprendizaje por proyectos: se presentan al alumnado proyectos prácticos que requieren una parte importante de su dedicación total a la materia. Además, y debido al alcance de los trabajos a realizar, es preciso que la/el estudiante aplique no solo competencias de gestión sino también de carácter técnico.

- Tutorías: el profesorado atenderá al alumnado en sesiones de tutorías individualizadas, dedicadas a la orientación en el estudio y a la resolución de dudas sobre los contenidos, trabajos y actividades de la asignatura.

Se utilizará el Campus Virtual para la distribución de materiales, así como guías y tutoriales para la realización de las actividades requeridas.

E1: Examen final 45%
E2: Evaluación de trabajos prácticos 50%
E3: Seguimiento continuado: 5%

Cada alumna/o deberá alcanzar un mínimo de 40% de la máxima nota de las partes E1 e E2, y en cualquier caso la suma de las tres partes (E1, E2 y E3) debe ser mayor a 5 para superar la asignatura. De no cumplirse alguno de los requisitos anteriores, la cualificación de la convocatoria se establecerá de acuerdo con la menor puntuación obtenida.

En el caso de no obtener el mínimo en alguna de las partes (E1 y E2), la/el alumna/o terdrá una segunda oportunidad en la que solo se le exigirá la entrega de esa parte.

No se guardarán cualificaciones entre años académicos.

Las entregas de las prácticas deben realizarse dentro del plazo establecido en el campus virtual, y seguirán las especificaciones indicadas en el enunciado tanto para la presentación como para su defensa.

Tendrá la condición de “Presentado” quien entregue todas las prácticas obligatorias o se presente a la prueba objetiva en el período oficial de evaluación.

En el caso de realización fraudulenta de ejercicios o pruebas, se aplicará la Normativa de evaluación del rendimiento académico de los estudiantes y de revisión de cualificaciones. En aplicación de la normativa correspondiente sobre plagio, la copia total o parcial de algún ejercicio de prácticas o de teoría supondrá el suspenso en las dos oportunidades del curso, con la cualificación de 0,0 en ambos casos.

La distribución temporal de la asignatura es la siguiente:

Distribución de los créditos ECTS:

- Sesiones teóricas: 10 (horas presenciales) + 10 (horas no presenciales) = Total 20 horas

- Sesiones prácticas de laboratorio: 5 (horas presenciales) + 15 (horas no presenciales) = Total 20 horas

- Sesiones de aprendizaje basada en problemas: 6 (horas presenciales) + 29 (horas no presenciales) = Total 35 horas

Total: 21 (horas presenciales) + 54 (horas no presenciales) = Total 75 horas

Es importante adquirir algunos mecanismos y automatismos básicos para el uso de algunas herramientas utilizadas en el curso. Por este motivo, se recomienda repetir y ampliar de modo individual en casa las prácticas realizadas en las sesiones interactivas.