Modelado da Linguaxe

Fornecer coñecementos teóricos que permitan profundar no estudo de modelos lingüísticos: modelos de lingua e modelos semánticos distribucionais

Asociar o modelado lingüístico e os tipos de modelos con diferentes tarefas dentro da área das tecnoloxías lingüísticas e do procesamento da lingua natural.

Avaliar diferentes aspectos dos modelos lingüísticos.

Fornecer coñecemento práctico que permita poder adestrar novos modelos e usalos convenientemente en diferentes tarefas de procesamento da lingua natural.

1. Modelos de lingua:
1.1. Modelos de lingua baseados en n-gramas.
1.2. Modelos de lingua baseados en redes neuronais.

2. Modelos de semántica distribucional:
2.1. Hipótese lingüística sobre o significado distribucional.
2.2. Modelos distribucionais clásicos.
2.3. Modelos neuronais de significado estático (word embeddings).
2.4. Modelos neuronais de significado dinámico-contextual.
2.5. Modelos composicionais.

3. Etiquetado secuencial:
3.1. Uso e adaptación de modelos para o etiquetado secuencial.

4. Modelos texto a texto.

Baroni, Marco, Raffaella Bernardi & Roberto Zamparelli (2014). “Frege in space: A program for compositional distributional semantics.” Linguistic Issues in Language Technologies 9(6): 5-110.

Baroni, Marco, Georgiana Dinu & Germán Kruszewski (2014). “Don’t count, predict! A systematic comparison of context-counting vs. context-predicting semantic vectors.” In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 238–247, Baltimore, Maryland. Association for Computational Linguistics.

Church, Kenneth Ward, Zeyu Chen & Yanjun Ma (2021). “Emerging trends: A gentle introduction to fine-tuning.” Natural Language Engineering, 27: 763–778.

Devlin, Jacob, Ming-Wei Chang, Kenton Lee & Kristina Toutanova (2018). “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171–4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Erk, Katrin (2012). "Vector space models of word meaning and phrase meaning: A survey." Language and Linguistics Compass 6.10: 635-653.

Hirschberg, Julia & Christopher D. Manning (2015). "Advances in natural language processing." Science 349.6245: 261-266.

Jeremy Howard & Sebastian Ruder (2018). “Universal Language Model Fine-tuning for Text Classification.” In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 328–339, Melbourne, Australia. Association for Computational Linguistics.

Jurafsky, Daniel & James H. Martin (2021). “N-gram Language Models.” Speech and Language Processing, Capítulo 3. https://web.stanford.edu/~jurafsky/slp3/

Jurafsky, Daniel & James H. Martin (2021). “Vector Semantics and Embeddings.” Speech and Language Processing, Capítulo 6. https://web.stanford.edu/~jurafsky/slp3/

Jurafsky, Daniel & James H. Martin (2021). “Neural Networks and Neural Language Models.” Speech and Language Processing, Capítulo 7. https://web.stanford.edu/~jurafsky/slp3/

Jurafsky, Daniel & James H. Martin (2021). “Sequence Labeling for Parts of Speech and Named Entities.” Speech and Language Processing, Capítulo 8. https://web.stanford.edu/~jurafsky/slp3/

Lenci, Alessandro (2018). “Distributional Models of Word Meaning.” Annual Review of Linguistics, Vol. 4:151-171.

Linzen, Tal (2016). "Issues in evaluating semantic spaces using word analogies." In Proceedings of the 1st Workshop on Evaluating Vector-Space Representations for NLP, pp. 13–18, Berlin, Germany. Association for Computational Linguistics.

Mikolov, Tomas, Wen-tau Yih & Geoffrey Zweig (2013). "Linguistic Regularities in Continuous Space Word Representations." In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 746–751, Atlanta, Georgia. Association for Computational Linguistics.

Taher Pilehvar, Mohammad & Jose Camacho-Collados (2021). Embeddings in Natural Language Processing: Theory and Advances in Vector Representations of Meaning. Morgan & Claypool (Synthesis Lectures on Human Language Technologies, volume 47).

Competencias básicas e xerais:

CG1 - Manter e estender enfoques teóricos fundados para permitir a introdución e explotación de tecnoloxías novas e avanzadas no campo da Intelixencia Artificial.

CG3 – Procurar e seleccionar a información útil e necesaria para resolver problemas complexos, utilizando con destreza as fontes bibliográficas do campo.

CG4 - Elaborar adecuadamente e con certa orixinalidade composicións escritas ou argumentos motivados, redixir plans, proxectos de traballo, artigos científicos, e formular hipóteses razoábeis no campo.

CB6 - Posuír e comprender coñecementos que fornezan unha base ou oportunidade de ser orixinais no desenvolvemento e/ou aplicación de ideas, habitualmente nun contexto de investigación.

CB7 – Que os estudantes saiban aplicar os coñecementos adquiridos e a súa capacidade de resolución de problemas en contornas novas ou pouco coñecidos dentro de contextos máis amplos (ou multidisciplinares) relacionados coa súa área de estudo.

Competencias transversais:

CT7 – Desenvolver a capacidade de traballar en equipos interdisciplinares ou transdisciplinares, para fornecer propostas que contribúan a un desenvolvemento sustentábel dos puntos de vista ambiental, económico, político e social.

CT8 - Valorar a importancia que a investigación, a innovación e o desenvolvemento tecnolóxico teñen no avance socioeconómico e cultural da sociedade.

Competencias específicas:

CE1 - Comprensión e dominio de técnicas para o procesamento léxico, sintáctico e semántico de textos en linguas naturais.

CE2 - Comprensión e dominio dos fundamentos e técnicas de procesamento de documentos vinculados, estruturados e non estruturados, e da representación do seu contido.

CE3 - Comprensión e coñecemento das técnicas de representación e procesamento de coñecemento mediante ontoloxías, grafos e RDF, así como da ferramentas asociadas a estas.

Empregarase a seguinte metodoloxía docente:

- Método expositivo / aula maxistral: o profesorado presenta un tema ao alumnado co obxectivo de facilitar un conxunto de información cun alcance concreto.

- Prácticas de laboratorio: o profesorado da materia preséntalle ao alumnado un ou varios problemas de carácter práctico que requiren a comprensión e a aplicación dos contidos teórico-prácticos incluídos no programa da materia. O alumnado pode traballar a solución aos problemas colocados de maneira individual ou en equipo. O traballo poderá ser autónomo, aínda que guiado polo profesorado da materia.

- Aprendizaxe por proxectos: preséntanselle ao alumnado proxectos prácticos que requiren unha parte importante da súa dedicación total á materia. Ademais, e debido ao alcance dos traballos a realizar, é preciso que a/o estudante aplique non só competencias de xestión mais tamén de carácter técnico.

- Titorías: o profesorado atenderá o alumnado en sesións de titorías individualizadas, dedicadas á orientación no estudo e á resolución de dúbidas sobre os contidos, traballos e actividades da materia.

Utilizarase o Campus Virtual para a distribución de materiais, así como guías e titoriais para a realización das actividades requiridas.

E1: Exame final 45%
E2: Avaliación de traballos prácticos 50%
E3: Seguimento continuado: 5%

Cada alumna/o deberá alcanzar un mínimo de 40% da máxima nota das partes E1 e E2, e en calquera caso a suma das tres partes (E1, E2 e E3) debe ser maior a 5 para superar a materia. De non cumprise algún dos requisitos anteriores, a cualificación da convocatoria establecerase de acordoa coa menor puntuación obtida.

No caso de non obter o mínimo nalgunha das partes (E1 e E2), a/o alumna/o terá unha segunda oportunidade na que só se lle esixirá a entrega desa parte.

Non se gardarán cualificacións entre anos académicos.

As entregas das prácticas deben realizarse dentro do prazo establecido no campus virtual, e seguirán as especificacións indicadas no enunciado tanto para a presentación como para a defensa.

Terá a condición de “Presentado” quen entregar todas as prácticas obrigatorias ou se presente á proba obxectiva no período oficial de avaliación.

No caso de realización fraudulenta de exercicios ou probas, aplicarase a Normativa de avaliación do rendemento académico dos estudantes e de revisión de cualificacións. En aplicación da normativa correspondente sobre plaxio, a copia total ou parcial dalgún exercicio de prácticas ou de teoría suporá o suspenso nas dúas oportunidades do curso, coa cualificación de 0,0 en ambos os casos.

A distribución temporal da materia é a seguinte:

Distribución dos créditos ECTS:

- Sesións teóricas: 10 (horas presenciais) + 10 (horas non presenciais) = Total 20 horas

- Sesións prácticas de laboratorio: 5 (horas presenciais) + 15 (horas non presenciais) = Total 20 horas

- Sesións de aprendizaxe baseada en problemas: 6 (horas presenciais) + 29 (horas non presenciais) = Total 35 horas

Total: 21 (horas presenciais) + 54 (horas non presenciais) = Total 75 horas

É importante adquirir algúns mecanismos e automatismos básicos para o uso dalgunhas ferramentas utilizadas no curso. Por este motivo, recoméndase repetir e ampliar de xeito individual na casa as prácticas realizadas nas sesións interactivas.