Técnicas de procesamiento masivo de datos

En la era de la digitalización generamos datos en todas nuestras acciones diarias: interactuando en las redes sociales, navegando en páginas webs, realizando transacciones comerciales o simplemente llevando el móvil en el bolsillo. Esta gran generación de datos constituye una potencial reserva y significativa de información de valor. Nació así el “big data”.

El término “big data” es empleado frecuentemente para referirse al uso masivo de datos para obtener algún beneficio. Aunque no existe una definición estándar, el término va mucho más allá de la explotación de una gran cantidad de datos. El “big data” se relaciona con uno conjunto de datos cuyo volumen, diversidad y complejidad requiere de nuevas técnicas, algoritmos y análisis para poder extraer conocimiento oculto.

El objetivo principal de esta asignatura es capacitar al alumnado en la aplicación de técnicas de análisis y procesamiento de datos a gran escala. A lo largo del curso, estudiaremos las infraestructuras hardware y software necesarias para una explotación eficiente de estos datos. Veremos como distribuir los datos y el procesamiento con el objetivo de obtener sistemas escalables. Analizaremos los modelos de programación y tecnologías especialmente diseñadas para lo manejo de grandes conjuntos de datos haciendo especial hincapié en el aprendizaje automático. La materia proporcionará una comprensión integral de las plataformas y herramientas utilizadas en el procesamiento big data, abordando tanto los aspectos técnicos como los fundamentos teóricos necesarios para enfrentar los retos que presentan los conjuntos de datos masivos.

Tema 1. Introducción al Big Data
Tema 2. Infraestructuras para el almacenamiento y procesamiento de Big Data: Hadoop
Tema 3. Procesamiento de datos a gran escala: Apache Spark
Tema 4. Aprendizaje automático con Apache Spark MLlib
Tema 5. Procesamiento de datos en continuo

Además de las diapositivas y otro tipo de material proporcionados por el profesor, el alumnado cuenta con la siguiente bibliografía básica y complementaria para el seguimiento de la asignatura.

Bibliografía básica
- A. Polak, Scaling Machine Learning with Spark, O'Reilly, 2023.
- A. Bifet, R. Gavaldà, G. Holmes, and B. Pfahringer. Machine learning for Data Streams with Practical Examples in MOA. MIT Press, 2018. Dispoñible de xeito gratuíto en https://moa.cms.waikato.ac.nz/book/.
- I. Triguero, M. Galar, Large-Scale Data Analytics with Python and Spark, Cambridge University Press, 2023.

Bibliografía complementaria
- T. White, Hadoop: The Definitive Guide, 4th Edition, O'Reilly, 2015.
- G. Maas and F. Garillot. Stream processing with Apache Spark, O'Reilly, 2019.
- J. Damji, B. Wenig, T. Das, and D. Lee. Learning Spark, 2nd Edition, O'Reilly, 2020.

El alumnado adquirirá en distintos niveles de profundización, las siguientes competencias básicas, transversales y específicas:

Básicas y generales
CG2 - Capacidad para resolver problemas con iniciativa, toma de decisiones, autonomía y creatividad.
CG5 - Capacidad para concebir nuevos sistemas computacionales y/o evaluar el rendimiento de sistemas existentes, que integren modelos y técnicas de inteligencia artificial.

Transversales
TR3 - Capacidad para crear nuevos modelos y soluciones de forma autónoma y creativa, adaptándose a nuevas situaciones. Iniciativa y espíritu emprendedor.

Específicas
CE5 - Comprender y aplicar los principios y técnicas básicas de la programación paralela y distribuida para el desarrollo y ejecución eficiente de las técnicas de inteligencia artificial.
CE6 - Capacidad para realizar el análisis, diseño, implementación de aplicaciones que requieran trabajar con grandes volúmenes de datos y en la nube de forma eficiente.

La asignatura tiene un enfoque teórico-práctico mediante la combinación de clases expositivas e interactivas.

La docencia expositiva consistirá en lecciones impartidas por el profesorado, dedicadas a la exposición de contenidos teóricos y a la resolución de problemas o ejercicios. El profesorado promoverá una actitud activa, realizando preguntas que permitan aclarar aspectos concretos y dejando cuestiones abiertas para la reflexión del alumnado. Se trabajarán las competencias CG5, CE5 y CE6.

La docencia interactiva consistirá en clases reducidas con la finalidad de adquirir habilidades prácticas y complementar los contenidos impartidos en las clases teóricas fomentando el aprendizaje de trabajo en grupo. Estarán enfocadas al trabajo activo del alumnado en tareas prácticas o proyectos necesarios para superar la parte de evaluación continua de la materia. Se trabajarán las competencias CG2, TR3, CE5 y CE6.

Las tutorías programadas servirán para la resolución de dudas teóricas y/o prácticas así como para orientación en la realización de las tareas propuestas.

OPORTUNIDAD ORDINARIA

La evaluación de la materia se dividirá en dos partes, evaluación continua (50% de la nota) y examen (50% de la nota). Para superar la materia deberá obtenerse una calificación de 5 o más puntos sobre 10 en cada una de las partes.

Evaluación continua (50% de la nota final)

Se evaluarán las soluciones entregadas por el alumnado en relación a las tareas o proyectos desarrollados en el marco de la docencia interactiva. Las actividades de evaluación continua pueden incluir, entre otras, la realización de ejercicios de manera individual o en grupos reducidos, presentación de informes de actividades realizadas o evaluación mediante tests de seguimiento. En esta parte se evaluarán implícita o explícitamente las competencias CG2, TR3, CE5 y CE6.

La evaluación de prácticas podrá llevarse a cabo mediante corrección por parte del profesor, la defensa de la solución entregada por parte del alumno ante el profesor o la presentación oral de la solución desarrollada. Todos los trabajos deberán ser entregados por el Campus Virtual antes de las fechas que se especificarán. Las entregas fuera de plazo tendrán una calificación de 0 puntos. Se valorará el grado de cumplimiento de las especificaciones, la metodología, la rigurosidad y la presentación de resultados.

La asistencia a las sesiones interactivas será obligatoria cuando esté planificada la realización de alguna actividad cuya evaluación se vaya a realizar durante el transcurso de la sesión. Estas sesiones serán programadas y notificadas con la antelación suficiente.

La evaluación continua es no recuperable y por lo tanto no podrá sustituirse por la realización de un trabajo o examen final de prácticas.

Para los casos de realización fraudulenta de ejercicios o pruebas será de aplicación el recogido en la "Normativa de avaliación do rendemento académico dos estudantes e de revisión de cualificacións".

Examen (50% de la nota final)

Se realizará un examen teórico y/o de resolución de problemas, en la fecha oficialmente designada a tal efecto, en el que se evaluarán todos los contenidos de la materia, fundamentalmente las competencias CG2, CG5, TR3 y CE5 .

OPORTUNIDAD EXTRAORDINARIA DE RECUPERACIÓN

El alumnado podrá volver a evaluarse de los contenidos teóricos y/o de resolución de problemas (examen). La evaluación continua no es recuperable, se mantendrá la nota conseguida en la oportunidad ordinaria.

CONDICIÓN DE NO PRESENTADO

La calificación será "no presentado" cuando la persona no realice el examen en ninguna de las oportunidades y no entregue más de una actividad da evaluación continua.

ALUMNADO REPETIDOR

El alumnado repetidor será evaluado en iguales condiciones que lo de primera convocatoria. La nota obtenida en la evaluación continua podrá ser conservada en convocatorias posteriores si el/la estudiante así lo solicita por correo electrónico al profesor/a coordinador de la materia.

ALUMNADO CON DISPENSA

El alumnado con dispensa será evaluado en iguales condiciones que el resto de alumnado. En aquellas actividades de la evaluación continua cuya evaluación requiera asistencia al aula, el/la estudiante deberá acudir a esas sesiones.

• Aulas magistrales: 15 horas.
• Sesiones prácticas y/o laboratorio: 25 horas.
• Tutorías: 1 hora.
• Trabajo autónomo del alumnado (estudio, realización de ejercicios, prácticas, proyectos): 71,5 horas.

Total: 112,5 horas

Son requisitos previos recomendados haber cursado previamente las materias de Computación Concurrente, Paralela y Distribuida, Redes y Bases de Datos, tal y como se establece en la memoria de la titulación.

Se recomienda también la asistencia a las clases de docencia expositiva e interactiva así como el estudio continuado de la materia, realizando un esfuerzo activo en la búsqueda de materiales, realización de ejercicios y resolución de las prácticas o proyectos propuestos.

El material de trabajo para esta materia incluye la bibliografía indicada y las diapositivas elaboradoras por el profesorado. Se usará el Campus Virtual para todo tipo de comunicación, intercambio de ficheros y sistema de entrega. Las prácticas se harán empleando software libre como Hadoop y Apache Spark. Dependiendo de la disponibilidad del CESGA haremos uso de su clúster de Big Data para alguna de las prácticas.

La lengua vehicular de esta materia será el gallego. Sin embargo, debido a la novedad de los temas a tratar, la bibliografía se encuentra íntegramente en inglés.