Advanced artificial vision

La meta de esta materia es proporcionar al alumno una perspectiva moderna, tanto en su vertiente teórica cómo práctica, del campo de la visión artificial basada en técnicas de deep-learning (DL).

OBJETIVOS:

• Conocer las arquitecturas más habituales en DL en visión artificial aplicadas a la robótica.
• Saber seleccionar y entrenar los métodos DL para reconocimiento de objetos y segmentación para robots autónomos.
• Conocer y aplicar modelos de atención visual.
• Implementar algoritmos de visión sobre sistemas visuales activos y embarcados.
• Saber emplear técnicas DL para análisis de movimiento.

Los contenidos impartidos en esta materia suponen una continuidad natural del cursado en la materia de Visión Artificial del primero semestre de este curso, adoptando una perspectiva moderna, tanto en su vertiente teórica cómo práctica, del campo de la visión artificial basada en técnicas de deep-learning. La memoria del título contempla los siguientes contenidos:

Fundamentos de las redes neuronales. Redes neuronales usadas en el campo de la visión artificial. Optimización y entrenamiento. Detección y reconocimiento de objetos. Técnicas avanzadas de segmentación. Análisis de vídeo y seguimiento.


Estos contenidos teóricos serán desarrollados de acuerdo al siguiente temario:

BLOQUE 1: BASES DE APRENDIZAJE MÁQUINA Y DL

Distribución en horas para este bloque:
• Presenciales: 8 docencia expositiva, 10 aulas de informática, 1,5 tutorías grupo.
• No presenciales: 15 preparación temas, 13 elaboración trabajos, 2 preparación pruebas evaluación.

En la primera parte del curso se abarcará las componentes fundamentales que impulsan a los modernos sistemas de aprendizaje profundo en la visión artificial:

TEMA 0: PRESENTACIÓN DE LA MATERIA
Presentación de la materia
Enfoque clásico y actual de la Visión Artificial
Logística del curso y configuración del entorno de trabajo

TEMA 1: FUNDAMENTOS DE LAS REDES NEURONALES
Introducción al modelo de aprendizaje parametrizado
Componentes de un clasificador lineal clásico de imágenes
Modelos de neurona, funciones de activación y arquitectura de la red
Proceso de entrenamiento, actualización de los pesos y evaluación
Combinando todo: red neuronal mínima funcional

TEMA 2: REDES NEURONALES CONVOLUCIONALES (CNN)
Introducción: necesidad de incluir información espacial en las redes
Convolución y cross-correlación
Filtros: dimensión, paso y muestreo
Tipos y combinaciones de capas en una CNN
Estudio de las principales arquitecturas para clasificación de imágenes

TEMA 3: OPTIMIZACIÓN Y ENTRENAMIENTO
Introducción: consideraciones prácticas para entrenamiento de las redes
Técnicas de regularización y su fundamento
Optimización como camino al aprendizaje: variantes
Algoritmos adaptativos de aprendizaje
Estrategias de inicialización


BLOQUE 2: APLICACIONES PRÁCTICAS DE VISIÓN CON TÉCNICAS DE DEEP LEARNING

Distribución en horas para este bloque:
• Presenciales: 16 docencia expositiva, 14 aulas de informática, 1,5 tutorías grupo.
• No presenciales: 20 preparación temas, 22 elaboración trabajos, 4 preparación pruebas evaluación.

En la segunda parte del curso se centrará en las aplicaciones prácticas y cuáles son las arquitecturas idóneas para diferentes problemas.

TEMA 4: DETECCIÓN Y RECONOCIMIENTO DE OBJETOS
Introducción: planteamiento del problema y desafíos
Aproximación al problema y medidas de evaluación
Arquitecturas profundas para detección de objetos de una y de dos etapas
Técnicas de reconocimiento de caras, emociones y gestos
Redes en producción: módulo DNN de OpenCV

TEMA 5: TÉCNICAS AVANZADAS DE SEGMENTACIÓN
Introducción: retos en el ámbito de la segmentación
Tipos de segmentación: semántica, instancias y panóptica
Técnicas de segmentación y su taxonomía
Principales arquitecturas para segmentación

TEMA6: ATENCIÓN VISUAL Y SISTEMAS ACTIVOS
Introducción: atención visual
Saliencia visual estática y dinámica
Arquitecturas para saliencia estática y dinámica
Sistemas activos de visión

TEMA7: ANÁLISIS DE VIDEO Y RASTREO
Introducción: análisis de vídeo y aplicaciones
Técnicas profundas de flujo óptico y multi-rastreadores de eventos
Aplicaciones del flujo óptico: predicción de movimientos y clasificación de acciones
Aprendizaje multi-tarea en vídeo: hidranets



PROGRAMA DE PRÁCTICAS:
Distribución en horas para este bloque:
• Presenciales: 24 aulas de informática.
• No presenciales: 35 elaboración trabajos.

La enseñanza experimental de los alumnos constituye una parte sustancial de todo curso de visión artificial. Además de su papel de ilustrar contenidos específicos del programa de la materia, las prácticas permiten al estudiante desarrollar competencias transversales propias de la titulación. Estas actividades promueven la elección y aplicación de métodos analíticos, de cálculo y experimentales ya establecidos, así como interpretación de los resultados para llegar a conclusiones válidas en el ámbito del estudio. Además, fomentar el trabajo en equipo, se practica la comunicación oral y escritura y la gestión de la información. Los objetivos específicos son:
• Desarrollar hábitos correctos de trabajo en equipo mediante la aplicación del método científico al análisis de problemas prácticos reales.
• Aprender la implementación de las técnicas vistas, el correcto manejo de datos y a extraer conclusiones de los experimentos, proporcionándoles además experiencia en la transmisión de la información técnica mediante la redacción de informes científico-técnicos y la exposición oral.
• Desarrollar su compromiso con las metas marcadas en el grupo de trabajo y con los principios éticos involucrados en el trabajo científico y técnico.

Para conseguir los anteriores objetivos en las prácticas, en cada tema se aporta a los estudiantes bloques de código que facilitarán la comprensión de la implementación de las técnicas estudiadas y permitirán aborde tareas más complejas. La relación de experimentos propuesta:

P1: CONFIGURACIÓN E INSTALACIÓN DEL ENTORNO DE TRABAJO EN EL ORDENADOR PERSONAL
P2: CONSTRUCCIÓN DE UN PERCEPTRON MULTICAPA ENTRENABLE EN PYTHON
P3: INTRODUCCIÓN A PYTORCH Y TENSORFLOW : IMPLEMENTACIÓN DE LENET
P4: DISEÑO DE UNA ARQUITECTURA ORIGINAL PARA CLASIFICACIÓN DE IMÁGENES EN PYTORCH-LIGHTENING
P5: ANÁLISIS E IMPLEMENTACIÓN DE TÉCNICAS DE REGULARIZACIÓN Y OPTIMIZACIÓN EN PYTORCH
P6: ENTRENAMIENTO Y COMPARATIVA DE FASTER-RCNN Y YOLOv9 PARA DETECCIÓN DE OBJETOS
P7: ETIQUETADO Y FINE-TUNNING DE MASK-RCNN SOBRE UNA BASE DE DATOS PROPIA
P8: ALGORITMOS DE ATENCIÓN VISUAL DINÁMICA SOBRE SISTEMAS ACTIVOS DE VISIÓN
P9: HIDRANETS PARA ANÁLISIS MULTI-TAREA SOBRE VÍDEO DE VEHÍCULOS AUTÓNOMOS

POYECTO FINAL (POR PAREJAS) DE TEMÁTICA LIBRE. el equipo debe elegir una aplicación práctica que integre distintas técnicas del curso

• DOCUMENTACIÓN DE LA MATERIA
• Documentación preparada para esta materia por el profesorado, y que será distribuída a través del campus virtual.


• BIBLIOGRAFÍA BÁSICA
• Richard Szeliski. COMPUTER VISION: ALGORITHMS AND APPLICATIONS (2ª ed). Draft 2021 Springer. (https://szeliski.org/Book/)
• Shamshad Ansari. Building Computer Vision Applications Using Artificial Neural Networks: With Step-by-Step Examples in OpenCV and TensorFlow with Python. Apress, 2020.
• A. Rosebrock. Deep Learning for Computer Vision with Python (3ª Ed.). PyimageSearch. 2019.
• Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning. The MIT Press, . 2016
• François Chollet. Deep Learning with Python Manning Publications. 2017.
• Aurélien Géron. Hands-on Machine Learning with Scikit-Learn and TensorFlow (2ª Ed). O´Really Media. 2019.
• A. Gulli,A. Kapoor TensorFlow Deep Learning Cookbook. Packt.2017.

• BIBLIOGRAFÍA COMPLEMENTARIA
• Richard Hartley and Andrew Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press
• Michael A. Nielsen, Neural Networks and Deep Learning, Determination Press, 2015
• Mahmoud Hassaballah, Ali Ismail Awad . Deep Learning in Computer Vision Principles and Applications. CRC 2020

• ENLACES RECOMENDADOS
• Artigos de Visión artificial con código (https://paperswithcode.com/area/computer-vision).
• Deep Learning, IDIAP (Fleuret), 2018 (https://fleuret.org/ee559-2018/dlc/).
• Introduction to Deep Learning, University of Illinois (Lazebnik), 2018 (http://slazebni.cs.illinois.edu/fall18/).
• Deep Learning in Computer Vision, University of Toronto (Fidler), 2018 (http://www.cs.toronto.edu/~fidler/teaching/2018/CSC2548.html).
• Convolutional Neural Networks for Visual Recognition, Stanford University , 2020 (http://cs231n.stanford.edu/).
• Deep Learning: Do-It-Yourself! Hands-on tour to deep learning, ENS Paris, 2019 (https://www.di.ens.fr/~lelarge/dldiy/).
• Practical Deep Learning for Coders, 2020 (https://course.fast.ai/).
• 3D Machine Learning. https://github.com/timzhang642/3D-Machine-Learning

Relación de resultados del aprendizaje:
Al terminar con éxito esta asignatura, los estudiantes serán capaces de:
Conocimiento:
Con82. Distinguir las arquitecturas habituales de deep learning (DL) en el campo de la visión artificial.
Con83. Elegir qué modelo de red es el adecuado para problemas básicos de visión artificial.
Destreza:
H/D87. Entrenar o transferir conocimiento de las principales redes neuronales a problemáticas concretas.
H/D88. Implementar algoritmos de visión con DL.
Competencia:
Comp15. Utilizar e implementar métodos de aprendizaje computacional en el análisis de datos sensoriales y para la toma de decisiones en sistemas robóticos.
Comp19. Entender y saber programar las técnicas de análisis, procesado, detección, reconocimiento y seguimiento de patrones en los distintos tipos de señales procedentes de diferentes sensores y cámaras dentro del entorno de un robot.

Clases expositivas de grupo grande:
Descripción: Presentación en el aula de los conceptos propios de la materia haciendo uso de metodología expositiva con lecciones magistrales participativas y medios audiovisuales. Cada sesión, se iniciará con un breve resumen del expuesto en el día anterior y se rematará con una compilación breve.
Propósito: Transmitir los contenidos de la materia motivando al alumnado a la reflexión y facilitándole el descubrimiento de las relaciones entre diversos conceptos.
Contenido en ECTS: 3 (24 horas presenciales)
Metodología Docente: Lección magistral. Debates. Tutoría académica.
Competencias trabajadas: Comp15,Comp19.
Resultados Aprendizaje trabajados: Con82,Con83, H/D87, H/D88.

Actividades interactivas con grupos reducidos (problemas, laboratorio y proyecto final):
Descripción: Actividades a través de las cuales se pretende mostrar al alumnado como debe actuar a partir de la aplicación de los conocimientos adquiridos, a hacer observaciones experimentales cuidadosas y obtener conclusiones a partir de los datos obtenidos.
Propósito: Desarrollo en el alumnado de las habilidades instrumentales de la materia.
Contenido en ECTS: 2,75 (24 horas presenciales)
Metodología Docente: Prácticas de laboratorio. Desarrollo de proyectos. Tutoría académica.
Competencias: Comp15,Comp19.
Resultados Aprendizaje trabajados: Con82,Con83, H/D87, H/D88.

Seminarios (grupo grande):
Descripción: Modalidad organizativa de los procesos de enseñanza y aprendizaje donde tratar en profundidad una temática actual relacionada con la materia. Incorpora actividades basadas en la indagación, el debate, la reflexión y el intercambio.
Propósito: Desarrollo en el alumnado de las competencias cognitivas y procedimentales de la materia. Contenido en ECTS: 0,1 (1 horas presenciales)
Competencias: Comp15,Comp19.
Resultados Aprendizaje trabajados: Con82,Con83, H/D87, H/D88.

Tutorías académicas (grupo pequeño e individuales):
Descripción: manera de organizar los procesos de enseñanza y aprendizaje que se basa en la interacción directa entre el estudiante y el profesor
Propósito: 1) Orientan el trabajo autónomo y grupal del alumnado, 2) profundizar en distintos aspectos de la materia y 3) orientar la formación académica integral del estudiante
Contenido en ECTS: 0,7 (7 horas presenciales) Competencias: Comp15,Comp19.
Resultados Aprendizaje trabajados: Con82,Con83, H/D87, H/D88.

Actividades no presenciales individuales (Estudio y trabajo autónomo):
Descripción: 1) Actividades (guiadas y no guiadas) propuestas por el profesor a través de las cuales, y de forma individual, se ahonda en aspectos concretos de la materia posibilitando al estudiante avanzar en la adquisición de determinados conocimientos y procedimientos de la materia, 2) Estudio individualizado de los contenidos de la materia 3) Actividades evaluables (informes, presentaciones, ...)
Propósito: Favorecer en el estudiante a capacidad para autorregular su aprendizaje, planificándolo, diseñándolo, evaluándolo y adecuándolo a sus especiales condiciones e intereses.
Contenido en ECTS: 3 (30 horas no presenciales)
Competencias: Comp15,Comp19.
Resultados Aprendizaje trabajados: Con82,Con83, H/D87, H/D88.

Actividades no presenciales grupales (Estudio y trabajo en grupo)
Descripción: Actividades (guiadas y no guiadas) propuestas por el profesor a través de las cuales y de forma grupal se afonda en aspectos concretos de la materia posibilitando a los estudiantes avanzar en la adquisición de determinados conocimientos y procedimientos de la materia. Propósito: Favorecer en los estudiantes a generación e intercambio de ideas, la identificación y análisis de diferentes puntos de vista sobre una temática, la generalización o transferencia de conocimiento y la valoración crítica del incluso.
Contenido en ECTS: 2 (20 horas no presenciales)
Competencias: Comp15,Comp19.
Resultados Aprendizaje trabajados: Con82, Con83, H/D87, H/D88.

Se empleará un sistema de evaluación continua, que tenga características de evaluación formativa, de manera que sirva de realimentación en el proceso de enseñanza-aprendizaje por parte del estudiante. La estructura del sistema es la siguiente:

CRITERIOS DE EVALUACIÓN
Definimos los siguientes criterios de evaluación para atender al grado de adquisición de las competencias por parte del estudiante y los resultados del aprendizaje:

• CE1: El alumno es capaz de resolver problemas simples de visión artificial en el campo de la robótica.
• CE2: El alumno integra los conocimientos explicados nos distintos temas de teoría para poder resolver de manera creativa los problemas que se le presenten.
• CE3: El alumno es capaz de implementar algoritmos de visión que dan solución a los problemas expuestos, integrando los conocimientos adquiridos sobre el funcionamiento de los sistemas de visión artificial, haciendo uso de los recursos bibliográficos y herramientas informáticas a su alcance.
• CE4: El alumno es capaz de generar documentación correctamente redactada, clara y precisa sobre el trabajo realizado en las prácticas.
• CE5: El alumno expone y defiende de manera clara y razonada sus propuestas para la resolución de los problemas expuestos.

INSTRUMENTOS DE CALIFICACIÓN
Esta sección expone los instrumentos de evaluación que serán aplicados la cada uno de los criterios de evaluación.
• Tests de conocimientos básicos (TCB). cada estudiante realizará un test de conocimientos básicos (prueba objetiva) por cada tema a través de la plataforma del Campus Virtual. Esta prueba consistirá en una serie preguntas de respuesta múltiple que abordarán los aspectos teóricos básicos del tema.
• Prácticas (PL). Consiste en la implementación e integración de código en casos prácticos reales que ilustren la aplicación de los contenidos teóricos vistos. Se le suministrará un conjunto de rutinas base para que el estudiante pueda abordar el problema con garantías de éxito.
• Proyecto final (PF). Consiste en el diseño e implementación de una aplicación práctica en la que cada equipo (dos estudiantes) deben aplicar e interrelacionar los conocimientos teórico-prácticos adquiridos en la materia.
La elección de la temática será libre. El trabajo terminará cuando se entreguen los códigos fuente, una memoria del trabajo y se realice un vídeo de presentación.

CRITERIOS DE CALIFICACIÓN
Para considerar superada la evaluación continua los alumnos deberán cumplir las siguientes condiciones:
• que haya asistido, como mínimo, la un 80% de las clases teóricas y prácticas,
• que haya realizado todos los tests de conocimientos básicos (TCB). Se considerarán superados si obtiene una calificación final promedio superior o igual la mitad de la nota máxima de los TCB,
• que haya realizado todas las prácticas de cada tema y demostrara su capacidad de dar solución a los problemas prácticos planteados. Se entenderá que superó estas competencias se obtiene una calificación final promedio superior o igual la mitad de la nota máxima de los PL
• que haya presentado el proyecto final. Se entenderá que superó estas competencias si obtiene una calificación final promedio superior o igual la mitad de la nota máxima de los PF,
• la materia se considerará superada si se obtiene una calificación global ponderada igual o superior a 5 (sobre 10) entre todos los instrumentos de evaluación.

PROCEDIMIENTOS DE EVALUACIÓN
Todo aquel estudiante que no participe o no complete totalmente todas las tareas del proceso de evaluación continua, deberá presentar los trabajos correspondientes, o bien a la 1ª o a la 2ª oportunidad, para recuperar la/las partes pendientes. La calificación constará en la oportunidad en la que queden superados las deficiencias detectadas:

-Si no asistió al 80% de las clases deberá presentar ejercicios extra de los temas a los que no asistió que le aportará el profesor,
-Si no presentó/superó la/s práctica/s, deberá presentar/mejorar el material correspondiente según la retroalimentación dada por el profesor, Si no presentó/superó el proyecto final aportará/mejorará el material requerido según la retroalimentación dada por el profesor.
PESO EN LA CALIFICACIÓN DE LOS INSTRUMENTOS DE EVALUACIÓN
• Tests de conocimientos básicos (TCB) = 20%
• Prácticas (PL) = 40%
• Proyecto final (PF) = 40%

COMPETENCIAS (C*), RESULTADOS DE AVALIACIÓN (RA) Y CRITERIOS DE AVALIACIÓN (CE)
• Tests de conocimientos básicos: Comp15,Comp19, Con82,Con83, H/D87, H/D88, CE1, CE2
• Prácticas (PL) : Comp15,Comp19, Con82,Con83, H/D87, H/D88, CA1-CA4
• Proyecto final (PF) : Comp15, Comp19, Con82, Con83, H/D87, H/D88, CA1-CA5

EVALUACIÓN DE ESTUDIANTES CON DISPENSA ACADÉMICA
Los estudiantes que tengan concedida la dispensa de asistencia por la Comisión de Título según lo dispuesto en el Reglamento de asistencia a clase, deben tener en cuenta que para aprobar la asignatura es obligatorio realizar los TCBs, las prácticas y el proyecto final con su correspondiente exposición oral/entrevista.

EVALUACIÓN DE ESTUDIANTES REPETIDORES
Los alumnos repetidores serán evaluados como el resto del alumnado. Sólo quedan exentos de la asistencia presencial a las clases teóricas y prácticas.

ESTUDIANTES CON DISCAPACIDAD O NECESIDADES EDUCATIVAS ESPECIALES
Las adaptaciones curriculares para estudiantes con discapacidad o con necesidades educativas especiales, el fin de garantizar la igualdad de oportunidades, no discriminación, la accesibilidad universal y la mayor garantía de éxito académico serán pautadas por el Servicio de Participación e Integración Universitaria (SEPIU), dependiente de la Vicerreitoría de Igualdad, Cultura y Servicios. Será requisito para eso la emisión de un informe de adaptaciones curriculares por parte de la dicha unidad, por lo que los estudiantes con discapacidad o necesidades educativas especiales deberán contactar con ella, el fin de analizar conjuntamente las distintas alternativas.

CONDUCTA, INTEGRIDAD Y HONESTIDAD ACADÉMICA
La USC está plenamente comprometida con los más altos estándares de integridad y honestidad
Académica reflejadas en su Código Ético (https://www.usc.es/gl/goberno/valedor/codigoetico/codigoetico.html). Para acompañar este proceso, la Universidad dispone de la Normativa de Evaluación del Rendimiento sobre conducta académica de la USC y de diferentes herramientas (antiplagio, supervisión) que ofrecen una garantía colectiva para el completo desarrollo de éstes valores esenciales.
De acuerdo con esta Normativa de Evaluación, si un alumno realiza fraudulentamente una prueba o ejercicio exigido en la evaluación implicará la calificación de suspenso en la convocatoria correspondiente, con independencia del proceso disciplinario que se pueda seguir contra el alumno infractor. Se considerará fraudulenta, entre otras, copiar en un examen así como la realización de trabajos plagiados u obtenidos de fuentes accesibles al público sin reelaboración o reinterpretación y sin citas a los autores y a las fuentes.

La materia tiene asignada una carga de trabajo de 6 ECTS. En la guía de la materia se puede consultar un análisis detallado del tiempo de estudio y trabajo personal necesario para superarla, que se muestra a continuación de forma simplificada:

-Trabajo presencial en el aula
Clases expositivas: 24 horas.
Clases interactivas: 24 horas.
Tutorías de grupo (con grupos reducidos): 3 horas.
TOTAL: 51 horas

-Trabajo personal del estudiante
Lectura y preparación de temas: 35 horas
Realización de tests de conocimiento teórico (TCB): 6 horas
Realización de actividades prácticas: 35 horas
Realización del proyecto final: 20 horas
Preparación de tutorías: 3 horas
TOTAL: 99 horas

• Asistir a las clases e intervenir de manera activa en ellas, así como en el resto de las actividades interactivas (seminarios, prácticas, tutorías de aula).
• Tratar de llevar el estudio de la materia al día.
• Realizar unas buenas prácticas y esforzarse en los trabajos que decida llevar a cabo a lo largo del curso.
• Utilizar las notas y la bibliografía aconsejada por el profesor en cada bloque temático.

La materia dispone de un aula en el Campus Virtual de la USC: http://www.usc.es/campusvirtual. En ella, el estudiante, podrá encontrar todo el material necesario y realizará las pruebas test de cada uno de los temas. Todas las entregas de las prácticas y del proyecto final se realizarán a través de esta plataforma.