Recoñecemento visual

As tarefas de recoñecemento visual van desde a detección de obxectos en imaxes e vídeos, a clasificación de obxectos e o recoñecemento de instancias, ata o recoñecemento de accións humanas. No curso realizaremos un estudo das primeiras tarefas, xa que o recoñecemento de accións é o tema principal da materia Recoñecmento de Acción Humanas.

O obxectivo é que o alumnado adquira coñecementos e habilidades que lles permitan deseñar sistemas de detección de movemento de vídeo, segmentación e rastreamento baseados en movementos, clasificación e detección de obxectos en imaxes e vídeo, así como rastrexo visual de obxectos.

*PARTE 1 U.Porto:
-------------------------

1-Introdución á análise de vídeo.
Percepción de movemento
Imaxes multidimensionais e secuencias de imaxes
Mostraxe espacio-temporal de imaxe temporal
Movemento borroso e filtrado espacio-temporal

2-Detección e estimación de movemento.
Aliñación e rexistro de imaxes
Estimación de movemento xerárquico e denso
Pirámides discretas de imaxe
Cálculo de fluxo óptico baseado en intensidade, enerxía e fase

3-Segmentación de movemento e seguimento.
Movemento paramétrico, movemento baseado en Spline, movemento en capas
Seguimento tradicional de movemento: filtros Kalman, filtros de partículas


*PARTE 2 USC:
--------------------

4-Extracción de características invariantes e correspondencia.
Descriptores binarios locais
Descriptores espectrais
Descriptores noutras bases de representación
Métodos de codificación dispersos

5-Métodos clásicos de clasificación de imaxes e detección de obxectos.
Métodos xeométricos
Métodos basados en apariencia
Métodos basados en características
Métodos de ventá deslizante
Bolsas de palabras visuais
Modelos basados en partes

6-Métodos de detección e seguimento de obxectivos baseados en deep learning.
Redes neuronales convolucionais para a detección de obxectos en imaxes.
Transformers.
Métodos de aprendizaxe profunda para o seguimento visual.


O programa inclúe os temas maís actuais transversais a varios dominios de aplicación.

Básica:
En xeral, as referencias básicas e complementaria estarán compostas por artigos que serán entregados polo profesorado.

Complementaria:

Szeliski, Richard. “Computer Vision: Algorithms and Applications”. Springer. 1st Edition, 2010. ISBN 978-1-84882-934-3.
http://szeliski.org/Book/drafts/SzeliskiBook_20100903_draft.pdf.

Md. Atiqur Rahman Ahad. Computer Vision and Action Recognition: A Guide for Image Processing and Computer Vision Community for Action Understanding. Atlantis Press; 2011 edition. ISBN 978-9491216190.

Boguslaw Cyganek. Object Detection and Recognition in Digital Images: Theory and Practice. John Wiley & Sons, Ltd. 2013. ISBN: 978-1-118-61836-3.

Traballaranse especialmente as competencias específicas (CE) que se enumeran a continuación e, en diferente medida, segundo as características da materia, as seguintes competencias escollidas entre as xerais do título (CG), as transversais (CT) e as de formación básica. (CB):

Básicas:
CB8: Que os estudantes sexan capaces de integrar coñecementos e afrontar a complexidade de formular xuízos baseados en información que, sendo incompleta ou limitada, inclúe reflexións sobre as responsabilidades sociais e éticas relacionadas coa aplicación dos seus coñecementos e xuízos.

CB10: Que os estudantes posúan as habilidades de aprendizaxe que lles permitan seguir estudando dun xeito que terá que ser en gran medida autodirixido ou autónomo.

Transversais:
CT3: Desenvolvemento do espírito innovador e emprendedor.

Xerais:
CG1: Capacidade de análise e síntese de coñecemento.
CG7: capacidade de aprendizaxe autónoma para a especialización nun ou máis campos de estudo.

Específicas:
CE1: Coñecer e aplicar os conceptos, metodoloxías e tecnoloxías do procesamento de imaxes.
CE2: Coñecer e aplicar técnicas de aprendizaxe automática e recoñecemento de patróns aplicados á visión da computadora.
CE3: Coñecer e aplicar os conceptos, metodoloxías e tecnoloxías de análise de imaxes e vídeos.
CE5: Analizar e aplicar métodos de última xeración na visión da computadora.
CE9: Coñecer e aplicar os conceptos, metodoloxías e tecnoloxías para o recoñecemento de patróns visuais en escenas reais.

O desenvolvemento das clases terá lugar harmonizando as metodoloxías da ensinanza cos obxectivos fundamentais da materia. Esta será unha materia de exposición e aplicación, onde os estudantes aprenderán non só por que, senón tamén como implementar, avaliar e decidir.

A subministración de información e coñecementos científicos previstos nos obxectivos desenvolverase ao comezo de cada asunto a tratar, onde se establecerá a relación con outras temáticas xa tratadas en clases anteriores ou noutras materias. Nestas sesións pretendemos desenvolver as habilidades dos estudantes e concienciar sobre a importancia dos temas tratados no contexto real actual, contribuíndo a un mellor marco e tamén máis fácil percibir os obxectivos que se pretenden acadar.

Dado o carácter práctico das materias a tratar, presentaranse e proporanse varios exercicios e casos prácticos, resultantes dun traballo de investigación desenvolvido. Os alumnos aprenderán facendo, reflexionando e tomando decisións sobre os problemas e alternativas propostas, mellorando as súas habilidades nos temas analizados.

Trataremos de estimular un proceso de diálogo no que todos participen, a través da súa propia experiencia e coñecemento. Así, compartiranse coñecementos, dúbidas e preguntas para beneficiar a aprendizaxe dos alumnos e provocar unha maior motivación. Procurarase, esencialmente, garantir o desenvolvemento das habilidades para "aplicar en diferentes contextos" os coñecementos adquiridos, baixo a influencia de diferentes factores e variables.

O traballo práctico en grupo requirido polos estudantes contribuirá de xeito importante á consecución dos obxectivos definidos para a materia, proporcionando a comprensión e aplicación dos temas obxecto de estudo, así como amosar os beneficios dos proxectos de visión informática sobre a eficiencia das empresas. Isto permitirá identificar os diferentes recursos e compoñentes dun proxecto, as súas relacións internas e externas, así como usar de forma xeral e integrada os conceptos e metodoloxías abranguidos ao longo deste e doutras unidades curriculares.

A realización de traballos prácticos tamén terá as vantaxes de compartir coñecemento entre os membros do grupo, buscando información externa e, polo tanto, o contacto coa realidade. A súa posterior presentación e defensa, así como a análise dun proxecto levado a cabo por outro grupo da clase, contribuirán decisivamente ao reforzo da capacidade de análise que se considere esencial para o logro dos obxectivos desta materia.

As competencias CE1, CE2, CE3 e CE5 teñen contidos teóricos e prácticos específicos asociados, que serán avaliados de forma explícita ao longo do curso.
O traballo das competencias CG1, CG7, CB8 e CB10 realízase principalmente a través da análise e a discusión en grupo dos traballos do estado da técnica.
As competencias CT3 traballanse especialmente en proxectos de grupo.

A avaliación dos estudantes servirá para avaliar a eficacia das metodoloxías de ensino desenvolvidas en cumprimento dos obxectivos da materia.

A avaliación da materia consta de tres partes:

60%: A parte relacionada coa presentación das sesións maxistrais avaliarase mediante probas escritas escritas ce/ou mediante a avaliación continua das prácticas de laboratorio, que avaliarán a adecuación das solucións propostas aos problemas, a calidade dos resultados obtidos e a comprensión das técnicas empregadas.
Úsase para avaliar competencias CE1, CE2, CE3 e CE3 principalmente.

30%: Resolución de casos prácticos (proxecto de investigación). Valorarase a adecuación das solucións propostas aos problemas, a calidade dos resultados obtidos e a comprensión das técnicas empregadas.
Utilízase para avaliar o CT3, ademais das competencias específicas.

10%: artigo de análise e estado da arte en recoñecemento visual.
Úsase para avaliar as competencias CG1, CG7, CB8 e CB10 principalmente.

O resultado final (RF) obterase coa fórmula: RF = 0,6 A + 0,3 B + 0,1 C

Todas as notas de tarefas e probas conservaranse ata a segunda oportunidade. Alí o/as estudantes poderán repetir algunhas das actividades de avaliación. A cualificación final será a computada tendo en conta as máximas notas entre as actividades correspondentes en ambas as oportunidades.

Un/ha estudante será caulificado/a como Non Presentado/a se non presenta ningún exercicio de avaliación nin realiza ningunha proba en ningunha das oportunidades.

Para os casos de realización fraudulenta de exercicios ou probas será de aplicación o recollido na Normativa de avaliación do rendemento académico do/as estudantes e de revisión de cualificacións.
En aplicación do Regulamento ETSE sobre plaxio (aprobado pola Xunta ETSE o 19/12/2019) a copia total ou parcial de calquera exercicio de práctica ou teoría suporá un suspenso en ambas as ocasións do curso, cunha cualificación de 0,0 en ambos os casos.

O tempo de estudo medio recomendable é de 2 horas semanais. Adicionalmente, deberá contarse o tempo dedicado á realización de traballos de prácticas que estimamos en 6.5 h./semana máis. En total suman arredor de 120h/semestre.

Recoméndase levar o estudo da materia ao día e o uso das titorías para aclarar dúbidas e recibir asesoramento no desenvolvemento das actividades.

O campus virtual da UPorto e da USC utilizarase para cada unha das partes.
A materia impartirase en inglés.