Research in evaluations of programs and institutions

Esta asignatura que abre el máster se plantea como una revisión del estado de la cuestión en lo que se refiere a la evaluación de programas e instituciones. Somos conscientes de que los estudiantes matriculados en el curso, que provienen de diversas titulaciones, ya poseen conocimientos previos sobre estas temáticas, aunque probablemente no todos, ni todos en el mismo grado de profundidad. Se trata, por tanto, de un curso que debería, simultáneamente, sentar los conceptos básicos de la evaluación de programas e instituciones y profundizar en las condiciones que deben marcar las actuaciones especializadas en dichos ámbitos. Bajo esas premisas, la asignatura se plantea los siguientes objetivos:

1.- Establecer los conceptos básicos que sirven para fundamentar la evaluación de programas e instituciones y revisar los principales enfoques bajo los que se llevan a cabo dichos procesos.
2.- Analizar propuestas e iniciativas de evaluación ya realizadas y deconstruirlas para analizar tanto la racionalidad a la que pertenecen, el enfoque en que se ubican, el diseño del proceso, las evidencias seleccionadas, los instrumentos utilizados y los análisis realizados.
3.- Diseñar una simulación simple de proceso de evaluación de programas o instituciones que tome en consideración los aspectos mencionados.
4.- Explicitar y reflexionar sobre los dilemas metodológicos y conflictos prácticos implícitos en todo proceso de evaluación.

1.- La evaluación de programas e instituciones: qué es y qué sentido tiene
2.- Principales enfoques en la concepción y diseño de procesos de evaluación de programas e instituciones.
3.- La evaluación de programas e instituciones como proceso: contextualización, finalidad, dimensiones a evaluar, muestreo, instrumentos, sistemas de análisis, informes.
4.- La pragmática de las evaluaciones: negociación, recogida de información, triangulación, presentación de resultados.
5.- Las condiciones técnicas y políticas de las evaluaciones: legitimidad, validez, fiabilidad, utilidad, impacto.
6.- Los agentes y audiencias de la evaluación: agencias, evaluadores, clientes, beneficiarios, afectados. La evaluación de los evaluadores.
7.- La Metaevaluación y los sistemas de garantías de calidad. Dilemas y conflictos.

BÁSICA

De Miguel, M. y Apodaca, P. (2009). Aseguramiento versus garantía de calidad en el sistema universitario español. Boletín de Psicología, 97, 35-54.
Escudero, T. (2003). Desde los tests hasta la investigación evaluativa actual. Un siglo, el XX, de intenso desarrollo de la evaluación en educación. RELIEVE, 9(1), 11-43.
Escudero Muñoz, J.M. y Trillo Alonso, F. (2015). Un análisis crítico del Espacio Europeo de Educación Superior como reforma de la enseñanza universitaria: los programas Verifica y Docentia en el contexto español. Educar em Revista, 57, 81-97.
Pérez Juste, R. (2006). Evaluación de programas educativos. La Muralla.


COMPLEMENTARIA

Álvarez-López, G. y Matarranz, M. (2020). Calidad y evaluación como tendencias globales en política educativa: estudio comparado de agencias nacionales de evaluación en educación obligatoria en Europa. Revista Complutense de Educación, 31(1), 83-93. http://dx.doi.org/10.5209/rced.61865
Ball, S. (2010). Performatividad y fabricaciones en la economía educacional: en pos de la sociedad performativa. Educaçao & Realidade, 35(2), 37-55.
Casanova. M. (2007). Hacia la selección de indicadores críticos en los centros docentes. Avances en Supervisión Educativa, 7
Casanova Rodríguez, M. A. (2004). Evaluación y calidad de centros educativos. La Muralla.
Castillo, S. y Cabrerizo, J. (2003). Evaluación de programas de intervención socioeducativa. Prentice-Hall.
De Grauwe, A. y Naidoo, J.P. (Eds.) (2004). School evaluation for quality improvement. UNESCO.
De Miguel Díaz, M. (2015). Ideología y pedagogía empírica: cuestiones para un debate. Revista de Investigacion Educativa, 33(2), 269-287. DOI: http://dx.doi.org/10.6018/rie.33.2. 226611
Durán, D. (2004). La Reacción de los Profesores a las Evaluaciones Externas de los Establecimientos Escolares: La Proposición de un Modelo. Education Policy Analysis Archives, 12(9).
Eurydice (2004). Evaluación de los centros de enseñanza obligatoria en Europa. Eurydice.
Giancola, S. P. (2020). Program Evaluation: Embedding Evaluation into Program Design and Development (1st edition). SAGE Publications, Inc.
Gómez, L. F. y Valdés, M. G. (2019). La evaluación del desempeño docente en la educación superior. Propósitos y Representaciones, 7(2), 479-515. https://doi.org/10.20511/pyr2019.v7n2.255
Gutiérrez Pérez, J. (2012). Evaluación de la calidad de programas, centros y recursos de educación ambiental. Universidad de Granada.
Marcelo, C. (2011). Evaluación del desarrollo profesional docente. Davinci.
Martínez Madiano, C. (2013). Evaluación de programas. Modelos y procedimientos. UNED.
Mertens, D. M. y Wilson, A. T. (2018). Program Evaluation Theory and Practice, Second Edition. Guilford Publications.
Niremberg, O., Brawerman, J. y Ruíz, V. (2000). Evaluar para la transformación. Innovaciones en la evaluación de programas y proyectos sociales. Paidós
Nóvoa, A. (2010). La construcción de un Espacio Europeo de Educación: gobernando a través de los datos y la comparación. Revista Española de Educación Comparada, 16, 23-41.
Padilla, M.T. (2002). Técnicas e instrumentos para el diagnóstico y la evaluación educativa. CIS.
Pérez Juste, R. (2016). ¿Quo vadis, evaluación? Reflexiones pedagógicas en torno a un tema tan manido como relevante. Revista de Investigación Educativa, 34(1), 13-30. DOI: http://dx.doi.org/10.6018/rie.34.1.239381
Santos Guerra, M. Á. (2024). ¿Qué Hacemos con el Cuchillo? Las Finalidades de la Evaluación. Revista Iberoamericana de Evaluación Educativa, 17(1), 11-24
Stake, R.E. (2006). Evaluación comprensiva y evaluación basada en estándares. Ed. Graó.
Stufflebeam, D. y Shinkfield (1987). Evaluación sistemática. Guía teórica y práctica. Paidós/MEC.
Tiana, A. (2006). La evaluación de la calidad de la educación: conceptos, modelos e instrumentos. Transatlántica de Educación, 1, pp. 19-30.
Tiana, A. (2013). Los sistemas de indicadores: una radiografía de la educación. En M. Kisilevsky e E. Roca (Eds.), Indicadores, metas y políticas educativas. (pp. 17-30). Organización de los Estados Iberoamericanos para la Educación, la Ciencia y la Cultura.
Tomé M.ª (coord.) (2019). Observación sistemática y análisis de contexto para la innovación y la mejora en Educación. Paraninfo.

La materia forma parte junto con las de Investigación en E-learning e Investigación en Formación y Recursos Humanos del Módulo de Investigación. Comparte con estas materias una serie de Competencias Generales y Competencias Específicas que han de tenerse presente para poder comprender la interdisciplinariedad del Módulo:

COMPETENCIAS GENERALES:
1. Conocer y utilizar variedad de recursos y técnicas especializadas para la construcción de conocimientos científicos sobre la Formación.
2. Plantear y resolver problemas extraídos de la práctica, llegando a usar esquemas de resolución no conocidos (ser creativo).
4. Organizar y gestionar la utilización y el funcionamiento de recursos humanos, materiales y tecnológicos en entornos formativos.
6. Asumir un compromiso ético y metodológico con la práctica científica y profesional.
7. Tener iniciativa en la intervención en contextos complejos resolver situaciones educativas que afectan a estudiantes con diferentes capacidades y distintos ritmos de aprendizaje.
10. Saber situarse asimilando rápidamente conceptos, ideas y experiencias dándole un carácter personal a lo aprendido, lo que supone curiosidad por saber sobre temas nuevos y utilizar estrategias para ampliar el conocimiento.
11. Actuar con rigor y objetividad y cautela a la hora de emitir juicios atendiendo a los valores democráticos.

COMPETENCIAS ESPECÍFICAS
1. Desarrollar una actitud positiva, crítica y plural de la investigación como herramienta de comprensión y mejora de la realidad educativa.
2. Tomar conciencia del valor social del conocimiento científico.
3. Comprender y aplicar técnicas y estrategias metodológicas adecuadas para la resolución de casos.
4. Identificar aspectos específicos de las problemáticas y tendencias educativas actuales.
5. Desarrollar una actitud positiva hacia la incorporación de las técnicas y/o procedimientos de recogida de información en el trabajo profesional.
7. Participar de forma colaborativa en el desarrollo del conocimiento científico, empleando un lenguaje formal científico y promoviendo la transferencia de los hallazgos de la investigación educativa a la práctica profesional.
8. Diseñar y poner en marcha procesos formativos de calidad que respondan a necesidades de la práctica profesional y nichos formativos emergentes.
9. Implicarse, aconsejar, organizar y dirigir planes de formación, desde el diagnóstico de necesidades hasta la concreción en acciones de formación organizadas por prioridad, así como su evaluación y seguimiento.
10. Conocer los fundamentos y la metodología de evaluación, referida a programas, contextos, procesos, productos, profesionales, instituciones y/o organizaciones y sistemas educativos
11. Promover, planificar y dirigir la implantación de procesos y modelos de gestión de la calidad.
12. Ayudar a otros profesionales en la elaboración de programas de formación tomando como soporte los medios y redes de información y comunicación.
13. Diseñar materiales didácticos y entornos formativos en red ajustados a las características de los sujetos y los contextos en los que van a ser implementados.
14. Elaborar y utilizar dispositivos de evaluación diagnóstica de las características de sujetos y colectivos en relación a sus conocimientos, destrezas, valores, actitudes; así como de sus comportamientos, necesidades, cualidades y otras características que permitan justificar y fundamentar la acción educativa que de dicha detección se derivará.
15. Detectar y evaluar los diferentes factores tanto personales, interpersonales o sociales que inciden en determinadas situaciones y que son generadores o mantienen situaciones de exclusión.

En términos de resultados de aprendizaje, y como Competencias Específicas de la materia, el estudiante deberá de ser capaz de:

1. Identificar, planificar y desarrollar los aspectos claves de cualquier proceso de evaluación referido a programas, centros e instituciones y sistemas educativos.
2. Diseñar y desarrollar estudios evaluativos desde distintos enfoques epistemológicos y metodológicos respetando las normas y estándares propios de la evaluación.
3. Elaborar, adaptar y validar instrumentos de evaluación de programas.
4. Aplicar instrumentos de evaluación de programas y realizar informes de evaluación.
5. Analizar investigaciones sobre evaluación de programas e instituciones y elaborar un informe sobre la investigación.
6. Concebir la arquitectura de un informe evaluativo adecuado a las diferentes audiencias y para valorar la calidad técnica de informes ya publicados y referidos a programas de formación e instituciones educativas.

El desarrollo de esta materia, siguiendo la dinámica general del Máster, está dividida en sesiones expositivas de carácter básicamente teórico y sesiones interactivas en las que se debatirá y trabajará de forma más práctica. Hay que tener en cuenta que parte de estas sesiones, tanto expositivas como interactivas, también se desarrollan online los jueves y viernes. Para que la propuesta formativa tenga viabilidad el estudiante deberá realizar parte de trabajo de forma autónoma en modalidad individual y en otras ocasiones de forma colaborativa a través de grupos de trabajo que se organizarán en la materia. Tanto las sesiones presenciales como las actividades propuestas online cuentan con un apoyo muy alto en el Campus Virtual de la USC, que se complementará con las aplicaciones de trabajo colaborativo disponibles en Microsoft Office365 vinculado a la cuenta Rai. Esto supone que el Campus Virtual funciona como un lugar de apoyo transversal a toda la materia, no sólo para las sesiones online.

Hay que tener presente que toda la bibliografía usada estará a disposición del alumnado en el espacio del Campus Virtual de la materia. Las actividades a desarrollar en las sesiones interactivas supondrán el desarrollo de tareas que se entregarán a través del Campus Virtual de la materia en formato PDF con una estructura de archivo tipo “nombre.primerapellido.pdf”. En algunos casos, estas tareas requerirán un trabajo cooperativo entre grupos de un máximo de 4 personas. Estos grupos de trabajo serán estables a lo largo del cuatrimestre para evitar rotaciones innecesarias.

También hay que tener presente que esta materia comparte un espacio modular con otras dos del máster (Investigación en formación y recursos humanos; Investigación en e-learning). Las asignaturas que comparten módulo realizarán un taller conjunto en tres sesiones entro del horario de las materias para abordar los procesos de formación con las aportaciones de los distintos ámbitos de especialización y favorecer la interdisciplinariedad al afrontar la resolución de casos prácticos. Esta tarea no se requiere para el alumnado de Complementos de Formación. En este contexto se establecen relaciones explícitas en la docencia y en las propuestas de trabajo conjuntas que se proponen.

La distribución de tareas se hace teniendo presente la carga horaria según los 6 créditos ECTS y las Competencias Específicas de la materia cruzadas con los objetivos propuestos. En el desglose de horas de trabajo se puede diferenciar horas presenciales expositivas (12h.) y presenciales interactivas (16h.) junto con sesiones online expositivas (6h.) y sesiones online interactivas (8h.) haciendo un conjunto de 18h. expositivas y 24 h. interactivas. A estas horas hay sumar las horas de tutorización (8h.) y las correspondientes al trabajo autónomo del estudiante (100h.).

Las actividades formativas que se desarrollarán se basarán en los siguientes elementos:
- Exposiciones del profesorado: presentación de investigaciones y estrategias de análisis.
- Lectura y análisis de una documentación seleccionada a partir de la bibliografía básica de la materia: realización y entrega de fichas de análisis.
- Debates sobre el contenido planteado en el aula tomando en consideración las lecturas de la materia.
- Elaboración y entrega de las diferentes actividades e informes propuestas por los profesores encargados de la materia.

Los trabajos propuestos partirán de un contexto real de referencia para favorecer un aprendizaje situado y significativo. Con este objetivo se partirá de las experiencias previas del alumnado frente a las lecturas propuestas, que detallarán en las fichas de análisis propuestas y que acompañarán de un análisis crítico a la luz de los diferentes documentos de lectura propuestos.

El desarrollo de las sesiones con las actividades propuestas de forma más sistemática con explicitación de las cargas que supone de trabajo para el alumnado se detalla a continuación y supone un mayor grado de desarrollo de las actividades eje propuestas en la materia:
1. Revisión/estudio/análisis de la documentación de la materia.
2. Estudio de investigaciones y ejemplos de buenas prácticas.
3. Análisis de casos prácticos de instituciones o programas y debate.
4. Elaboración de informe de evaluación o proyecto.

El trabajo del alumnado se agrupa en dos grandes bloques, diseñados en función de los objetivos de la materia, así como de las actividades eje propuestas:

1º Bloque: se trata de un conjunto de 11 sesiones presenciales y online que dan cuenta de los dos primeros objetivos de la materia: (1) Establecer los conceptos básicos que sirven para fundamentar la evaluación de programas e instituciones y revisar los principales enfoques bajo los que se llevan a cabo dichos procesos y (2) Analizar propuestas e iniciativas de evaluación ya realizadas y deconstruirlas para analizar tanto la racionalidad a la que pertenecen, el enfoque en que se ubican, el diseño del proceso, las evidencias seleccionadas, los instrumentos utilizados y los análisis realizados.

2º Bloque: se trata de un conjunto de 10 sesiones presenciales y online que dan cuenta de los dos últimos objetivos de la materia: (3) Diseñar una simulación simple de proceso de evaluación de programas o instituciones que tome en consideración los aspectos mencionados (4) Explicitar y reflexionar sobre los dilemas metodológicos y conflictos prácticos implícitos en todo proceso de evaluación.


El trabajo interdisciplinar de Módulo se realizará sobre un caso real del mundo profesional que se abordará conjuntamente entre las materias del módulo. El caso estará definido desde el inicio con materiales seleccionados por los docentes. El trabajo interdisciplinar del módulo se elaborará y presentará en equipos de tres alumnas/os. Para la elaboración del trabajo interdisciplinar de módulo cada equipo aplicará los conocimientos específicos trabajados en las tres materias. El taller se realizará en tres sesiones con la participación de todo el profesorado del módulo para orientar y ayudar al alumnado en la realización del trabajo.
Las materias que integran el módulo recogerán en sus evaluaciones el trabajo interdisciplinar de módulo asumiendo la puntuación obtenida en la evaluación por todo el profesorado y con el mismo peso específico en cada materia.

Las sesiones presenciales de distribuirán en clases expositivas-interactivas. En las sesiones online se continuarán las actividades iniciadas en las sesiones presenciales y se dará el apoyo al trabajo individual a través del campus virtual.

La evaluación será continua y se basará en una serie de elementos con diferente carga porcentual, que se distribuye de la siguiente forma:
(1) participación activa del alumnado (10%),
(2) la elaboración de las actividades y los informes propuestos a lo largo del desarrollo de la materia a partir de las lecturas de los documentos que se toman de la bibliografía de la materia (60%) y
(3) Trabajo Tnterdisciplinar de Módulo contribución de la materia en el análisis del caso propuesto en el Módulo de Investigación (30 %). Este último apartado se evaluará tomando como referencia la evaluación conjunta del profesorado de todas las materias del módulo basada en una rúbrica. Este trabajo requerirá una presentación grupal ante el profesorado de las tres materias y se apoyará en un informe escrito.

Para superar la materia es imprescindible haber obtenido un mínimo de un 4 sobre 10 en cada una de las partes que anteriormente se detallan. En la segunda oportunidad se mantienen los mismos criterios y porcentajes que en la primera. También se mantienen para el alumnado repetidor. En el caso de alumnado de complementos de formación, su evaluación prescindirá del trabajo interdisciplinar y la carga porcentual del trabajo conjunto se incorporará al apartado 2 suponiendo éste el 90% e incorporando otras actividades específicas equivalentes a realizar por el alumnado con este perfil.

Dispensa de asistencia a clase

En los casos excepcionales definidos en la normativa se contempla la dispensa de asistencia a clase. La evaluación en estos casos consistirá en:
(1) Realización de las tareas de forma asíncrona con seguimiento en el campus virtual y tutorización por parte del profesorado (70%)
(2) Trabajo interdisciplinar de Módulo realizado individualmente (30 %). Este último apartado se evaluará tomando como referencia la evaluación conjunta del profesorado de todas las materias del módulo basada en una rúbrica.

Indicación referida al plagio y al uso indebido de las tecnologías en la realización de tareas o pruebas: Para los casos de realización fraudulenta de ejercicios o pruebas será de aplicación el recogido en la Normativa de evaluación del rendimiento académico de los estudiantes y de revisión de calificaciones.

El uso de herramientas generativas, de Inteligencia Artificial, para la elaboración de los trabajos de la asignatura, deberá ser referido, identificando las herramientas y la finalidad de uso. En ningún caso, el uso de estas herramientas podrá sustituir o suplantar las habilidades y conocimientos requeridos. Lo cual supondrá suspender la asignatura.

En la realización de las prácticas y trabajos se seguirán las normas APA -Publication Manual of the American Psychological Association (APA). 7ª ed., que se pueden consultar en el siguiente enlace:
http://www.apastyle.org
Ver guía resumida en castellano en las siguientes direcciones:
https://www.javerianacali.edu.co/centro-escritura/recursos/manual-apa-7…

La distribución oficial de tiempos establecida para esta materia es la siguiente:

Número de créditos ECTS: 6
Horas totales de trabajo en la materia: 150
Horas expositivas: 18
Horas interactivas: 24
Horas de tutoría: 8
Tiempo de trabajo autónomo del estudiante: 100

Para poder desarrollar de forma correcta el trabajo propuesto, es fundamental por parte del alumnado evitar la acumulación de trabajos hacia el final de la docencia. Para facilitar esta carga de trabajo y que sea proporcional, se establecerán una serie de fechas máximas para la entrega de las diferentes tareas en el propio Campus Virtual. Cada uno de los profesores que forman parte del equipo docente dará las orientaciones que considere pertinentes para obtener el máximo provecho del trabajo realizado.

La USC es una universidad presencial, por lo que la asistencia a un mínimo del 80% de las sesiones de clase es la convocatoria.

Perspectiva de género: en atención a los criterios de igualdad de género en el ámbito universitario, se recomienda hacer uso de lenguaje no sexista tanto en el trabajo cotidiano de aula como en los trabajos académicos encomendados.

Utilización del móvil en el aula: queda restringido el uso del teléfono móvil en el aula a su uso como instrumento de trabajo siguiendo las indicaciones dadas por el docente, responsabilizándose al alumnado de las consecuencias legales y académicas que puedan derivarse de un uso no adecuado del mismo.

Los trabajos realizados por el alumnado deben entregarse, preferentemente, a través del aula virtual.
Responsabilidad medioambiental. Si el docente de la materia solicita la entrega en papel, debe cumplir los siguientes requisitos:
- Evite las portadas de plástico u otras externas innecesarias.
- Siempre que sea posible, emplear grapas en lugar de encuadernación.
- Imprimir a dos caras en calidad "ahorro de tinta".
- No emplear folios en blanco como separadores de capítulos o partes.
- Evitar anexos que no tengan referencia directa con los temas se desarrollan.

Uso obligatorio de la cuenta de la USC rai.

Tener en cuenta que la enseñanza-aprendizaje (clases / tutorías) es un proceso privado, se entienda privado como proceso de comunicación e intercambio entre el/la docente y el estudiantado matriculado en la materia.

Obligatoriedad del cumplimiento de la normativa de protección de datos https://www.usc.gal/gl/institucional/goberno/area/normativa/proteccion-…