Desarrollo de una herramienta de profiling y análisis de aplicaciones Big Data en tiempo real
Autoría
A.B.P.
Grao en Ingeniería Informática (2ªed)
A.B.P.
Grao en Ingeniería Informática (2ªed)
Fecha de la defensa
20.02.2025 11:45
20.02.2025 11:45
Resumen
Con el avance exponencial de la tecnología en la actualidad, cada vez se producen y manejan cantidades cada vez más grandes de datos. Para poder lidiar con esta enorme cantidad de datos, se desarrollaron con los años diversas herramientas en el ámbito Big Data. Una de las técnicas de mayor interés es la Computación de Altas Prestaciones, ya que esta permite un uso eficiente de los recursos disponibles en los clústeres de computación con el objetivo de acelerar el proceso y análisis de grandes cantidades de datos. El framework IgnisHPC, combina tareas HPC y Big Data, permitiendo el desarrollo de aplicaciones multilenguaje en las cuales se paraleliza el procesamiento. Otros frameworks Big Data como Spark y Hadoop poseen interfaces web, las cuales facilitan de gran manera la visualización del estado de los clústeres. Por lo tanto, con este trabajo de fin de grado, se creará una herramienta de profiling que extraiga los datos que hay en cada uno de los trabajos que un usuario tenga lanzados, y exponerlos en una interfaz web, lo que facilitará de gran manera el análisis del estado de ejecución de las tareas. Así pues, lo primero será escoger una base de datos para el almacenaje de los datos de la interfaz, después se desarrollará el frontend, la interfaz de la aplicación, lo que ve el usuario, discutiendo brevemente primero que tecnología web sería la más adecuada. Después se creará el backend, encargado de recibir las solicitudes de IgnisHPC que garantizarán que actualizarán la base de datos y que se vea reflejado en la interfaz. Finalmente se implementarán las funciones en IgnisHPC que enviarán las solicitudes http al backend de la interfaz.
Con el avance exponencial de la tecnología en la actualidad, cada vez se producen y manejan cantidades cada vez más grandes de datos. Para poder lidiar con esta enorme cantidad de datos, se desarrollaron con los años diversas herramientas en el ámbito Big Data. Una de las técnicas de mayor interés es la Computación de Altas Prestaciones, ya que esta permite un uso eficiente de los recursos disponibles en los clústeres de computación con el objetivo de acelerar el proceso y análisis de grandes cantidades de datos. El framework IgnisHPC, combina tareas HPC y Big Data, permitiendo el desarrollo de aplicaciones multilenguaje en las cuales se paraleliza el procesamiento. Otros frameworks Big Data como Spark y Hadoop poseen interfaces web, las cuales facilitan de gran manera la visualización del estado de los clústeres. Por lo tanto, con este trabajo de fin de grado, se creará una herramienta de profiling que extraiga los datos que hay en cada uno de los trabajos que un usuario tenga lanzados, y exponerlos en una interfaz web, lo que facilitará de gran manera el análisis del estado de ejecución de las tareas. Así pues, lo primero será escoger una base de datos para el almacenaje de los datos de la interfaz, después se desarrollará el frontend, la interfaz de la aplicación, lo que ve el usuario, discutiendo brevemente primero que tecnología web sería la más adecuada. Después se creará el backend, encargado de recibir las solicitudes de IgnisHPC que garantizarán que actualizarán la base de datos y que se vea reflejado en la interfaz. Finalmente se implementarán las funciones en IgnisHPC que enviarán las solicitudes http al backend de la interfaz.
Dirección
PICHEL CAMPOS, JUAN CARLOS (Tutoría)
PIÑEIRO POMAR, CESAR ALFREDO Cotutoría
PICHEL CAMPOS, JUAN CARLOS (Tutoría)
PIÑEIRO POMAR, CESAR ALFREDO Cotutoría
Tribunal
VAZQUEZ CENDON, MARIA ELENA (Presidente/a)
VARELA HERNANDEZ, ANXO (Secretario/a)
CONDORI FERNANDEZ, OLINDA NELLY (Vocal)
VAZQUEZ CENDON, MARIA ELENA (Presidente/a)
VARELA HERNANDEZ, ANXO (Secretario/a)
CONDORI FERNANDEZ, OLINDA NELLY (Vocal)