Unas herramientas didácticas muy utilizadas por los profesores en el aula son las presentaciones con diapositivas, ya que constituyen un recurso muy útil por su carácter sintético y visual. Sin embargo, son una de las principales barreras de acceso a la comprensión de la clase para los estudiantes ciegos o con baja visión, especialmente debido al uso frecuente de expresiones deícticas por parte del profesor durante la explicación (como “esto”, “aquí” o “en esta parte”), por lo que su adaptación a través de descripciones automáticas y la detección y aclaración de dichas expresiones resultan fundamentales.
Los técnicos del proyecto, en colaboración con el profesor de Estadística y Econometría de la UC3M Andrés M. Alonso Fernández, han realizado una primera evaluación de la calidad de las descripciones automáticas de las diapositivas generadas por el sistema inteligente desarrollado, así como de su utilidad para aclarar posteriormente las expresiones deícticas empleadas por el profesor durante la presentación. La evaluación consistió en valorar la ejecución de las adaptaciones de las diapositivas al indicar esta acción al modelo mediante instrucciones o prompts.
Los desarrolladores observaron que un prompt sencillo y directo en el que el modelo debía describir una diapositiva de Estadística a un alumno ciego como si fuera un profesor de Ingeniería, no resultó tan operativo como se esperaba ya que se centró en indicar cómo debía explicar la diapositiva al alumno y no tanto en la descripción en sí. Por otro lado, prompts más complejos en los que se especificaron objetivos de la descripción, reglas, formatos, información importante a incluir, etc., resultaron mucho más adecuados.
En general, los resultados muestran que el sistema avanza de forma positiva en la descripción de elementos visuales, especialmente en lo que respecta a tablas y gráficos sencillos. Sin embargo, las descripciones generadas todavía muestran algunas limitaciones en cuanto a la fidelidad, la adecuación pedagógica y la coherencia con la secuencia de la explicación. En los próximos meses, los investigadores y técnicos del proyecto seguirán trabajando en este ámbito implementando mejoras como reducir la información poco relevante, incorporar contexto del tema completo, afinar los prompts para no anticipar conceptos, mejorar la descripción de figuras complejas o explorar la verificación cruzada con dos modelos.
Ejemplo de descripción generada por el modelo correspondiente a una diapositiva utilizada por un profesor de Estadística en el aula. En la parte inferior izquierda de la imagen, según el punto de vista del observador, se muestra la diapositiva. A la derecha, se indica la frase que dice el profesor «Aquí se puede ver cuál es el número de cilindros más frecuente», en la que emplea la expresión deíctica «aquí» que es necesario que el modelo identifique en tiempo real en la clase para poder realizar la descripción al alumnado ciego. En la parte superior de la imagen se indica el resultado descriptivo de la diapositiva que genera el modelo al alumno ciego con el prompt utilizado: «El número de cilindros más frecuente es 4, con una frecuencia absoluta de 104 y relativa de 0,6710».
