Tras la puesta en marcha del proyecto «Cognitive Agent», el equipo de desarrollo se encuentra actualmente centrado en la implementación de un agente inteligente multimodal diseñado para el procesamiento y soporte de sesiones académicas en tiempo real.
El objetivo principal del módulo actual es dar solución técnica a las expresiones deícticas en el entorno docente. Estas referencias espaciales o visuales (como «este gráfico» o «aquí»), habituales en el discurso del profesorado, suelen crear una barrera crítica de información para los estudiantes con discapacidad visual.
Para solventar este reto, el sistema integra un agente con una arquitectura capaz de monitorizar el audio de la clase para detectar referencias visuales, resolverlas de forma sincronizada mediante enrutado semántico y descripciones visuales precomputadas por diapositiva mediante modelos de visión artificial, y generar descripciones estructuradas de forma automática. Esta información se pone a disposición del estudiante en tiempo real mediante síntesis de voz o formatos adaptados, permitiéndole decidir de forma autónoma cuándo recibir la descripción según sus necesidades específicas en cada momento de la clase.
