Creacin de cuestionarios de evaluacin en cdigo abierto y su integracin en una plataforma de gestin del aprendizaje.

Experiencia en la Universitat de Valncia

Autores: Jose Ramn Carrillo, Paloma Moreno, Daro Roig Universitat de Valncia, Spain

Punto de Partida

Se parte de la idea de conseguir una mejora en el uso de la herramienta web de la Universidad de Valencia en el mbito del eLearning. La herramienta esta construida usando dotLRN, un LMS completo de cdigo libre que implementa los mdulos necesarios para la creacin de una plataforma de eLearning en la Universidad de Valencia que adems cumple los requisitos necesarios (fiabilidad, escalabilidad, adopcin de estndares de eLearning, cdigo abierto y experiencias anteriores). Un mdulo interesante es el de evaluacin (Assesment) que permite la creacin de cuestionarios por parte de los profesores.

Problemtica

La mayor ventaja de Assesment es que permite una evaluacin continua del alumno (tanto por parte del profesor como del propio alumno), facilitando en gran medida este trabajo ya que tanto uno como el otro pueden trabajar desde sus propias casas en el momento que mejor les convenga. Nuestro anlisis demuestra que su uso es prcticamente nulo.

Que podemos hacer para incrementar el uso de Assesment ?

Solucin Adoptada

Se ha pensado en facilitar la tarea de creacin de exmenes por parte del profesorado y as estimular el uso de la herramienta. Se consider que la parte que necesita mayor atencin es la de importacin y exportacin de cuestionarios ya que en estos momentos su uso es prcticamente nulo. Con este fin, se genera una herramienta externa a la plataforma web que permita la importacin y exportacin de cuestionarios as como la creacin y manipulacin de los mismos.

Requisitos

Herramienta de escritorio independiente de conectividad web para que se pueda trabajar en cualquier lugar. Dicha independencia adems aporta mayor velocidad ya que no depende de la lnea contratada o de la saturacin del servidor web de la Universidad de Valencia. La herramienta debe adaptarse tambin, en la medida de lo posible, a las necesidades que plantea la herramienta web de la Universidad de Valencia. Debe ser de cdigo libre con el fin de ahorrar gastos en licencias.

QAED

La Universidad Pompeu Fabra ya haba creado una herramienta de Cdigo Libre para la creacin, manipulacin, exportacin e importacin de cuestionarios. Las preguntas generados son simples preguntas de tipo test. La exportacin e importacin de cuestionarios sigue las doctrinas marcadas por la especificacin IMS-QTI en su versin 2. 2 Unidades principales : Los cuestionarios y sus preguntas. Los cuestionarios y preguntas se guardan dentro de un repositorio que a su vez puede tener carpetas.

Requisitos Marcados Por Assesment

Mltiples tipos de pregunta en funcin de sus respuestas : Test, Respuesta Corta, Respuesta Larga y Respuesta mediante un fichero subido. En la Exportacin se crea un fichero XML que sigue la especificacin IMS-QTI en su Versin 1. ste se encuentra dentro de un fichero ZIP. Tres unidades principales: Cuestionario, Seccin y Pregunta. Las preguntas slo se pueden encontrar dentro de secciones y stas a su vez dentro de cuestionarios. Se configura la presentacin de una seccin a travs de los Modos de Visualizacin.

Caractersticas iniciales de QAED

Aplicacin creada utilizando JAVA. En concreto, se ha utilizado javax.swing para la interfaz grfica al ser una herramienta de escritorio. Interfaz de 3 partes:
Barra de mens: En la parte superior, sirve para elegir las operaciones a realizar sobre los cuestionarios y sus componentes. rbol: En el panel de la izquierda, muestra la estructura de los exmenes creados. Panel de Edicin: En el panel de la derecha, muestra las opciones y los contenidos de los componentes seleccionados en el rbol.

Uso de librerias JAVA para el manejo de XML en la importacin y exportacin (JDOM, Xerces, Xalan y JQTILite).

Interfaz Grfica

Estructura de los datos

Se necesita una estructura de datos para soportar todos los componentes que nos ofrece DotLRN y sus atributos. Tenemos una clase para cada componente que creamos:
AssesmentUVCompleto para los cuestionarios. SeccionUVCompleta para las secciones. QuestionUVCompleta para las preguntas.

Tenemos 4 tipos de preguntas y por tanto crearemos 4 subclases de QuestionUVCompleta que contendran los atributos especficas de stas:
QuestionUVCompletaTest para preguntas de tipo test. QuestionUVCompletaCorta para preguntas de respuesta corta. QuestionUVCompletaLarga para preguntas de respuesta larga. QuestionUVCompletaSubir para preguntas que usan un fichero independiente como respuesta.

Estructura de los datos

Las clases creadas sirven para almacenar la informacin referente al componente en si. Estan compuestas principalmente por getters y setters:
Getters: Mtodos que sirven para recuperar informacin de la clase. Setters: Mtodos que sirven para introducir informacin en la clase (rellenan los valores de los atributos).

En el caso de AssesmentUVCompleto y SeccionUVCompleta adems de los atributos propios del componente tendrn un atributo adicional de tipo lista que contiene la lista de componentes que cuelgan de l. De esta forma enlazamos los componentes entre s. Adems, estas clases tendrn tambin mtodos propios que se utilizaran cuando se realizan operaciones sobre los elementos.

Estructura de los datos

La raz de toda esta estructura es el repositorio. Existe una clase propia de QAED que lo implementa y que hemos ampliado de tal forma que acepte los nuevos componentes de la Universidad de Valencia y que adems crea sus ids. Del repositorio colgaran cuestionarios y secciones adems de carpetas que se pueden incluir en el repositorio para dotarle de una subestructura. Para poder crear cualquier componente en QAED previamente se tiene que haber generado un repositorio donde almacenarlo. Estos repositorios posteriormente se pueden guardar en un fichero.

Barra de Men

Es la zona donde se ubican los botones y mens que permiten realizar acciones sobre los componentes. Tenemos 2 formas de realizar acciones.
Desplegando los mens. Usando los botones.

Hemos creado un nuevo men llamado UV donde podemos realizar todas las operaciones sobre los componentes de la Universidad de Valencia. Este men esta subdividido en otros 3 mens correspondiente a las distintos componentes y sus respectivas acciones. Solo estarn habilitadas en el men las acciones que se pueden realizar en cada momento.

Barra de men

Barra de Men

Barra de Men

Barra de Men

Barra de Men

Hemos aadido un conjunto de botones que permiten realizar acciones sobre los componentes de la Universidad de Valencia. Estos botones nos permiten generar componentes, eliminarlos, importar y exportar cuestionarios. Al igual que en los mens, los botones slo estaran habilitados cuando tenga sentido utilizarlos. Tanto en el men como en los botones se llama a mtodos escuchadores de eventos (Listeners) que se encuentran en la clase principal de la interfaz de la aplicacin (QTILiteAppMainFrame).

Barra de Men

Formularios de Creacin

Para los formularios de creacin usamos JDialogs que se irn concatenando hasta poder rellenar toda la informacin necesaria. En todos los casos la primera ventana servir para seleccionar la ubicacin. En este cuadro sale un rbol con la estructura del repositorio creado para que seleccionemos la ubicacin. Dependiendo del componente que se est creando se podr ubicar dentro de solo unos determinados componentes. En el caso de no seleccionar una ubicacin o de seleccionar una ubicacin invlida, al pulsar sobre el botn de aceptar, saltar un cuadro de error.

Formulario de Creacin

Mensaje de Error

Formularios de Creacin de Cuestionarios

Tenemos un conjunto de dilogos que se irn rellenando de forma secuencial segn vamos introduciendo los datos y aceptndolos: Los dilogos son los siguientes con su clase:
Ttulo y Descripcin (NuevoCuestionarioTitDescUVDialog) Instrucciones (NuevoCuestionarioInstUVDialog) Opciones de respuestas (NuevoCuestionarioOpRespUVDialog) Pginas (NuevoCuestionarioPagUVDialog) Opciones de tiempo (NuevoCuestionarioOpTiempoUVDialog) Otros (NuevoCuestionarioOtrosUVDialog)

Titulo y Descripcin

El botn Completo permite crear exmenes de tipo experto. El Titulo es obligatorio.

Instrucciones

Opciones de Respuestas

Contiene 3 campos numricos sobre los que realizamos controles.

Pginas

Este dilogo contiene un conjunto de pestaas (objeto JTabbedPane) a travs de las cuales podemos ir navegando para rellenar las pginas en cuestin. Estas pginas apareceran en determinados momentos de la ejecucin del cuestionario en la aplicacin web. En las pginas de entrada y salida tenemos un editor de texto rico que a la hora de introducir los datos en la clase CuestionarioUVCompleto le introducir el cdigo HTML que genera. Para crear esto utilizamos Ekit, una librera jar externa de cdigo libre que sirve para crear applets con un editor de texto rico y que utilizamos para incrustar el editor dentro de nuestro dilogo de pginas

Pginas: Entrada

Pginas: Salida

Pginas: Consentimiento

Pginas: URL finalizacin

Opciones de Tiempo

Incrusta 2 calendarios utilizando la librera JCalendar. Tiene checkboxes para habilitar el inicio y final. Si los 2 estn habilitados se realiza un control.

Otros

Se realiza un control sobre los campos de la Mascara IP introducidos para comprobar que son valores validos.

Formulario de Creacin de Secciones

Para crear una seccin UV nueva y una vez seleccionada su ubicacin, slo se necesita un cuadro de dilogo. Este cuadro contiene un conjunto de pestaas (JTabbedPane) donde podemos ir seleccionando los valores que nos interesen. Estas pestaas son:
Ttulo y Descripcin Instrucciones y Feedback Otras Opciones Tipos de Visualizacin

En el listener del botn de aceptar tendremos controles para verificar que se introdujo un ttulo (ya que es obligatorio) y que los valores numricos sean vlidos.

Ttulo y Descripcin de Secciones

Instrucciones y Feedback de Secciones

Otras Opciones de Secciones

Tipos de Visualizacin de Secciones

Tipo de dato con la clase TipoVisualizacionUV que crearemos nosotros para decidir el aspecto de la seccin. Dentro del repositorio que estemos usando, se tiene una lista de todos los Modos de Visualizacin creados para ese repositorio, del cual podemos seleccionar uno para nuestra seccin. Dentro del panel de tipos de visualizacin podemos hacer 3 cosas:
Crear un modo Nuevo Editar un Modo Borrar un Modo

Cuando pulsemos Aceptar el modo seleccionado ser el asociado a la seccin.

Tipos de Visualizacin de Secciones

Dilogo para Modos de Visualizacin

Cuando seleccionamos nuevo o editamos un modo de visualizacin nos sale un dilogo (JDialog) de edicin. Esta compuesto de 2 pestaas:
Obligatorio: Contiene campos obligatorios que estaran controlados por el listener del botn de aceptar. Opcionales: Campos que no requieren ser rellenados.

Se controlara que los campos numricos tengan valores vlidos.

Modos de Visualizacin: Obligatorio

Modos de Visualizacin: Opcional

Formulario de Creacin de Preguntas

Para crear una seccin UV nueva y una vez seleccionada su ubicacin, slo se necesita un cuadro de dilogo. Este cuadro contiene un conjunto de pestaas (JTabbedPane) donde podemos ir seleccionando los valores que nos interesen. Estas pestaas son:
Informacin Bsica Feedback Tipo

Tenemos 2 campos obligatorios que son el Ttulo y el Tipo. Al seleccionar el tipo se nos abre una caja en el panel donde podemos introducir los valores del tipo de respuesta que hemos elegido. Al pulsar aceptar se realizaran controles sobre los valores seleccionados.

Informacin Bsica de una Pregunta

Feedback de una Pregunta

Panel Pregunta Tipo Corta

Panel Pregunta Tipo Subir

Panel Pregunta Tipo Largo

Panel Pregunta Tipo Test

Panel Pregunta Tipo Test - Panel de Rellenar Respuestas

Formularios de Edicin

Son prcticamente iguales que los de creacin pero con algunas excepciones. Usan un cuadro de dilogo interno (hereda de JinternalFrame) y se incrusta dentro del panel derecho de la ventana principal. La edicin de un cuestionario, ya no est formada por muchos dilogos sino que stos se sustituyen por pestaas. En el caso de los cuestionarios y secciones hay una pestaa nueva que es secciones y preguntas respectivamente. Esta pestaa est formada por una lista desplegable en la que apareceran un conjunto de preguntas o secciones y por 5 botones: Editar,Eliminar, Aadir, Mover y Nuevo.

Edicin de Cuestionarios

Edicin de Cuestionarios: Pestaa Secciones

Edicin de Cuestionarios: Dilogo de Aadir o Mover Secciones

Edicin de Secciones

Edicin de Secciones: Pestaa Preguntas

Edicin de Secciones: Dilogo de Aadir o Mover Preguntas

Importacin y Exportacin de Cuestionarios

Utilizaremos la librera JDOM que se encuentra en un jar. Contiene clases para manejar documentos XML y pasarlos a objetos java as como el proceso contrario, es decir, en base a un conjunto de objetos java, crear un documento XML vlido. Al intentar exportar un cuestionario UV, se abrir un cuadro de dilogo para seleccionar donde queremos que se guarde el fichero ZIP. Una vez seleccionado generamos el XML ejecutando el metodo doExportAssesmentUV. ste acaba llamando a doZIPExportAction, que dentro de su ejecucin, si es un cuestionario UV llama al mtodo store de la clase AssessmentUVXMLHelper para que genere el XML. Una vez generado continua su ejecucin creando el ZIP.

Importacin y Exportacin de Cuestionarios

Para generar el fichero XML se van creando uno a uno los distintos elementos de JDOM siguiendo la especificacin ims-qti versin 1 e introduciendo los valores obtenidos del cuestionario en el lugar adecuado. El proceso de importacin es el contrario al anterior. En este caso cogemos un fichero ZIP del cual sacaremos el fichero XML comprimido y utilizando la librera JDOM recorreremos la estructura del rbol XML para obtener la informacin necesaria para poder crear el rbol de un cuestionario UV dentro de QAED. Al intentar importar un cuestionario UV, se abrir un cuadro de dilogo para seleccionar el fichero ZIP que queremos importar.

Importacin y Exportacin de Cuestionarios

Una vez seleccionado dicho fichero procederemos a la generacin del cuestionario UV ejecutando el mtodo doImportAssesmentUV. Este mtodo hace varias llamadas consecutivas a distintos mtodos que desembocan en una llamada al mtodo doZIPImportAction que descomprimir el fichero ZIP y llama a la clase AssessmentUVXMLHelper y ms en concreto el mtodo load para que mediante el fichero XML obtenido de la importacin recorrer el rbol XML generado para obtener los valores de los atributos del cuestionario y crear el rbol dentro de la aplicacin. Lo situara en la raz del repositorio.

Exportacin de Cuestionarios

Cuestionario Exportado

Conclusin

Ofrecemos una herramienta de escritorio, sencilla de utilizar y de cdigo libre que cumple el objetivo de crear, exportar e importar exmenes propios del mdulo de cuestionarios de dotLRN. Presenta varias ventajas tales como no necesitar una conexin a internet y trabajar simplemente teniendo la herramienta instalada en el ordenador, aumentando as la libertad y portabilidad del trabajo. Tambin como ventaja hay que tener en cuenta que la herramienta es de un acceso ms sencillo y que funciona a mayor velocidad. No hay necesidad de pagar licencias, con el ahorro de dinero que eso supone. Mejora en gran medida las probabilidades de uso de la herramienta de cuestionarios de la Universidad de Valencia.

GRACIAS