You are on page 1of 7

Uso de aplicaciones móviles y servicios en línea para la recopilación automatizada y obtención de estadísticas de coevaluaciones Using mobile applications and

online services to collect and compute statistics of peer assessments
Adelaida Delgado Domínguez
Departament de C. Matemàtiques i Informàtica Universitat de les Illes Balears Palma de Mallorca, España adelaida.delgado@uib.es
Abstract— We present an experience on the automated collection of peer assessments of collaborative tasks of students using online applications or services that allow you to configure forms and receive data electronically. For students to peer assess in real time we selected the Socrative tool that lets you use smartphones, tablets, or laptops in a conventional classroom, or desktop computers in a computer lab. For students to assess the teamwork made by each of the team members we used the Wufoo tool, which replicates several times the same form in the same document. The experience is very transferable to any subject in the curricula adapted to the EAHE in which you want to collect data provided by the students in an automated manner, especially evaluation surveys (about the teacher or other students or groups of students) and to get statistical information. Keywords— assessment Online Forms, Mobile Applications, Peer

I.

INTRODUCCION

La coevaluación, o evaluación por parte de compañeros, es una técnica muy útil para integrar al alumno en el proceso de evaluación del aprendizaje. Dos virtudes a destacar de las coevaluaciones son [1], por un lado, la motivación que implica a los alumnos a esforzarse más por quedar bien delante de sus compañeros (lo cual a veces les importa incluso más que quedar bien ante el profesor), y por otro, el hábito de criticar constructivamente el trabajo de sus colegas con los que va a tener que seguir colaborando. En esta experiencia se ha utilizado la coevaluación para evaluar las competencias transversales de comunicación oral y trabajo en equipo. Nadie mejor que los alumnos asistentes a una exposición oral de sus compañeros pueden juzgar si ésta les ha satisfecho (coevaluación externa). Y nadie mejor que los propios miembros de un grupo pueden juzgar la participación e implicación de sus compañeros en el trabajo colaborativo (coevaluación interna). En un contexto tradicional, llevar a cabo este tipo de evaluación implica, además de diseñar las preguntas con los indicadores para orientar la valoración del alumno y crear tantos cuestionarios distintos como grupos de trabajo existan en el curso, imprimirlos, repartirlos, dedicar tiempo del horario lectivo para que los alumnos respondan al cuestionario, recogerlos, extraer las valoraciones de cada uno de ellos, agruparlas por alumno, calcular las notas medias y comunicar los resultados. En cursos anteriores al 2012-13 se intentó semiautomatizar este proceso [2], proporcionando a los alumnos los cuestionarios en formato digital (los cuales eran descargados desde Moodle), y recogiéndolos, después de haber sido rellenados, a través de la herramienta Tareas de Moodle. Sin embargo, el procesamiento posterior de los documentos recopilados seguía siendo laborioso, pues incluso habiéndose preparado una hoja de cálculo con las fórmulas necesarias para

Resumen— Se presenta una experiencia sobre la recogida automatizada de las coevaluaciones de los trabajos colaborativos de los alumnos utilizando aplicaciones o servicios en línea que permiten configurar formularios y recibir los datos telemáticamente. Para que los alumnos coevaluasen las exposiciones de los trabajos en tiempo real se seleccionó la herramienta Socrative que permite usar smartphones, tablets, o portátiles en un aula convencional, u ordenadores de sobremesa en un aula informática. Para que los alumnos coevaluasen el trabajo en grupo de cada uno de los miembros de su equipo se utilizó la herramienta Wufoo, que permite duplicar un mismo formulario repetidas veces en un mismo documento. La experiencia es muy extrapolable a cualquier asignatura de los planes de estudios adaptados al EEES en los que se desee recopilar de manera automatizada datos proporcionados por los alumnos, especialmente encuestas de evaluación (acerca del profesor o de otros alumnos o grupos de alumnos) y obtener información estadística. Palabras clave— Formularios en línea; Aplicaciones Móviles; Coevaluación

extraer las medias a partir de cada una de las tablas de datos con las valoraciones de los alumnos, éstas tenían que copiarse desde los documentos originales y pegarse una a una en la hoja de cálculo conjunta. Dado que hoy en día existen herramientas que nos permiten automatizar no sólo la recopilación de las respuestas mediante la creación de formularios en línea sino que además nos agrupan los resultados en un solo documento (generalmente una hoja de cálculo) de tal manera que después podemos aplicarles las funciones estadísticas que deseemos de manera rápida y sencilla, durante el curso 2012-13 se ha decidido utilizarlas. En la Sección II de este artículo se describe el contexto en el que se ha llevado a cabo la experiencia de utilizar este tipo de herramientas. En la Sección III se indican los requisitos establecidos para la selección de los gestores de formularios en línea utilizados. La Sección IV se centra en el uso de la herramienta Socrative, seleccionada para llevar a cabo la coevaluación de las exposiciones orales, y la Sección V muestra el uso de la herramienta Wufoo, seleccionada para coevaluar el trabajo en grupo. Finalmente, la Sección VI presenta las conclusiones de la experiencia. II.
CONTEXTO

llevar a cabo telemáticamente en cualquier momento dentro de las 24h antes y después de la exposición.  Una evaluación efectuada por el profesor, acerca de la amplitud y profundidad de los contenidos desarrollados, la adecuación y fiabilidad de las fuentes documentales consultadas, la colaboración en la wiki y los medios expositivos utilizados.

El peso de cada una de esas evaluaciones lo deciden los alumnos a través de Moodle mediante la actividad Consulta, entre un conjunto de distribuciones de porcentajes determinado2. En este artículo se muestra cómo se ha llevado a cabo la recogida automatizada de los formularios de la coevaluación externa y los de la coevaluación interna, y su posterior procesamiento. III.
SELECCIÓN DE GESTORES DE FORMULARIOS EN LINEA

Los requisitos generales que se establecieron para seleccionar las herramientas, tanto para la coevaluación interna como para la externa, fueron: 1. 2. Que existiera una versión gratuita. Que los formularios fueran sencillos de editar y fácilmente reutilizables/adaptables para cada uno de los grupos. Que se pudieran activar los formularios en un momento determinado (en tiempo real para la coevaluación externa y durante un período determinado para la coevaluación interna).

En esta experiencia se parte de la situación en que los estudiantes de una asignatura 1 tienen que llevar a cabo un trabajo en grupo (de hasta 8 personas) que luego será expuesto al resto de alumnos durante una o dos sesiones de clase. El trabajo en cuestión consiste en desarrollar un taller para los compañeros, basado en uno de los temas propuestos (en esta experiencia concreta se trata de tecnologías web) y crear colaborativamente las páginas correspondientes en el wiki de la asignatura (para esta experiencia se ha utilizado Google Sites). El taller ha de incluir una presentación de los conceptos teóricos del tema (utilizando una herramienta como Powerpoint o Prezi), un conjunto de ejemplos y ejercicios para realizar en el aula, otros ejercicios para realizar de manera virtual y autónoma, y un conjunto de enlaces almacenados y compartido mediante un gestor de marcadores sociales (como por ejemplo Mister Wong o Diigo). Este taller desarrollado por los alumnos tiene un peso del 30% de la asignatura y pasa por varios procesos de evaluación:  Una coevaluación externa acerca de la exposición del trabajo, que llevan a cabo los alumnos asistentes a la presentación (cuestionario del Anexo 1). Esta evaluación se lleva a cabo telemáticamente durante los 10 minutos posteriores a la exposición y los alumnos evaluados obtienen el resultado antes de abandonar el aula. Una coevaluación interna acerca del trabajo en grupo, efectuada por los miembros que componen el equipo, incluida la autoevaluación de cada miembro (cuestionario del Anexo 2). Esta evaluación se puede

3.

Se desestimó utilizar el módulo Cuestionarios de Moodle porque no se adecuaba al requisito 2 por ser excesivamente complejo y engorroso para crear formularios sencillos. También se descartó el uso de los formularios de Google Drive porque no cumplían el requisito 3, ya que si bien permiten definir reglas de notificación para saber en qué momento contesta un alumno, y cada respuesta lleva una marca de tiempo, no permiten activar automáticamente el formulario durante un intervalo de tiempo. Además se establecieron unos requisitos específicos: A. Para la coevaluación externa 4. Que se pudieran rellenar los formularios tanto en un aula convencional, desde cualquier dispositivo móvil (smartphone, tablet, portátil…), como en un aula informática a través de los ordenadores de sobremesa. La mayoría de gestores de formularios en línea gratuitos no disponen de aplicaciones para móviles. La herramienta seleccionada, que sí cumplía todos los requisitos deseables, fue Socrative 3.

2 1

La asignatura en concreto en la que se ha aplicado la experiencia es “Tecnologías de la Información” del plan antiguo de la Ingeniería Informática de la Universidad de las Islas Baleares.

En el curso 2012-13 los alumnos decidieron la siguiente ponderación para cada una de las evaluaciones: valoración interna 30%; valoración externa 30%; profesor 40%. 3 <http://www.socrative.com/>

B. Para la evaluación interna 4. Que en un mismo documento se pudiera replicar el formulario tantas veces como miembros hay en el grupo, para que los alumnos no tuvieran que descargar cada uno de ellos por separado y, además, el profesor pudiera obtener todos los resultados de manera integrada. La mayoría de gestores de formularios en línea del mercado no satisfacen este requisito y para evaluar a cada miembro del grupo hay que crear un formulario por miembro o bien en un mismo documento hay que volver a crear de cero cada una de las preguntas para cada miembro, lo cual es bastante tedioso. La herramienta seleccionada que sí cumplía todos los requisitos deseables fue Wufoo4. IV.
UTILIZACIÓN DE SOCRATIVE PARA LA COEVALUACION EXTERNA DE LAS EXPOSICIONES ORALES Figura 1. Versión de Socrative para el profesor con su número de aula virtual asignado, la cantidad de alumnos conectados en tiempo real y la posibilidad de elegir el tipo de respuestas para crear un cuestionario

El uso de Socrative es muy simple. Existe una versión para el profesor (Socrative Teacher) en la que se le facilita un número de aula que será el código que se indicará a los alumnos para acceder en tiempo real a los cuestionarios a través de la versión para estudiantes (Socrative Student). El profesor prepara con antelación la actividad y la pone en marcha en tiempo real, en esta experiencia en concreto, tras la finalización de una exposición oral. Socrative ofrece la posibilidad de crear formularios simples de respuesta múltiple, Verdadero/Falso o de respuesta corta, tal como se puede apreciar en la Figura 1. Para esta experiencia se han utilizado los formularios de respuesta corta. En la Figura 2 se puede ver que en la 1ª pregunta se solicita el nombre del alumno evaluador, ya que la conexión al aula virtual es anónima y el docente deseaba saber qué alumnos habían participado en el proceso de coevaluación de cada taller. Luego se eliminaban tales nombres en la copia del informe que recibían los alumnos evaluados para garantizar el anonimato de los participantes y favorecer así la objetividad. El resto de preguntas, que se han incluido en el Anexo 1, constituyen el cuestionario propiamente dicho. Se indica a los alumnos que la respuesta debe ser un número de 0 a 10, aunque de cara a Socrative es un valor alfanumérico. En la Figura 2 también se puede apreciar que las preguntas se pueden reordenar fácilmente mediante unas flechas. Una vez creado el cuestionario base, se puede reutilizar para cada nueva coevaluación, simplemente duplicándolo y editándolo después para modificar el título con el nombre del grupo, o taller en este caso, que corresponde evaluar en la sesión actual. Además, Socrative, también permite importar actividades que han preparado otros docentes y/o compartir las que hayamos creado.

Figura 2. Creación de un cuestionario de respuesta corta en Socrative y obtención de un código para compartirlo con otros docentes

En el momento deseado, el profesor activa un cuestionario determinado y decide si los alumnos pueden ir contestando las preguntas a su aire (modalidad Student Paced Quiz) o si tienen que haber contestado todos una pregunta para pasar a la siguiente (modalidad Teacher Paced Quiz). Los alumnos se conectan al aula virtual para rellenar el cuestionario utilizando el número facilitado por el profesor. Pueden hacerlo desde un dispositivo móvil o desde un ordenador de sobremesa de un aula informática. En caso de utilizar un smartphone, los alumnos traen ya la aplicación (Socrative Student) instalada, la cual se la pueden haber

4

<http://www.wufoo.com/>

descargado de Apple Store 5 o de Google Play 6 ; en caso de acceder desde un navegador web se les proporciona el enlace directo a través de la página de la asignatura en Moodle. Cuando todos los alumnos han contestado, el profesor cierra la actividad y los resultados son inmediatos. Estos pueden proyectarse inmediatamente en el aula a partir del dispositivo utilizado por el profesor, o se puede generar un informe en una hoja de cálculo, que se envía automáticamente por correo electrónico al profesor7. En esta experiencia se ha optado por la segunda opción ya que los resultados requerían un breve post-procesamiento consistente en convertir a formato número las valoraciones y aplicarles la función promedio, todo ello en la propia hoja de cálculo, antes de ser mostrados a los alumnos (además de eliminar los nombres de los participantes por cuestiones de anonimato, como ya se ha indicado anteriormente). Otros usos que se le pueden dar a Socrative son los propios de los clickers o mandos interactivos [3], [4], [5], como por ejemplo, poder evaluar al instante lo que los alumnos han aprendido sobre un tema que se acaba de explicar [6] (se pueden obtener los resultados globales del aula para cada pregunta y de manera anónima), averiguar lo que los alumnos conocen de un tema antes de empezar a explicarlo, hacer sondeos de opiniones, etc. Socrative dispone de un blog8 para compartir experiencias y cuestionarios. A. Puntos fuertes de Socrative  La posibilidad de ser instalada en dispositivos móviles permite su uso no sólo en aulas informáticas, sino también aulas convencionales.  El cuestionario de evaluación se puede activar nada más acabar la exposición oral, con lo cual los alumnos tienen frescas sus apreciaciones para llevar a cabo la valoración. Además, esa inmediatez en su realización fomenta la participación de los alumnos, que podrían descuidarse en su entrega si se llevara a cabo en diferido. El profesor puede ver en tiempo real cuántos alumnos han contestado el cuestionario y cuántos faltan por finalizar.

evaluación. Para otros tipos de actividades puede resultar interesante el anonimato.  Se podría dar el caso de que algún alumno se conectase a la habitación del profesor para rellenar el cuestionario, desde fuera del aula y sin haber presenciado realmente la exposición. O también, que un mismo alumno contestase varias veces utilizando los nombres de algunos de sus compañeros ausentes. O abriera más de una sesión utilizando al mismo tiempo más de un dispositivo (por ejemplo un móvil y un portátil). Para prevenirlo es conveniente hacer un recuento de los alumnos presentes en el aula y comprobar que coincide con el número de alumnos conectados. Las respuestas son de tipo alfanuméricas, con lo cual, si se esperan valores numéricos para luego aplicarles funciones en una hoja de cálculo (por ejemplo cálculo de promedios), han de ser previamente reconvertidas a números. Cada actividad está limitada a 50 alumnos. En caso de grupos de clase multitudinarios, esto se podría paliar utilizando varios números de aula en Socrative o que en lugar de que los alumnos emitieran sus valoraciones de manera individual, se consensuaran por grupo de trabajo y las emitiera un representante de cada uno de ellos. Se requiere que todos los alumnos dispongan de un dispositivo móvil (tablet, portátil, smartphone) con acceso a Internet, aunque eso hoy en día suele ser habitual entre universitarios, o disponer de un Aula Informática. V.
UTILIZACIÓN DE WUFOO PARA LA COEVALUACION INTERNA DEL TRABAJO EN GRUPO

Wufoo 9 permite la creación de formularios con una gran variedad de campos, tal como se puede apreciar en la Figura 3.

B. Puntos débiles de Socrative  No hay una identificación de usuario, por lo tanto es conveniente que se recoja el nombre o DNI del alumno que contesta el formulario, incluyendo ese dato como una pregunta del mismo, en el caso de que el docente desee saber qué alumnos han participado de la

5

<https://itunes.apple.com/us/app/student-clickersocrative/id477618130?mt=8> 6 <https://play.google.com/store/apps/details?id=com.socrative.student> 7 Se puede ver un vídeo con el funcionamiento simultáneo de la versión del profesor y la de dos alumnos, uno de ellos con un Smartphone, en <http://vimeo.com/27564554> 8 < http://www.socrative.com/garden/>

Figura 3. Tipos de campos de los formularios que ofrece Wufoo

9

< http://www.wufoo.com/>

Uno de esos campos es el denominado “Likert” en el que se puede configurar una tabla definiendo las cabeceras de filas y columnas y cuyas celdas son botones de radio. Una vez creada la tabla, se puede duplicar tantas veces como deseemos pulsando el botón +, como puede observarse en la Figura 4, y le podemos asignar un nuevo titular. De esta manera, los alumnos pueden evaluar a sus compañeros en un solo documento, mediante una tabla para la evaluación de cada miembro. Conviene poner el nombre del miembro del grupo que se evalúa en cada formulario para que no haya confusiones. Los datos recogidos se pueden exportar a formato txt, xls y csv. Al exportarlos a una hoja de cálculo podemos aplicar las fórmulas que nos interesen y darle el formato deseado a los datos. Hay que tener en cuenta que el orden de los alumnos que aparece en la hoja de cálculo, tras la exportación de los datos, es el orden de entrega, que no tiene porqué coincidir con el orden de los miembros evaluados.

Figura 5. Limitación de la actividad del formulario a un período de tiempo determinado o a un número concreto de entregas.

También se pueden recibir notificaciones de nuevas entregas por email, por móvil o a través de otra aplicación como Twitter.

B. Puntos débiles de Wufoo  El número máximo de columnas del campo “Likert” es 10, por tanto, las valoraciones no pueden ser de 0 a 10 sino, en todo caso, de 1 a 10 o utilizar una menor granularidad.  La versión gratuita sólo permite un máximo de 3 formularios. Si un mismo formulario se quiere pasar en diferentes sesiones se pueden borrar las entradas (una vez exportados los resultados y almacenados en un fichero externo), reeditar el formulario con los títulos actualizados y volver a programar la fecha de activación. De esta manera, lo podemos reutilizar cuantas veces queramos. En tal caso, se recomendaría crear una plantilla en una hoja de cálculo con las fórmulas y formatos deseados para que sólo con copiar y pegar los datos nuevos, ya tengamos los resultados adaptados a nuestras necesidades. VI.
CONCLUSIONES

Figura 4. Posibilidad de duplicar un formulario en Wufoo para evaluar a otro miembro del grupo en el mismo documento

A. Puntos fuertes de Wufoo  Muy fácil de utilizar y muy versátil.  Proporciona el código para incrustar el formulario con la etiqueta iframe de HTML o mediante Javascript (recomendado), además de código específico para WordPress. Si se desea se puede descargar el archivo HTML completo para cargarlo en un servidor propio y que parezca que la página web está en nuestro dominio (los datos se enviarán al servidor de la aplicación). También se puede enlazar el formulario o enviar por correo electrónico. La opción de duplicar del campo “Likert” permite aglutinar varios formularios en un solo documento. La actividad del formulario se puede limitar automáticamente indicando un intervalo de tiempo o también estableciendo un máximo de formularios recibidos (tantos como alumnos lo han de cumplimentar), como puede observarse en la Figura 5.

Mediante las coevaluaciones se democratiza una parte del proceso de evaluación. En esta experiencia, además, los alumnos han tenido la posibilidad de decidir el peso de sus valoraciones frente a la del profesor, a través de una consulta instantánea realizada en Moodle. El beneficio más notable constatado por parte del docente al utilizar herramientas automatizadas para llevar a cabo tales coevaluaciones ha sido un ahorro sustancial de tiempo en la recopilación de los cuestionarios de los alumnos y en la obtención de datos estadísticos a partir de los mismos, tanto frente al método clásico manual, como a otro semiautomático explorado en cursos anteriores. Los alumnos han aprendido rápidamente la mecánica de las dos herramientas seleccionadas y no se ha tenido que desechar ningún cuestionario por falta de comprensión del mecanismo de funcionamiento. Los alumnos se sienten más motivados para cumplimentar los cuestionarios, especialmente los realizados mediante la

 

herramienta Socrative, por la novedad del uso de smartphones en clase, cuando normalmente está prohibido utilizarlos. Y también tienen la satisfacción de poder obtener la calificación media otorgada por sus compañeros en las exposiciones orales aproximadamente 10 minutos después de la finalización de la misma, en vez de tener que esperar varios días a que el profesor pudiera llevar a cabo la extracción de los datos de cada uno de los documentos de evaluación y procesarlos posteriormente, como sucedía en cursos anteriores.
ANEXOS

Acadèmica de la Universitat de les Illes Balears que se muestra en la Tabla I. I.
PROTOCOLO DE EVALUACIÓN DEL TRABAJO EN GRUPO Aspecto a evaluar Asiste con regularidad a las reuniones del grupo Escucha activamente durante las reuniones del grupo Aporta ideas prácticas que son adoptadas por el grupo Busca, analiza y prepara el material para la actividad Deja las diferencias personales fuera del grupo Da soporte a los miembros del grupo que tienen dificultades ¿Qué puntuación global le darías por su contribución al trabajo del grupo?
a. Autoevaluación

Miembro del grupo evaluado
Tú a 1 2 … 8

1.

Modelo del cuestionario para la evaluación de las exposiciones orales Se ha elaborado el cuestionario automatizado en base al modelo 10 establecido por la Oficina de Convergència i Harmonització Europea del Vicerectorat d’Ordenació Acadèmica de la Universitat de les Illes Balears, en el cual se incluyen las siguientes preguntas que han de ser valoradas por los alumnos con un rango de 0 a 10: 1. 2. 3. 4. 5. 6. 7. 8. 9. La capacidad de comunicación del grupo ha sido satisfactoria La participación de todos los miembros del grupo ha sido equilibrada El formato de presentación ha sido eficaz y ha ayudado a una mejor comprensión del tema He podido seguir el ritmo de exposición de los contenidos sin ningún problema El orden de los contenidos de la exposición ha sido satisfactorio

REFERENCIAS
[1] M. Valero-García y L.M. Díaz, “Autoevaluación y co-evaluación: estrategias para facilitar la evaluación continuada,” en Actas del I Simposio Nacional de Docencia en la Informática 2005. Thomson, 2005, p. 25-32. Disponible en < http://www.informatica.us.es/docs/25aniversario/FerminSanchez.pdf > A. Delgado, “Aprendre llegint, escoltant, discutint, reflexionant, experimentant... i ensenyant, “ en UNIVEST 2011 “III Congreso Internacional La Autogestión del Aprendizaje”, Gerona, 2011 . “7 things that you should know about… clickers” en EDUCAUSE Learning Initiative's (ELI's), 7 Things You Should Know About ... TM series, 2005. Disponible en: < http://net.educause.edu/ir/library/pdf/ELI7002.pdf> “Clicker Resource Guide. An Instructors Guide to the Ef fective Use of Personal Response Systems (Clickers) in Teaching”, prepared by staff_ of the CU Science Education Initiative and the UBC Carl Wieman SEI, 2010. Disponible en: <http://acms.ucsd.edu/_files/clickers_guide.pdf> Jane E. Caldwell, “Clickers in the Large Classroom: Current Research and Best-Practice Tips,” CBE—Life Sciences Education, Vol. 6, Spring 2007, pp. 9-20. Disponible en: <http://www.ncbi.nlm.nih.gov/pmc/articles/PMC1810212/pdf/cbe9.pdf> C. Álvarez y J.F. Llosa, “Evaluación formativa con feedback rápido usando mandos interactivos,” en JENUI 2010 "XVI Jornadas de Enseñanza Universitaria de la Informática". Santiago de Compostela, 2010, pp. 363-370. Disponible en: <http://hdl.handle.net/2099/11796>

[2]

[3]

[4]

El grupo ha hecho un buen uso del tiempo para la exposición La claridad de exposición ha sido un factor positivo para la comprensión del tema Creo que han preparado suficientemente el tema para hacer la exposición Estoy satisfecho con la exposición del grupo
[5]

[6]

10. ¿Qué puntuación global le darías al grupo por la exposición que has presenciado?

2.

Modelo del cuestionario para la evaluación del trabajo en grupo Se ha elaborado el cuestionario automatizado basándose en el modelo 11 establecido por la Oficina de Convergència i Harmonització Europea del Vicerectorat d’Ordenació

10

<http://sequa.uib.es/digitalAssets/105/105010_Prot_Aval_Sessions_Expo sitives.pdf>
11

<http://sequa.uib.es/digitalAssets/105/105009_Prot_Aval_Treb_Grup.pdf >