You are on page 1of 11
INNOVACION EDUCATIVA, n." 16, 2006: pp. 47-57 a EFECTOS DE LA EVALUACION FORMATIVA VIRTUAL EN EL RENDIMIENTO ACADEMICO Santiago Palacios Navarro® Universidad del Pais Vasco RESUMEN, La ncusin do etivdaesvinuales no-presencals ene curiculouniversitarohace especial mente arate poencialdietico de ls nuevas tecnolotas. Aunque existennurezosas expt ‘as digitcas que abordan esta cuestin m siempre e posible ofrecer un ans cuantitativo dels Inismas. Se parte de I ipStesis de que esa prctica virtual iene efectos positions en el readimiento ‘nal de alomno, Nuestra experiencia a censistid en proponer a realzacin de un formula viral similar la praca final 0 exarnon con eli de gular al alumso en cl esti de Ia materia, ofrecer tn feedback sobre su conocimiento real dela materia ebaur la ansiedad que los eximenes ales rovocan y favorcer Ia adopcién de extracpins para la elizcin del examen fal. Los results “efuan que si ben los sus se aprovecxtn de esta actividad lo hacen deforma modoeads. Po 0 Tado, se subraya a exstencia de numerosasvarabes modiadoras de esos eee. names las alas ‘ovslcionescbtnidas en las puntuaciones dela disints prucas vllizads sealan una adecuada ‘elec das masmas ABSTRACT. “The use of row-attendd vieual aves inthe university cusculm appeals patcusly to potential learning capacity of new techolepes. Although here are many learning expvienes dealing ‘vith his ater sometimes it snot possible to offer a suitable quantita analysis oF then. this pe the hypothesis is thatthe viral practice has positive ets on performance ofthe end-of-year est, fr exam, Our experience ens dealing witha vinual uestionnaire whose features se similar to the final task students have todo, The objective the vital form was offer t sade apie for subject sting to provide feedback shout tee actal knowledge, reduce the ane Teel derivate rom final est and to foster the development of ateies odo the end-of-year exam. Ress point out tht infact students take avantge ofthis vil practice bin a mederate way. On the ote hand, several ‘atiables cou be itervening on these fs, inal high level of correlation we have bee found ‘between different daa pointing out he aduptatin of reated und used tess 1. INTRODUCCION A pesar de las potencialidades que se otorga a las nuevas teenologias (cualquier método 0 ‘material relativo a maquinas, software de ordenador, redes, video, multimedia o realidad virtual) en ss aplicacion psicodidctica, en demasiadas ceasiones esas esperanzas quedan en un mero plantea- rmientoteérico (Poole, 1999: Grineski, 1999, © Departamento de Psicologia Evlutvay dela Sducaion 48 SANTIAGO PALACIOS NAVARRO: Bfectos de la evaluacién formativa virtual Desde una perspectiva psicodidética, sin embargo, las muvas tecnologias siguenofreciendo 4a posibilidad de aproximatse al ideal consiuctvista de proceso de envehanza-aprendizaje (Perez, Gautiertez, Gonzalez y Vadillo, 2001; Rovai, 2004) entendiéndolo como un proceso de construccidn y de ateibucin de significados (Sénehez, 2004). Actualmente es posibe olzecer alos aluminos he ‘amientas encaminadas a su formacién y a la mejora de su endimient através de Intemet (Bork, 2000). Sien la forma tradicional de fa insiucci6a, la informacién se presenta deforma secuencial, Ja tecnologia hipermedia permite que sea el alumna quien deeida el orden de acceso a cualquier informacién (Weston, Gandell, McAlpine y Finkelstein, 1999). Uno de los etos de las nuevas teenologias es precisamente Ia personalizacin de laensefianza (Palacios, 2002). Las nuevas teenologias posibilitn un enfogue en la planificacin, dso, prepa raci6a y presentacin de cursos y actividades orientadoafaclitar al estaliante la seleecién y contol de estrategias recursos para el aprendizaje (Stojanovic, 2002; Sampson y Karagiannidis, 2002). A «estos podria afiadir que las actividades vituales son una herramienta csi indispensable si se piensa en términos de erédito no presencal (europeo) (Cabero, 2000; Monerec, 2003) En defiitva, las nuevas tecnologias frecen un panorama prometedor si bien la expectativas «reads no se han visto siempre cumplidasy, por ello, no falta, quienes, con ciertarazén, observan con inceridumbre este futuro. Bfectivament, Ia introduceién de las naevas tecnologia ent la do- cencia universitaria require de Logitica y conocimientos ademés de coasumir un tiempo apreciable del docente no siempre suicientemente reconocido (Palacios, 20023). En cualquier caso, tanto de- lwactores como defensores demandan experiencias nuevas y precisas donde se ponga en evidencia el costey el eneticio de su uso, Esto es, experiencias que analicen el aleance de los efectos de la mplementacin de est tipo de herramientas (Motivallay Tello,2000; Sankaran y Bui, 2000), En efecto las nuevas tecnologias proporcionan herramientas tanto de evaluacn de los alum nos (programas multimedia, formularios) como para ss gestidn (correcsi6n,entrega de las califca ciones e interpretaciny andlsis de las prucbas) (Bull, 999). En el primer easo supone abandonar los exiimenes tradicionales de Iipiz y papel (Annand, 2002) pudiendo ser introducides elementos multimedia e hipertextuales tanto en as preguntas como en el feedback lo que mejoa la calidad de los eximenes y de Ins capacidades que en ells se pueden medi. El éxito de esta evaluacin formativa pas, ente otros aspectos, por evaluar(frcuentemente) al alumno y ofrecerleinformacién de sus logros y aguas (Lar, 2001), AL mismo tiempo, la impor tancia del feedback (cudndo, qué y c6mo proporcionat la informacin) ha estado presente en todos los intentos de individuaizar Ta enseianza. En cualquier caso, la aplicacin del feedback a raves del ordenador slo aumenta ligeramente sus efectos siendo el principal factor de su eficaciael grado de elaboracidn del feedback (Azevedo y Bernard, 1995). Aunque el uso de las nuevas teenologias no influya en la mayor eficacia del feedback si contribuye a hacer operativa la tarea de apicacion y cormeccin asf como Ia administracién del feedback. Por otro lado, a pesar dela mala fama de ls pruebas finales, éstassiguen siendo una atividad bisiea de evaluacién que plantea no pocos quebraderos de cabeza a alunos y profesores, Ast, a ‘medida que avanza el curso los alumnos inquieren con més frecuencia acerca de las caaeteristicas ‘ue tend a prueba y esté comprobad que los exdmenes elevan Ios nveles de ansiedad, angusia yilo stress de los alumnos (Tobias, 1985, Jones y Petruzzi, 1995: Aguayo, 1999) llegando a ser pro- bemticos en un 15% 0 20% de los casas. Como sefala Aguayo (1999), los problemas de ansie- INNOVACION EDUCATIVA, n.*16, 2006: pp. 47-57 49 dad ante el examen son de los ms babituales en la poblacin unversitaria, acompafados de otros problemas de téenieas de estudio o emocionaks, No obstante las corelaciones negativas entre una ‘levada ansiedad y un pobre resultado en el examen no suponen una relacién eausal ya que hay que apelara variables mediadoras CCom el fin de atenuar estos efectos asidgenos una buena préctica docente puede consistir cen ofrecer una prucba de demostracién donde el alumno seenfrente con un modelo fo mas similar posible al que realmente constturs la prueba ial Los objetivos de este tipo de actividad son bisicamente tes, En primer lugar, se offece al alumno un ejemplo que seguramente despeja muchas de las dudas sobre Ia forma y contenido dela prucha final. En segundo lugar, le permite conocer su nivel de conocimiento realy, en conseeuencia, Te ofrece pista para establecer una gufa de estudio respecto a los eontenidos y al nivel requerido. Ete tipo de actividad instruccional busca obtener un alto beneficio de la préciiea 0 entrenamiento previo como consecuencia de la familiaridad y del establecimiento de estrategias previas. Final- ‘mente, esta actividad puede hacer disminuir la tensin ya que tal entrenamiento actuaria de forma ansloga a las téenicas de desensibilizacin utliaadas en las terapias de afrontamiento del stress 2.INVESTIGACION La investigacin que se presenta en es articulo forma parte del desarroto del programa de setividades levadas a cabo duraate el curso aeadémico 2003/04 en la asignatura Psicologfa de la Eclucacin en diversas ttulaciones de maestos. Estas actividades, a su vez, conformaban wn pro: yecto de innovacidn didctica en el que ls nuevas ecnologias y las actividades virwales ocupaban ‘un papel relevante 2.1. Objetivo Fl objetivo de esta investigacion es aorta evidencia acerca de la inflencia de una de esos actividades virtuales en el rendimiento final de Tos alumnos. En conereto, se analiza el efecto que la realizacin de una prucha o examen vital puede tener en la realizaci6n de la prueba final Frecuentemente las expetiencias docentes son analizadasfenomenoldgicamente pero carecen de evidencias cuamitativas (Marzero, 1990), por ello Ia experiencia que agu se presenta resulta més sighificativa, Por un lado, desarrolla de forma concreta un procedimiento de evaluacisn formativa para el alumino. Por oto Tado, oftece al profesor la posiblidad de estudiar las propas hezramientas {de evaluacisn y formacin y extraer algunas conclusiones sobre el propio proceso (Rove, 2000). 2.2. Hipétesis La hipStesis principal que se quiere sbordar hace referencia la mejora en el rendimiento final (Examen-Preseneial A y B) por parte de los alumnos que han realizado la actividad virtual (Examen-Demo- Viral) al facilitar la puestaen marcha mecanismos de repaso de ls contends y convertiseen gufa de estudio o serve ara fanilirizarse con la prucba, entrenardistinas estatepias y facilitar la reduceién del estes ante la misra Com el fin de evaluat Ia mejora en ef rendimiento se atendieron a dos tipos de medida di- Ferenciales, En primer lugar, nos interesa saber s{exsten diferencias entre la puntuaci6n obtenigs 50 ‘SANTIAGO PALACIOS NAVARRO: Efectos de la evaluacién formative virtual en el Examen-Virtual-Demo y en el Examen-Presencial por los mistnas sujetos. Estas diferencias evidencian fo que denominamos una Mejont directa aunque puede quedst distorsionada por el dese {de nvestrosalumnos de ofrecer una mejor imagen y no respetar las instracciones En segundo lugar y lire de este obsticulointeesa observar las diferencias en la nota del Examen-Presencial entre fs sujetos que previamente han realizado el Examen-Demo y los gue no Jo completaron, Fsta diferencias se denominaron como Mejora relativa Finalmente, con el fin de abordar la cuestin sobre sf la actividad de demostracinfacilita la elaboracin de una estrategia de realizacién del examen presencial han analizado el nimero de preguntas contestadas correctamente, equivocadamente y las no cortestadas. En la hipstesis se ‘mantiene que aparecerén diferencias signticativas entre quienes teaizan la actividad virtual y lox {que afrontan Ta prueba final directamente. Estas diferencias se darian esyeciahmente en el mero de preguntas no contestadas, 2.3, Muestra {La muestra total de los sujctos que tomaron pare en Ia experiencia estécompuesta por 213 lumnos que coincide con el ndmero de alumnos presentados al examen oficial y presencial (Tabla 1). De estos sujetos, 61 28,64) tambien realizaron y enviaron virtalmente el Examen-Demo. Si bien este porcentaje de sujetos puede parecer escaso hay que apuntar que supone mis del 50% de todos los sujetos que utlizaron alguna ver el espacio web durante el cuso. “Tabla 1: Distribucin de los sujetos segin Ia realizacgin de las pruebas Examen Preseneial samen A, % yo 325 » No @ 529 0 Toul ne 535 99) 2.4. Diseio y procedimient En el marco del proyecto de innovacién se diseR6 wna serie de actividades virtales, con ‘ardoter no presencia, voluntario y no obligatoio, Estas actividades iban desde la participacin en tun Weblog centrado en el desaroilo de las clases magistales hasta la realizacién de diversos cues- ‘ionativs visustes relacionados con Ios contenidos dela asignatura (teemcas y hibits de estadis, strategies de aprendlzaje, rzonamiento lgico, personalidad, aulaconcepto y jucio social). AS, se ecogia informacién acerca de algunas caracerstcas de los alumnos qee permitieran personalizar su tayeeto por la asignatura Por tanto, a mayorfa de los alumnos estan famiarizados con el uso de la pina web de sarotlada (htpfvww.e.chu.es/pewpanas/hp hia) y los procedimientos a seguir en eada actividad haciendo posible la prietiea com el examen vital En efecto, una de las précticas era ta realizacién virtual de un “ormulario virtual (20 pre ‘guntas con miitiples respuestas) idgntco al examen que posteriormenthabrian de completat de INNOVACION EDUCATIVA, n. 16, 2006: pp. 47-57 st forma oficial y presencia. A esta prucha se le denominé Examen-Demo-Virwal y se pia realizar con un mes de anterioridad al examen oficial. En la consigna para su realizacin se insistia en que ‘debian realizar sin consultar ninguna fuente de informaciéa si bien se disponta de todo el tiempo ‘que desearan. Se informaba que, evidentement, el resultado obtenido en esta prueba no afectaba a Ta calificacisn final ya que esto hubiera hecho que los alunos consultarandiversos materiales y su rengimiento no reflejara el conocimiento real, ‘Aparecen aqut algunas de las variables (confabilidad, uso de materiales externos..) que, evidentemente, quedan fuers del control del inestigadr. Sin embargo, la vlidez de este comporta- ‘miento virtual (privado) ademas de afectar meindoldgicamente de forma negativa, puede resultar en s{inismo de gran interés (Tu, 2002). Para asegurar que las distntas pruebas utilizar fueran lo mas idéaticas posibles se confec ions inicialmente un lstado de 80 preguntas con tes posiblesrespuestasateniendo alos conten ‘dos de la asignatura desarrollados durante el curso, Posteiormente las 80 preguntas se repatieron al azar entre 4exdmenes. Finalmente, y nuevzmente al azar, se adjudies a cada examen una de las siguientes condiciones: Examen-Demo-Virtua, Examen-Presencial-A, Fxamen-Presencia-B, Ext rmen-Presencial-Recuperacin Asi 1 primero de ellos se uilizé pare confeccionar el formularia virtual de demostracién 1 Jos exdmenes presenciales A y B fueron las pruebas finales que los alumnos realizaron de forma oficial, Finalmente el examen de recuperacinno fue uilizado, Esta experiencia dddctica ha servido para poner en marcha vn sistema de recogida de datos 1 través de Internet mediante el desarollo de una aplicacién piloto en lenguaje perl. Gracias a este sistema, las respuesta pueden ser procesadas automiticamentey fos alumnos pueden recibir el fee- com. ? Ex Viewal et wy 004 307 087 Ex Presencial A 3S 16 Ex Viral 38 6 404 S77 oo 6 Ex PrsencialB 56 A la vista de estos resultados se puede afirmar que existen mas diferencias en las puntua- cones obtenidas por los sujetos en el Examen-Demo que en el Examen-Oial. As, mientras en los exdmenes presenciles A y B se obtienen puntuaciones medias my similares (5,5 y 5.6) las ‘obienidas en la prueba virtual muestran una importante diferencias (6,1 y 5,8) Este dato apunarfa ‘que la seleceisn de las preguntas y su disiribucidn en las prucbas fue correcta siendo las pructas similares en su diticultad. Por otro lado, l que las puntuaciones obtenidas en ambos no Heguen a ser signifiativamente diferentes viene a corroborar la afirmacién anterior pero adensis evidencian que los sujetos respets ron las instrucciones y que as puntuaciones reflejan con bastante exact ud su nivel de conocimien tos como queda patente en el easo de quienes realizaron el Examen-Oficial B, En cualquier caso, la realizaci6n de forma viral de tareas de evaluacisn soporta certs di= fieultades que impiden aleanzar conclusionesfirmes sobre su valor y efizacia de forma sencilla Por ello, los resultados obtenidos al responder & Ia segunda cuestin pueder resultar més defntivos ya ‘que el indice de Mejor relativa esti exento de ls sesgos metodolgicosanteriotmente ctados. 2.5.2 Mejorarelatva del rendimiento La segunda de las cuestiones aborda las posible diferencias en las puntuaciones obtenidas cen Examen-Oficial entre quienes previamente han realizado el Examen-Demo virtual y los que no INNOVACION EDUCATIVA, n.* 16, 206: pp. 47-57 3 Johan hecho, 1.05 resultados de la prueba t para muesias independientes (Tabla 4) aleanzan una ala significaividad (0,003), Por otto lado, no se puede rechazar Ia hipétesisnuta de igualdad de ‘arianzasatendendo a la prueba de Levene, De esta manera se puede sealar que las puntuaciones ‘obfenidas en el Examen-Ofical son distintas er funcisn de que el sujeto haya realizado previamente 1 Examen-Demo virtual, produciéndose una mejora de 1,7 puntos sobre los que no la han realizado. Esta mejora adquiere mayor relevancia si atendemos a su valor eriico ya que puede suponer aprobar ‘ono el examen oficial ‘Tabla 4: Diferencias de puntuaciones en el exanen presencia ee ‘Media Desvacin Prueba para muestras independicnes amen “SSeS 3003 008 246 00 Viwal__No 4913 [Nuevamente se ha procedido a analiza estos resultados atendiendo a los modelos A y B de examen oficial utlizados (Tabla 5). Las diferercias entre ambos modelos apuntan a que la mjora es Slo signficativa en los sujetos que completaon ef modelo A del examen presencil. Asf, mientras com la vers A la mejora se aproxima a1, enla versin B no aleanza el medio punto. No obstante, las diferentes varianzas de las poblaciones sugieren cierta prudencia a la hora de analizar est dato, “Tabla 5: Andlisis de las puntuaciones obtenidas en fos exmenes oficiales rr si No Pret para mucstas Prueba de independents Levene Examen Presenisl Media Desviacién Media Desvisei6n—t ? F P A ssl AGT OOS B en isl 449, (032 2.5.3. Estrategias de realizacién de excmen presencial y examen virtal de demostracién La familsrizacién con ls pruebas dee ecién miliple suele ser considerado como un factor clave del Gxitoen las mismas, Este hecho es mis importante euando los erroes en as respuesta se penalizan. Los alumnos suelen mostrar un especial rechazo de estas pruebas y & menudo adoptan festrategis de aetuaciin muy conservadoras 9 sorprendentemente ariesgadas. Mientras que para ‘muchos alunos Ia estrategia adoptada puede ser espontinea y coyuntural, larealiacién previa del ‘examen virtual deberfa desencadenar en los stetos la toma de decisiOn sobre las esrategias condu- centes a un mayor éxito final En primer lugar se comprobaré si exist diferencias en el niimero de preguntas no contest das y las contestadas correcta y ernneamente Los resultados (Tabla 6) sefalan que las diferencias ‘que se dan son signiicativas en el caso de las respuestas comecta y ertneas, Esto no acute, sin embargo, en el caso de las preguntas no contestada, s4 SANTIAGO PALACIOS NAVARRO: Fféctos de la evaluacién formativa virtual ‘Tabla 6. Diferencias en las respuestascorrectas,ertneasy preguntas no contestadas| Examen Presencal Examen Prachat para mveseas Prueba de Virual Media essen independents Levene t P P Respuesas—Si_12262—.8IB 2399) 10 2947 088 corms No 1144223011 Respuesas Si 4.3607 2.0809 27194 005 ISL 698 Incomeetss No 5.2898 2.535 Preguntsno Si 32131 ates 150 881 ool 981 comestadasNo__32763 2.8195 Estos resultados apoyan la hipétesis de a existencia de patrores de respuesta deliberada- ‘mente ejecutados en aquellos sujetos que han tenido la oportunidad de enfrentarse previamente al examen de forma virual, Estas estrategias no se caracterizan por ser especialmente conservadoras © arsiesgadas si atendemos a Ia fala de diferencias en el nimero de preguntas no conestas. Esto «5, si bien el nmero de preguntas contestadas es similar en ambos grupos, quienes han realizado Dreviamente I prueba de demostracién cometen menos errres, Para corroborar parcialmente este hecho se han comparado el nimero de respuestas correc- tas, erténeas y preguntas no contestadas tanto en el Examen-Demo-Vitual como en los exémenes presencales Los resultados (Tabla 7) no dejan lugar a dudas ya que sefalan que es significativamente diferente el nimero de preguntas contestadas correctamente, erréneamext yel de preguntas no con testadas. Es precisamente en este tltimo aspecto dande se producen mayores diferencias. Como es I6gico, frente a la prucba de demostracin en Ia que el resultado final de aciertos no es relevante los lumnos adoptan una estrategia de riesgo contestando pricticamente el 100% de las preguntas. Sin ‘embargo, al enfrentarse al examen oficial adopta una posicin mis conservadora que puede explicar fl retroceso en el rendimiento de Ia prucba final Fn este cent, est resultados areojan ciertas dudas zobre lor efectos que Ia eelizasin de 1a prueba virtual pueda tener sobre el establecimienta de una estrategi conservadora o ariesgada al realizar el examen presencial, Nuevamente aparece aguf otro escol igado ala imposibilidad de tener en cuenta la puntuaciGn obtenida en la versin virtual bid al alla de contol sobre la forma {en que los alunos cealizan les prucbas. Lo que si deja meridianament claro es que el alumao ajusta su comportamiento a las condiciones dela prueba y supone una evidencia mas de que se respetaron Jas normas dadas para la realizacign de la prucha virtual INNOVACION EDUCATIVA, n.* 16, 2006: pp. 47-57 3s “Tabla 7. Diferencias en la forma de responder on el examen Virtual y en el presencia Prasha de Media Desviaida Diferencias selaconadas Matin Desviaciin Si [Respucsis Ex: Prosencial 12422-28134 1298129288, 001 corrects x, Vinal 13,7213 2,7088 Respuesias Ex Presencal 4.3607 2.0899 Lore 2.8606 07 fnonreots Ex. Virwal 53700 2.5830 Preguntas no Ex: resenciat 32131 2665 23525661 900 Bx, Vinual 9016 1.6197 contests 3. CONCLUSIONES: En la experiencia presentada se pone de manifesto el valor psicodidctico que algunas herr rmientas vitales de cara a aumenta el rendiniento de nvestros alumnos universitarios. En primer gar, se ha pod despejar In duda inicial respecte a la sinceridad de Tos alunos euandorealizan de forma virtual actividades formativas y de evaluaciGn. Aunque las puntuaciones en los examenes presenciales descienden respect a las del examen virtua, este descenso no aleanza a set significa: tivo y queda elaivizado si atendemos a eada anode los modelos de examen oficial uilizado lo que constata que en general los aluminosevitaron Jar una imagen més positiva de ellos y ue entenden orrectamente el significado de esta prucba de demostracin virtual orientada més a a formacion {que a la evaluaciGn, En efecto, cl alumno comprende que esta actividad es eficaz en la medida que porta un feedback lo mis rel posible para lo que es necesario evitar el sesgo de la deseabilidad social Por otro lado, se constata una majoraen el rendimiento de ls alumnos que realizan previa- mente la actividad virtual, evaluativa y formativa respecto a los que no la reaizan. Fn este eas0, nlisis individual con cada uno de Tos modelos oficiales de examen limita el aleance de esta mejora respect ala prueba virtual pero no alcanza adesvaneceda, Finalmente, se han podido detectar cimbios en Ia forma de realizar las pruebas ligados al tipo de estrategia (conservadora « arriesgads) que los sujetos ponen en marcha en funcién de las caracteristias ¢importancia de Ta tarea ala que se enfrentan, En este sentido, esta experiencia diddciea ayuda a crear nuevas formas de utilizar de manera fica las nuevas tecnologias como herramienia psicodidéetica. Aungue Tos datos obtenides apuntan ‘una mejora en el rendimiento son necesarias mas investzaciones que confirmen y expliquen. Las tificultades metodolégicas que implican imvesigaciones de este tipo impiden un control exhaustivo de las variables de estudio, La propia selecién de las muestas, el carécter virtual y/o voluntario 0 el uso de un modelo u otro de examen pucden dar al taste con el intento de establecerrelaciones tentre ambas actividades. En este sentido, el dseRo utilizado hubiera mejorado sila propia prueba de 56 SANTIAGO PALACIOS NAVARRO: Bféctas de la evaluacidn formativa virtua.

You might also like