MAESTRA EN EDUCACIN A DISTANCIA E-LEARNING (FATLA) DISEOS INSTRUCCIONALES PARA ENTORNOS VIRTUALES

VALIDACIN Y EVALUACIN DE DOS MDULOS INSTRUCCIONALES

Elaborado por: Carlos Revilla

Noviembre, 2013

ndice General
Pg.
INTRODUCCIN:...................................................................................................................................... 3 OBJETIVOS:............................................................................................................................................. 4 OBJETIVOGENERAL:........................................................................................................................................... 4 OBJETIVOSESPECFICOS:...................................................................................................................................... 4 METODOLOGADEEVALUACIN:............................................................................................................ 4 SELECCINDELAMUESTRA:.................................................................................................................... 6 APLICACINDELINSTRUMENTO:............................................................................................................. 6 ANLISISDEDATOSYDISCUSINDERESULTADOS:................................................................................ 15 CONCLUSIONES:..................................................................................................................................... 17 REFERENCIASBIBLIOGRFICAS:.............................................................................................................. 18

Introduccin:
La educacin a distancia en modalidad e-learning ha tomado mucha fuerza en los ltimos aos, muchas instituciones educativas a nivel superior de educacin presencial y a distancia convencional, estn incursionando cada vez ms en esta modalidad de mediacin de la enseanza, esto ha implicado el replantearse conceptos educativos fundamentales tal como el Diseo Instruccional, para adaptarlo a los entornos virtuales de aprendizaje, lo cual ha tenido otras implicaciones verbigracia la necesidad de establecer metodologas para evaluar y validar los diseos instruccionales para cursos en modalidad e-learning, de modo que pueda garantizarse la calidad de la instruccin. Diversos autores y organizaciones, han establecido diferentes metodologas y criterios para la evaluacin de los cursos en modalidad e-learning. En este sentido puede citarse el trabajo de Soto (2010), quin desarroll y present sus Criterios para la evaluacin de los Cursos de la Red Educ@l, la cual es una red para el fortalecimiento de capacidades de educacin virtual en Amrica Latina, con el apoyo de inWent, Alemania. Dichos criterios sern utilizados para la evaluacin de dos (2) macro-diseos instruccionales desarrollados por los estudiantes de la asignatura Diseos Instruccionales para Entornos Virtuales, de la Maestra en Educacin a Distancia e-learning dictada por la Caribbean International University of Curaao (CIU) en convenio con la Fundacin para la Actualizacin Tecnolgica Latinoamericana (FATLA), para determinar la calidad de los mismos.

Objetivos:
Para la realizacin de esta breve investigacin se plante un objetivo general el cual llev al establecimiento de varios objetivos especficos:

Objetivo General:
Evaluar los diseos instruccionales presentados para dos cursos virtuales, mediante la aplicacin de los criterios de la Red Educ@l, valorando la calidad de los mismos.

Objetivos especficos:
Definir la metodologa de evaluacin. Establecer la muestra. Aplicar los Criterios. Analizar los datos. Discutir los resultados.

Metodologa de Evaluacin:
Para la validacin y evaluacin de los mdulos se aplican los criterios de evaluacin presentado por Salas (2010) que recoge el trabajo de un grupo de profesionales de la Red Educ@l, para el establecimiento de un estndar de calidad para cursos virtuales. Estos criterios se dividen en seis (6) dimensiones cada una de ellas dispone de dos o ms criterios (hay 21 criterios en total), y cada criterio posee uno o ms indicadores siendo el total de indicadores de 152. Sin embargo, muchos de estos criterios e indicadores no son aplicables a la presente investigacin dado que se refieren a un curso ya implementado, y lo que se va a evaluar son los macro-diseos de los mdulos. Por ello se escogi un subconjunto de estos criterios para la evaluacin: La tabla 1, muestra en detalle cuales son las dimensiones, los criterios, y el nmero de indicadores seleccionados para los propsitos de esta investigacin: 5 dimensiones, 11 criterios y 42 indicadores.

Tabla 1.- Criterios de Calidad Seleccionados Dimensin Organizacin General Diseo Curricular Criterios Pertinencia y Justificacin Planificacin Logstica Estructura y Elementos Calendarizacin Pertinencia de los Objetivos Secuencia Lgica Congruencia Vertical Evaluacin Requisitos Costos Fuente: Adaptado de Salas (2010). El instrumento presentado por Salas (2010) se trata de una lista de cotejo, donde se muestran en columnas las dimensiones, los criterios y los indicadores de forma tabulada, y se incluyen tres columnas una donde se verifica la conformidad del indicador en el curso estudiado, la segunda se usa para definir la no conformidad de del indicador y finalmente una ltima columna que sirve para registrar anotaciones u observaciones que se consideren importantes. La metodologa de trabajo consisti en seleccionar dos (2) macro diseos instruccionales presentados por los estudiantes de la asignatura antes citada, aplicarles el instrumento y totalizar el nmero de criterios que presentan conformidad, para luego establecer la calidad de modo cuanti-cualitativo, usando una escala que se auto-explica en la Tabla 2. Tabla 2.- Escala de Calidad Indicador Excelente Bueno Regular Deficiente Indicadores conformes 33-42 23-32 13-22 0-12 Nmero de Indicadores 2 7 7 4 4 3 4 3 3 1

Diseo Didctico Aspectos Tecnolgicos

Fuente: Propia 5

Seleccin de la Muestra:
Para la realizacin de esta investigacin y de acuerdo a las instrucciones dadas para la actividad, se seleccionaron al azar dos (2) diseos instruccionales desarrollados por estudiantes que no formen parte del equipo al cual el autor pertenece (Equipo 5). Se seleccionaron dos mdulos desarrollados por estudiantes del Equipo 4, los datos de identificacin de los equipos seleccionados se observa en la Tabla 3. Luego de la recuperacin de los materiales y su revisin preliminar se observ que a pesar de ser trabajos del mismo equipo el formato para presentar la propuesta individual difera sensiblemente el uno del otro, asunto que ser discutido con ms detalle en la seccin 6 del presente documento. Sin embargo los mismos criterios de evaluacin pueden ser usados en ambos casos con independencia del formato utilizado para la propuesta. Tabla 3- Datos de Identificacin de los trabajos a evaluar
EQUIPO Autor Ttulo Plan de capacitacin en herramientas de Google+ 4 Edwuard Castaeda aplicados a la docencia universitaria. Caso UPEL-IPB Mdulo Google + y Hangout 4 Jaime Plan de capacitacin en herramientas de google drive aplicados a UPEL-IPB UPEL-IPB Institucin

Rivadeneira la docencia universitaria. Caso UPEL-IPB

Fuente: Propia

Aplicacin del instrumento:

Una vez seleccionados los trabajos, se procedi a la aplicacin de los criterios para lo cual se utiliz el instrumento del que se habl en la seccin 3, contrastando todos los criterios con la propuesta realizada por cada uno de los estudiantes. La tabla 4, recoge la evaluacin y valoracin hecha a la propuesta de Castaeda (2013) y la tabla 5 la de Rivadeneira (2013).

Tabla 4.- Aplicacin del Instrumento a la propuesta de Castaeda (2013). Dimensiones Criterios Pertinencia y Justificacin del Curso Indicadores El mdulo responde a una necesidad de formacin detectada Pertenece a un proyecto especfico S
X X X

No

Observaciones

Organizacin General

Se cuenta con un equipo de profesionales capacitado para atender las tareas especficas del curso El equipo de profesionales conoce el uso de herramientas, la metodologa del e-learning y las condiciones especficas del estudiante Planificacin Se cuenta con la plataforma que se va a usar de los El modulo cuenta con equipo tcnico que conozca Aspectos los formatos y herramientas para el diseo y Logsticos del desarrollo del curso y que atienda las necesidades Curso de la plataforma Se ha decidido cmo se va a financiar el curso Se ha decidido cmo se va a certificar el curso Se ha decidido cuntos participantes deberan participar en el curso (mnimo/mximo) Fuente: Propia

X X X Se supone que es parte del proyecto macro Se supone que es parte del proyecto macro Se supone que es parte del proyecto macro

X
X

Tabla 4.- Continuacin Dimensiones Criterios Indicadores El nombre del curso se relaciona con toda la propuesta del curso El propsito del curso es claro y est relacionado con la necesidad de formacin detectada con anterioridad Se delimita la poblacin meta del curso Se indica la relevancia del curso para el grupo de destino Se definen los requisitos para la participacin en el curso Se define la metodologa del curso y est acorde con el modelo pedaggico que sustenta al curso El diseo del curso contiene los siguientes elementos organizados de una forma constante: cada unidad cuenta con una presentacin, objetivos, contenidos, estrategias de aprendizaje, materiales de estudio Se anotan las horas de trabajo que el estudiante deber dedicar cada semana para el trabajo del curso Las fechas de cada una de las actividades, tareas y evaluaciones del curso se anotan claramente y tienen un orden lgico y secuencial Los tiempos propuestos para las actividades y tareas guardan relacin con la complejidad de stas La propuesta de esos elementos es lgica, coherente, clara y secuencial y est desarrollada teniendo como base el propsito del curso Fuente: Propia S
X X X X X

No

Observaciones

Estructura y Elementos del Currculo

Diseo Curricular

X X

Calendarizacin del Curso

X X

Tabla 4.- Continuacin Dimensiones Criterios Indicadores Los objetivos reflejan las intenciones educativas y el propsito del curso Los objetivos estn planteados en trminos del que aprende Se formulan objetivos particulares para las diferentes secciones, mdulos o temas que comprende el curso Los objetivos estn descritos de una forma clara y sencilla, de manera que pueden ser entendidos por los alumnos Los contenidos se presentan a travs de distintos medios, dependiendo de las caractersticas y posibilidades de cada uno de esos medios Los contenidos reflejan la organizacin lgica y secuencial a partir de lo que se va a ensear y aprender en el curso Los contenidos se presentan organizados por mdulos, unidades temticas o ejes Las estrategias de aprendizaje propician el aprendizaje significativo, autnomo y autorregulado del estudiante Hay presencia de actividades de aprendizaje comunicativas (foros de discusin, chats, juego de roles, etc.) Hay presencia de actividades de aprendizaje colaborativas (trabajo en grupo) Hay presencia de actividades individuales o tareas Fuente: Propia S No X X X X En la propuesta No hay objetivos planteados como tal Observaciones

Pertenencia de Objetivos

Diseo Didctico

Secuencia Lgica y Psicolgica de los Contenidos

X X X X X X

Congruencia Vertical y Horizontal de las Estrategias de Aprendizaje

Tabla 4.- Continuacin Dimensiones Indicadores La evaluacin guarda coherencia con los objetivos del curso La evaluacin de los aprendizajes del curso se presenta como una seleccin de productos de las actividades y logros de aprendizaje que desarrollan los estudiantes a partir de la intervencin con el contenido Evaluacin de de estudio y con la interaccin con sus compaeros y los con su tutor Aprendizajes Se presentan estrategias de evaluacin que responden, en concreto, a una integracin e interpretacin del conocimiento, a una transferencia de dicho conocimiento a otros contextos o a una propuesta que demuestre la creatividad o criticidad de los participantes Se puntualizan los requisitos tecnolgicos, habilidades y destrezas que el estudiante necesita para poder desarrollar el curso adecuadamente Requisitos La institucin cuenta con los recursos tecnolgicos requeridos Se identifican los conocimientos tecnolgicos necesarios en el alumno para el desarrollo del curso Costo del Posibilidad de incluir nuevas funcionalidades Servicio La proporcin entre estudiantes y tutores es adecuada para el manejo comunicativo y la interaccin El modulo propicia la interaccin y la participacin Criterios Pedaggicos Mantiene a los participantes motivados Permite la construccin colectiva y colaborativa del conocimiento Fuente: Propia 10 Criterios S
X

No

Observaciones

Diseo Didctico

X X

Aspectos Tecnolgicos

X X X
X X X

Mediacin Pedaggica

Tabla 5.- Aplicacin del Instrumento a la propuesta de Rivadeneira (2013). Dimensiones Criterios Pertinencia y Justificacin del Curso Indicadores El mdulo responde a una necesidad de formacin detectada Pertenece a un proyecto especfico S
X X X

No

Observaciones

Organizacin General

Se cuenta con un equipo de profesionales capacitado para atender las tareas especficas del curso El equipo de profesionales conoce el uso de herramientas, la metodologa del e-learning y las condiciones especficas del estudiante Planificacin Se cuenta con la plataforma que se va a usar de los El modulo cuenta con equipo tcnico que conozca Aspectos los formatos y herramientas para el diseo y Logsticos del desarrollo del curso y que atienda las necesidades Curso de la plataforma Se ha decidido cmo se va a financiar el curso Se ha decidido cmo se va a certificar el curso Se ha decidido cuntos participantes deberan participar en el curso (mnimo/mximo) Fuente: Propia

X X X Se supone que es parte del proyecto macro Se supone que es parte del proyecto macro Se supone que es parte del proyecto macro

X
X

11

Tabla 5.- Continuacin Dimensiones Criterios Indicadores El nombre del curso se relaciona con toda la propuesta del curso El propsito del curso es claro y est relacionado con la necesidad de formacin detectada con anterioridad Se delimita la poblacin meta del curso Se indica la relevancia del curso para el grupo de destino Se definen los requisitos para la participacin en el curso Se define la metodologa del curso y est acorde con el modelo pedaggico que sustenta al curso El diseo del curso contiene los siguientes elementos organizados de una forma constante: cada unidad cuenta con una presentacin, objetivos, contenidos, estrategias de aprendizaje, materiales de estudio Se anotan las horas de trabajo que el estudiante deber dedicar cada semana para el trabajo del curso Las fechas de cada una de las actividades, tareas y evaluaciones del curso se anotan claramente y tienen un orden lgico y secuencial Los tiempos propuestos para las actividades y tareas guardan relacin con la complejidad de stas La propuesta de esos elementos es lgica, coherente, clara y secuencial y est desarrollada teniendo como base el propsito del curso Fuente: Propia S
X X X X X

No

Observaciones

Estructura y Elementos del Currculo

Diseo Curricular

X X X X

Calendarizacin del Curso

12

Tabla 5.- Continuacin Dimensiones Criterios Indicadores Los objetivos reflejan las intenciones educativas y el propsito del curso Los objetivos estn planteados en trminos del que aprende Se formulan objetivos particulares para las diferentes secciones, mdulos o temas que comprende el curso Los objetivos estn descritos de una forma clara y sencilla, de manera que pueden ser entendidos por los alumnos Los contenidos se presentan a travs de distintos medios, dependiendo de las caractersticas y posibilidades de cada uno de esos medios Los contenidos reflejan la organizacin lgica y secuencial a partir de lo que se va a ensear y aprender en el curso Los contenidos se presentan organizados por mdulos, unidades temticas o ejes Las estrategias de aprendizaje propician el aprendizaje significativo, autnomo y autorregulado del estudiante Hay presencia de actividades de aprendizaje comunicativas (foros de discusin, chats, juego de roles, etc.) Hay presencia de actividades de aprendizaje colaborativas (trabajo en grupo) Hay presencia de actividades individuales o tareas Fuente: Propia 13 S No X X X X En la propuesta No hay objetivos planteados como tal Observaciones

Pertenencia de Objetivos

Diseo Didctico

Secuencia Lgica y Psicolgica de los Contenidos

X No por unidades pero puede inferirse secciones

X X X X X

Congruencia Vertical y Horizontal de las Estrategias de Aprendizaje

Tabla 5.- Continuacin Dimensiones Indicadores La evaluacin guarda coherencia con los objetivos del curso La evaluacin de los aprendizajes del curso se presenta como una seleccin de productos de las actividades y logros de aprendizaje que desarrollan los estudiantes a partir de la intervencin con el contenido Evaluacin de de estudio y con la interaccin con sus compaeros y los con su tutor Aprendizajes Se presentan estrategias de evaluacin que responden, en concreto, a una integracin e interpretacin del conocimiento, a una transferencia de dicho conocimiento a otros contextos o a una propuesta que demuestre la creatividad o criticidad de los participantes Se puntualizan los requisitos tecnolgicos, habilidades y destrezas que el estudiante necesita para poder desarrollar el curso adecuadamente Requisitos La institucin cuenta con los recursos tecnolgicos requeridos Se identifican los conocimientos tecnolgicos necesarios en el alumno para el desarrollo del curso Costo del Posibilidad de incluir nuevas funcionalidades Servicio La proporcin entre estudiantes y tutores es adecuada para el manejo comunicativo y la interaccin El modulo propicia la interaccin y la participacin Criterios Pedaggicos Mantiene a los participantes motivados Permite la construccin colectiva y colaborativa del conocimiento Fuente: Propia 14 Criterios S No X Observaciones

Diseo Didctico

X X

Aspectos Tecnolgicos

X X X
X X X

Mediacin Pedaggica

Anlisis de Datos y Discusin de Resultados:

En la Tabla 6 puede observarse la totalizacin de los criterios que presentan conformidad en las propuestas estudiadas, as como la calidad del mismo, en referencia a lo presentado en la tabla 2. Tabla 6.- Totalizacin y Evaluacin
EQUIPO 4 4 Autor Edwuard Castaeda Jaime Rivadeneira Criterios cumplidos 31 30 Calificacin Bueno Bueno

Fuente: Propia Como puede observarse en la tabla anterior, ambos trabajos son calificados en la categora de Bueno, lo cual significa en trminos generales que las propuestas son susceptibles de ser mejoradas para conseguir la calificacin de excelente, y el cumplimiento de todos y cada uno de los criterios planteados; sin embargo, en este punto es necesario hacer algunas puntualizaciones: Con anterioridad se nombr la existencia de diferencias en el formato de la presentacin de las propuestas estudiadas: La propuesta de Castaeda (2013) es bsicamente una presentacin de diapositivas muy bien elaborada, tendiente a presentar una idea para un curso, de manera de vender la idea, por lo cual estaba ms dirigida a convencer a la organizacin sobre la conveniencia del curso, ms que establecer el diseo instruccional, en el sentido de definir objetivos, contenidos, estrategias de evaluacin y una dosificacin de todos estos elementos en el tiempo. Por su lado la propuesta de Rivadeneira (2013), es ms un manual didctico muy completo para la aplicacin del curso que un diseo o macro-diseo instruccional del mismo. Por ello tampoco se observa una delimitacin clara de las semanas, secciones, sesiones, partes, captulos o cualquier otra unidad de dosificacin y de la actividad instruccional. La posible razn de estas variaciones se debe a que en primer lugar no se estableci un formato definitivo para la presentacin de las propuestas, lo cual dejaba la posibilidad que el 15

estudiante interpretara las instrucciones y elaborara su propuesta enteramente a su albedro. Por otro lado los criterios para la evaluacin de la calidad de las propuestas fueron establecidos en la semana siguiente a la presentacin de las propuestas, por lo cual se est evaluando un trabajo segn criterios que se definieron a posteriori, lo cual es desventajoso para el que est siendo evaluado, si se conocen los criterios de evaluacin a priori, la propuesta hubiese tenido una calificacin mucho ms alta. Por otro lado hay que recordar que la aplicacin de este instrumento con absoluto apego a los criterios presenta ciertas limitaciones y dificultades en el caso actual, dado que el instrumento est diseado para evaluar la calidad de cursos completamente desarrollados, y en este caso se seleccionaron algunos criterios para aplicarlos a un macro diseo general de un mdulo circunscrito a una propuesta que es desconocida para el investigador. Por lo tanto existen criterios de cuya veracidad puede dudarse debido a la aplicacin descontextualizada del instrumento a una seccin de la propuesta sin conocer la misma en su completitud.

16

Conclusiones:
Al finalizar esta investigacin se llegan a las siguientes conclusiones: Los criterios de evaluacin de los cursos de la red Educ@l presentada por Salas (2010) son aplicables a cualquier curso desarrollado en la modalidad e-learning, sirviendo tambin como gua para el desarrollo de cursos con mayor nivel de calidad; por ello fue seleccionada esta metodologa para la evaluacin de la calidad de dos cursos desarrollados por estudiantes de la Maestra en Educacin a Distancia e-Learning, de la CIU. Se seleccionaron los trabajos de Castaeda (2013) y Rivadeneira (2013) como muestra del estudio. Se aplicaron los instrumentos a ambos trabajos obteniendo el trabajo de Castaeda conformidad en 31 criterios, lo cual se considera Bueno, y el de Rivadeneira conformidad en 30 criterios el cual tambin se considera Bueno. Se observ que la no existencia de un formato pre-establecido para la presentacin de las propuestas afecta negativamente la calificacin de las mismas y dificulta la aplicacin del instrumento. Se observ que el no conocer los estndares con los que va a ser evaluado el trabajo tambin afecta negativamente la calificacin.

17

Referencias Bibliogrficas:
Castaeda, Edward. (2013). Plan de capacitacin en herramientas de Google+ aplicados a la docencia universitaria. Caso UPEL-IPB: Mdulo Google + y Hangout. Disponible en: http://www.slideshare.net/edwuard53/modulo-iv28347673 . Recuperado: 22/11/2013. Rivadeneira, Jaime. (2013). Plan de capacitacin en herramientas de google drive aplicados a la docencia universitaria. Caso UPEL-IPB. Disponible en: http://es.slideshare.net/j_rivaden/mdulo2-j-rivad . Recuperado:22/11/2013. Salas, Marianela. (2010). Criterios para la evaluacin de los Cursos de la Red Educ@l. Red Educ@l y inWent, Alemania. Disponible en: http://educ-al.org/wpcontent/uploads/2013/03/criterios-guia-educal.pdf . Recuperado: 22/11/2013.

18