You are on page 1of 13

Evaluacin y mejora de la calidad

de los recursos educativos electrnicos


en el mbito universitario espaol
desde un enfoque documental
Information-driven quality assessment and improvement of electronic educative resources
in the Spanish university environment

Mara PINTO MOLINA

Universidad de Granada, mpinto@ugr.es

Resumen Abstract
Se aborda la necesidad de evaluacin de la calidad The need to evaluate the quality of the electronic
de los recursos educativos electrnicos en contextos learning resources in virtual context is analyzed as a
virtuales como apuesta estratgica para el aprendi- strategic bet in pursue of a more significative learning
zaje significativo en un momento de cambio hacia la in the current Spanish educational environment, char-
plena convergencia europea. Se insiste en la necesi- acterized by the change toward the European educa-
dad de fomentar el entrenamiento en la competencia tional convergence. The need to promote the training
evaluadora de profesores y estudiantes y se men- in the assessment competence of both students and
ciona algunos instrumentos de ayuda para el diag- teachers is stressed. Some tools for the objective
nstico objetivo de la calidad de los recursos educa- quality assessment of the educational electronic re-
tivos electrnicos para determinar aquellos que sources are presented that can ensure that they reach
renan un umbral de excelencia adecuado. Se expo- an adequate level of excelence. The master guide-
nen las lneas maestras del proyecto de investigacin lines of the R&D project EVALUAREED is presented,
y desarrollo EVALUAREED en el marco de la en- specifically oriented to the higher education envi-
seanza superior. ronment.
Palabras clave: Evaluacin de la calidad. Recursos Keywords: Quality assessment. Electronic resources.
educativos electrnicos. Aprendizaje electrnico. Educational resources. E-Learning. Higher education.
Enseanza superior. Proyecto EVALUAREED. EVALUAREED project.

1. Introduccin (1) La sociedad en la que vivimos, caracterizada


por un uso masivo de informacin y de tecnolo-
Cada vez ms cercano el compromiso de cons- gas, y que ha sido denominada Sociedad del
truccin del Espacio Europeo de Educacin Conocimiento, precisa de unas estructuras or-
Superior, todos los sistemas universitarios euro- ganizativas flexibles en la educacin superior,
peos se esfuerzan por alcanzar los objetivos de que posibiliten tanto un amplio acceso social al
integracin propuestos para el ao 2010. Entre conocimiento como una capacitacin personal
las premisas bsicas de las directrices de la crtica que favorezca la evaluacin e interpreta-
Declaracin de Bolonia, la individualizacin del cin de la informacin y la generacin del propio
aprendizaje y la responsabilidad del estudiante conocimiento.
ante su propio aprendizaje, constituyen cuestio-
nes que deben ser asumidas en la renovacin La aplicacin cada vez ms generalizada de las
de los mtodos pedaggicos, en la lnea de las Tecnologas de la Informacin y la Comunica-
teoras constructivistas segn las cuales el cin (TIC) al mbito educativo (TICE) est facili-
aprendizaje es visto como un proceso de cons- tando la renovacin de los mtodos pedaggi-
truccin individual interna de dicho conocimiento cos y educativos, y la potenciacin de nuevos
(Jonassen, 1991) y, por tanto, los nuevos mode- entornos de enseanza-aprendizaje concebidos
los educativos basados en competencias y habi- como espacios abiertos, flexibles, interactivos y
lidades deben reemplazar a los antiguos mode- dinmicos, donde se integran de manera co-
los basados en la enseanza del profesorado y herente todos los elementos que componen
el estudio pasivo por parte del alumnado. estas comunidades virtuales de aprendizaje. Es
el llamado aprendizaje en contextos virtuales,
que hacen uso de plataformas virtuales de

Pinto Molina, Mara. Evaluacin y mejora de la calidad de los recursos educativos electrnicos en el
mbito universitario espaol desde un enfoque documental. // Ibersid. (2010) 105-116. ISSN 1888-0967.
106

aprendizaje cuyo funcionamiento gira en torno a como el intercambio de informacin entre ellos.
las herramientas tecnolgicas. Las TICE pro- Si la informacin es una necesidad consustan-
porcionan las herramientas necesarias para cial al desarrollo cognitivo y social y las compe-
llevar a cabo estas nuevas formas innovadoras tencias para su control y gestin son inherentes
de aprendizaje y son utilizadas como instrumen- a todo proceso formativo, el enriquecimiento y la
tos pedaggicos en los nuevos entornos de mejora en las aplicaciones disponibles para ello
aprendizaje virtual. representa un avance que toda formacin ha de
tomar en consideracin. Rumsey (2008) subra-
Un entorno de aprendizaje se define como un
ya la importancia fundamental que el aprendiza-
lugar o una comunidad donde se llevan a cabo
je de las habilidades informacionales representa
una serie de actividades con la finalidad de apo-
para todo profesor y estudiante, destacando
yar el aprendizaje y donde los actores tienen
aquellas relacionadas con la competencia eva-
acceso a numerosos recursos electrnicos
luadora. El problema con se encuentra el estu-
(Unin Europea, 2004). En el sistema universita-
diante de cualquier disciplina est relacionado
rio espaol cada vez ms son los centros que
con varios factores concurrentes que dificultan
incorporan formacin a distancia y plataformas
alcanzar no slo estos objetivos bsicos, sino
virtuales como recursos tecnolgicos de ense-
igualmente los ms sofisticados relacionados
anza-aprendizaje abiertos, dinmicos y flexi-
con el pensamiento crtico y evaluativo en el uso
bles. Dentro de la misma Universidad, la ense-
de la informacin (Leu y Kinzer, 2000). Estos
anza a distancia apoyada en Internet supone
factores son el crecimiento exponencial de toda
adems un complemento muy interesante y til
la informacin disponible, la dispersin de la
a las clases presenciales, al utilizar recursos
misma en mltiples soportes y formatos, sobre
tecnolgicos generalmente conocidos por los
todo con el desarrollo de internet (Alvermann,
estudiantes como las herramientas de comu-
Swafford y Montero, 2004), y su infrautilizacin
nicacin y de participacin: foros, chats, correo
debido a carencias formativas o a las dificulta-
electrnico , utilizados ampliamente en su
des de acceso inherente a algunos tipos docu-
vida cotidiana. El manejar dichos recursos para
mentales (Baildon y Baildonm, 2008).
sus clases los motiva en su aprendizaje. Por
otra parte, la implantacin del crdito europeo, As pues, como paso ineludible en cualquier
que computa el trabajo presencial y no presen- proceso de formacin y aprendizaje, est el
cial del estudiante, abre todo un campo de posi- conocimiento y dominio de las habilidades y
bilidades a la enseanza virtual o semipresen- destrezas relacionadas con el uso y aprove-
cial, con lo cual, el futuro de la enseanza y la chamiento de la informacin y de las tecnolo-
formacin a travs de Internet es imparable. gas, englobado bajo el paradigma de compe-
Efectivamente, un 52% de las universidades tencia informacin o alfabetizacin informacio-
espaolas tienen algn tipo de oferta docente a nal. En el aprendizaje por competencias, el es-
travs de Internet, ya sea propia o compartida tudiante se convierte en protagonista activo de
con otros centros. En Espaa, esta oferta se un aprendizaje virtual, interactivo, compartido y
resume en dos modelos de oferta docente uni- distribuido. La adquisicin de destrezas en habi-
versitaria a travs de Internet: campus virtuales lidades relacionadas con el uso y evaluacin de
paralelos a la red fsica de centros presencia- los recursos de informacin le permitir afrontar
les y la constitucin de universidades comple- las competencias especficas de su rea de
tamente virtuales, como la Universitat Oberta de conocimiento. Este cambio del proceso educati-
Catalunya. Por otro lado, es interesante sealar vo, que supone el paso de una educacin cen-
que las universidades pblicas (61%) casi do- trada en la enseanza a una educacin centra-
blan el porcentaje de centros privados (31,5%) da en el aprendizaje, implica un nuevo enfoque
que disponen de alguna oferta formativa virtual. en el papel de los educadores y de las activida-
des educativas, y da un mayor nfasis a los
2. El aprendizaje autnomo resultados de aprendizaje. El aprendizaje basa-
y el protagonismo de los recursos do en competencias refleja la capacidad del
electrnicos educativos estudiante para poner en prctica de manera
integrada habilidades, conocimientos y actitudes
El desarrollo de Internet y de las tecnologas de para enfrentarse y poder resolver problemas y
la informacin han alterado el panorama de las situaciones. Adems, permiten evaluar su grado
fuentes de informacin y de los sistemas de de preparacin, suficiencia y responsabilidad.
recuperacin inherentes a ellas, debido a la
Este aprendizaje basado en competencias
aparicin de fuentes documentales completa-
cuenta con interesantes antecedentes como los
mente nuevas y de aplicaciones de navegabili-
desarrollados en los proyectos DESECO (2002),
dad e intercambio de informacin que han po-
tenciado la interconexin entre usuarios as

Pinto Molina, Mara. Evaluacin y mejora de la calidad de los recursos educativos electrnicos en el
mbito universitario espaol desde un enfoque documental. // Ibersid. (2010) 105-116. ISSN 1888-0967.
107

TUNING (2003), Alfin-EEES (Pinto y Garca, paralela y progresiva, de manera que la produc-
2007) e INFOLITRANS (Pinto y Sales, 2008) cin de los recursos educativos electrnicos es
actualmente muy abundante. La variedad y
Nuestro enfoque del aprendizaje parte de estas
tipologa de los mismos es, como podemos
premisas bsicas (Comunidad Europea, 2003):
imaginar, inmensa, en funcin de los contextos
Aprender es un proceso significativo que educativos, de los tipos de actividad, de las
ocurre a lo largo de toda la vida, y que se ex- aplicaciones y los formatos utilizados o de las
tiende en mltiples espacios, tiempos y for- plataformas o entornos virtuales de aprendizaje
mas. Est vinculado a las experiencias vita- en donde se desarrollen este tipo de materiales.
les y a las necesidades de los individuos, as Tal variedad constituye una dificultad a la hora
como a su contexto sociocultural. de disear estndares que permitan la compar-
ticin y la interoperabilidad de recursos educati-
Aprender supone el trnsito de la dependen- vos, que es la tendencia actual en este mbito y
cia del individuo a la independencia, de la re-
sobre la que se estn proporcionando diferentes
gulacin externa a la autorregulacin. El pro-
soluciones, especialmente a nivel de institucio-
ceso de aprendizaje posee tanto componen-
nes y organismos educativos. Pero es que la
tes intelectuales como afectivos: se constru-
heterogeneidad se manifiesta desde los inicios
yen conocimientos, se adquieren destrezas,
de modo que se observa en la literatura cuando
capacidades y habilidades, pero tambin se
se trata de definir qu se entiende por recurso
adquieren y modelan valores, convicciones
educativo electrnico, o incluso a la luz de las
Siendo el centro del aprendizaje el individuo diversas y variadas formas de denominar a es-
que aprende, aprender es un proceso de tos productos. Parece existir una falta de con-
participacin y de interaccin, que fomenta el senso sobre la definicin concreta y la descrip-
espritu reflexivo y la evaluacin crtica para cin de los recursos educativos electrnicos,
solucionar problemas y tomar decisiones. aunque se opta por utilizar de forma ms gene-
ralizada el concepto de objeto de aprendizaje,
El aprendizaje conlleva la interaccin del objeto educativo u objeto digital educativo
estudiante con los contenidos. En la actual (Fernndez Manjn et al., 2007), traduccin del
sociedad de la informacin, con un claro pro- ingls Learning Object (LO), como unidad bsi-
tagonismo de las TICs, va incrementndose ca a partir de la cual pueden construirse estruc-
la modalidad de enseanza online, con un turas y elementos de contenido ms complejos.
claro protagonismo de la virtualidad, la hiper- Esta concepcin de Objeto de Aprendizaje (OA)
textualidad, la interaccin y el uso de recur- est basada en el paradigma de la Programa-
sos educativos electrnicos disponibles prin- cin Orientada por Objetos, y se plantea como
cipalmente en la web. Estos ltimos caracte- un modelo normalizado para la produccin de
rizados por la inmaterialidad, interactividad, contenidos y recursos educativos modulares,
instantaneidad e interconexin, han abierto que puedan ser reutilizados en diferentes con-
nuevas posibilidades y ventajas como el in- textos y en distintas plataformas tecnolgicas
cremento considerable de la cantidad de in- (Correa, 2006). Las definiciones sobre OA son
formacin disponible, la posibilidad de inter- amplias y variadas. Apuntamos algunas de
comunicacin, el intercambio de opiniones, ellas:
la crtica y el debate en tiempo real. Favore-
cen enormemente el autoaprendizaje y apor- El Institute for Electrical and Electronic Engine-
tan al estudiante una gran diversidad de fun- ers (IEEE, 2001) define el objeto de aprendizaje
ciones. No slo transmiten informacin, sino como cualquier entidad, digital o no digital, que
tambin evaluacin, modelizacin, simula- puede ser usada, reutilizada o referenciada
cin, etc. durante un proceso de aprendizaje apoyado por
la tecnologa. Wiley (2002) intenta refinar esta
Para que el aprendizaje en entornos virtuales definicin que considera un tanto extensa y
sea realmente significativo, debe de cumplirse apunta que un OA es cualquier recurso digital
estas premisas: de una parte el tutor deber que pueda ser reutilizado como soporte para el
disponer de habilidades cognitivas que poten- aprendizaje, resaltando las caractersticas de
cien el pensamiento crtico y la capacidad de reusabilidad, adaptabilidad y escalabilidad de
aprender a aprender; y, de otra, los recursos los OA (2002). Polsani (2003) redunda en la
educativos ofertados habrn de cumplir un caracterstica de reusabilidad: una unidad inde-
estndar de calidad adecuado para que favo- pendiente y auto contenida de contenido de
rezca el aprendizaje. aprendizaje que esta predispuesta a ser reutili-
Con la utilizacin creciente de las TIC en la en- zada en mltiples contextos de aprendizaje. Y
seanza, la demanda de contenidos educativos para Lpez Guzmn (2005) un OA es cualquier
para el aprendizaje ha ido creciendo de forma recurso con una intencin formativa, compuesto

Pinto Molina, Mara. Evaluacin y mejora de la calidad de los recursos educativos electrnicos en el
mbito universitario espaol desde un enfoque documental. // Ibersid. (2010) 105-116. ISSN 1888-0967.
108

de uno o varios elementos digitales, descrito un gran avance hacia la sistematizacin en el


con metadatos, que pueda ser utilizado y reutili- desarrollo y produccin de contenidos educati-
zado dentro de un entorno e-learning. vos, aunque no exista unanimidad en los mode-
los de metadatos utilizados en los repositorios
Estas y otras definiciones son muestra de las
de contenidos educativos de las instituciones
condiciones que caracterizan bsicamente a los
que los mantienen.
objetos de aprendizaje: 1) son reutilizables por-
que pueden ser modificados y reutilizados en En cualquier caso, la tendencia a compartir y a
diferentes contextos, 2) son interoperables, crear recursos educativos abiertos y accesibles a
porque pueden operar en diferentes plataformas todos aumenta de manera progresiva, y se con-
tecnolgicas; 3) son durables, pues son flexibles forma un nuevo trmino, el Recurso Educativo
y fciles de actualizar; y 4) son accesibles, pues Abierto (Open Educational Resource, OER) en-
son fciles de localizar y recuperar en una base tendido como aquellos materiales en formato
de datos o en cualquier sistema de almacena- digital que se ofrecen de manera gratuita y abier-
miento de contenidos educativos, gracias a ta para educadores, estudiantes y autodidactas
estar normalizados por los metadatos. para su uso y re-uso en la enseanza, el apren-
dizaje y la investigacin (UNESCO, 2002). Los
Resulta evidente la preocupacin por establecer
nuevos escenarios educativos propician una
criterios normalizados para la produccin de
demanda creciente de este tipo de recursos
contenidos educativos electrnicos que posibili-
abiertos, modulares, flexibles, adaptables y de
ten la interoperabilidad y la reutilizacin de los
calidad en todos los niveles y reas de la ense-
mismos, con vistas no slo a un ahorro de tipo
anza, incluida la universitaria, que puedan ser
econmico, sino sobre todo de esfuerzos y de
utilizados y adaptados a la diversidad de circuns-
dispersin. Por este motivo, muchas institucio-
tancias y contextos didcticos. Por esta razn,
nes y organismos se han ocupado de definir
se estn llevando a cabo por parte de diferentes
estndares para normalizar los OA y establecer
instancias, tanto pblicas como privadas, iniciati-
un lenguaje comn para permitir la comunica-
vas y actuaciones para ofrecer recursos educati-
cin y la interoperabilidad entre las distintas
vos de forma abierta a travs de Internet. Es el
plataformas tcnicas que los gestionan. Ello se
movimiento conocido como open courseware
consigue gracias a la estandarizacin de meta-
(OCW) o repositorios de OER, cuya filosofa de
datos que identifican, describen y clasifican los
compartir el conocimiento gracias a las posibili-
objetos de aprendizaje. Pero tambin en este
dades proporcionadas por la evolucin de la web
caso, encontramos una gran variedad de estn-
en los ltimos aos, est teniendo una gran re-
dares. Por ejemplo, Learning Object Metadata
percusin en todos los mbitos. La institucin
(LOM) es el modelo de Metadatos para la des-
ms representativa en este caso es el Massa-
cripcin de los recursos de aprendizaje propues-
chussets Institute of Technology (MIT) que en
to por el IEEE. ARIADNE (Alliance of Remote
2001 pone en marcha su proyecto de almacenar
Instructional Authoring and Distribution Net-
y difundir de manera pblica y abiertos sus con-
works for Europe) trabaja en la creacin de me-
tenidos docentes universitarios, con el propsito
todologas para el desarrollo, gestin y reutiliza-
ms ambicioso de crear un movimiento flexible
cin de contenidos educativos, la definicin de
basado en un modelo eficiente que otras univer-
curricula y metadata educativos. Advanced Dis-
sidades puedan emular a la hora de publicar sus
tributed Learning (ADL), una iniciativa del De-
propios materiales pedaggicos generando si-
partamento de Defensa de los Estados Unidos
nergias y espacios de colaboracin. Y efectiva-
que trabaja en colaboracin con otras muchas
mente, el OCW del MIT se ha convertido en un
organizaciones, es la impulsora del estndar de
ejemplo seguido por muchas otras instituciones
e-learning internacional SCORM (Shareable
universitarias, y se ha conformado un consorcio
Content Object Reference Model), un modelo de
denominado OCW Consortium (http://www. ocw-
agregacin de contenidos que define la manera
consortium.org/) que engloba a ms de cien
de especificar la organizacin interna de los
instituciones universitarias de Amrica, Europa,
Objetos (estructura), el etiquetado de los Obje-
frica y Asia, interesadas en la produccin y
tos (metadatos), y el modo de empaquetarlos
comparticin de recursos educativos abiertos de
con el fin de permitir su interoperabilidad en
forma normalizada. En Espaa, Universia ha
diferentes sistemas y plataformas tecnolgicas
decidido participar en esta iniciativa y crear un
(Correa, 2006). O la iniciativa de Dublin Core
OCW entre universidades espaolas e iberoa-
Metadata (DCMI) que trabaja tambin en el
mericanas (http://ocw.universia.net/es/).
desarrollo de estndares de metadatos que
faciliten la interoperabilidad. En definitiva, los En el caso de los OCW, los recursos u objetos
Objetos de Aprendizaje y su descripcin por de aprendizaje son todos los materiales docen-
medio de metadatos estandarizados suponen tes que los profesores universitarios utilizan en

Pinto Molina, Mara. Evaluacin y mejora de la calidad de los recursos educativos electrnicos en el
mbito universitario espaol desde un enfoque documental. // Ibersid. (2010) 105-116. ISSN 1888-0967.
109

sus prcticas educativas, y que pueden ser 3. La necesidad de instrumentos


programas docentes, ejercicios y actividades evaluadores
propuestas en clase, vdeos, y dems documen-
tos de cualquier formato utilizados en clase. La Se sabe que un adecuado control de la calidad
definicin de OCW propuesta por el MIT es la en la produccin, presentacin y acceso de los
de un espacio web que contiene materiales entornos y recursos digitales favorece los pro-
docentes creados por profesores para la forma- cesos de enseanza-aprendizaje permitiendo
cin superior, que representan un conjunto de una mayor implicacin de la comunidad educati-
recursos (documentos, programa, calendario,...) va universitaria en el conjunto del proceso edu-
utilizados en el proceso de enseanza- cativo. Cuanto mayor es la calidad de los recur-
aprendizaje de las asignaturas que imparten los sos que las universidades ponen a disposicin
profesores, que se ofrecen libremente y que son de los estudiantes mayor es tambin su visibili-
accesibles universalmente en la red. Su difusin dad y presencia en el contexto cientfico nacio-
no se encuentra limitada por cuestiones relati- nal e internacional.
vas a la propiedad intelectual, permitindose el La evaluacin de la calidad de los recursos de
uso, la reutilizacin, la adaptacin y la distribu- aprendizaje virtual es una necesidad ineludible
cin por otros, con ciertas restricciones (Creati- que choca con la dificultad que plantea su cre-
ve Commons). As pues, aunque el MIT presen- cimiento exponencial. A las caractersticas que
ta una serie de categoras de elementos defini- debe tener cualquier recurso digital se suman
dos para describir las asignaturas, stos no son las especficas de los recursos educativos, ms
obligatorios, de forma que los docentes pueden centradas en el aprendizaje y en la adquisicin
elegir los elementos descriptivos que consideren de competencias.
adecuados para sus cursos (Pernas y Marco,
2007). En cualquier caso y a pesar de estas Los criterios bsicos de calidad de los recursos
diferencias entre asignaturas, los OCW consti- de informacin digital en general y de los recur-
tuyen un conjunto homogneo vlido para poder sos educativos digitales en particular ha sido
evaluar su calidad. ampliamente abordada en la literatura, aunque
se aprecia una gran dispersin en su valoracin
El papel que deben de desempear los recursos y uso. (Shneiderman, 1998; Nielsen, 1993; Mar-
educativos electrnicos en el proceso de ense- zal, 2008).
anza-aprendizaje puede quedar resumido en
las siguientes funciones (Pinto, 2009): El trmino calidad, aplicado a la informacin
digital, es una meta que implica un proceso
Motivadora: posibilitan un mayor acerca- continuo de planificacin, anlisis, diseo, im-
miento a la realidad y ofrecen un contenido plementacin, promocin e innovacin, para
ms real, que ayude a salir a la enseanza asegurar que la informacin cubra las necesida-
del puro verbalismo, generando un efecto des de formacin y aprendizaje de los usuarios
positivo y motivador que favorecer un am- en cuanto a contenido, presentacin y usabili-
biente de aprendizaje ms favorable. dad. Sin embargo, no todos los productores de
De apoyo para la presentacin del contenido: informacin apuestan por la calidad debido al
Es una de las funciones fundamentales de esfuerzo que ello requiere y por eso encontra-
los medios y recursos digitales al convertirse mos en internet recursos de todo tipo. Si a esto
en un pilar de apoyo favorecedor de los pro- le sumamos la naturaleza catica de la red, que
cesos de aprendizaje que permiten alcanzar dificulta la bsqueda, la identificacin y la locali-
los objetivos propuestos. zacin de la informacin deseada veremos que
se hace necesario conocer las caractersticas
Estructuradora: Es la capacidad metodolgi- que definan la calidad de los recursos educati-
ca que tienen los medios electrnicos para vos electrnicos, para poder valorarlos y filtrar-
guiar las actividades del estudiante y facilitar los. De ah que la valoracin y determinacin de
determinadas experiencias de aprendizaje. su calidad sea un elemento importante para
En este sentido, la enseanza en lnea, y los profesores, educadores, estudiantes e institu-
recursos electrnicos a ella asociados puede ciones educativas (MEC, 1995).
ponerse como ejemplo de un medio de
mximo poder estructurador en lo metodol- Por tanto, aplicadas las definiciones de calidad
gico. al mbito de la informacin podramos decir que
la calidad de la informacin de un recurso edu-
cativo electrnico vendr determinada por su
capacidad para satisfacer las necesidades de
informacin de los estudiantes y profesores que
lo utilicen o consulten. Si bien, esto puede ser

Pinto Molina, Mara. Evaluacin y mejora de la calidad de los recursos educativos electrnicos en el
mbito universitario espaol desde un enfoque documental. // Ibersid. (2010) 105-116. ISSN 1888-0967.
110

muy relativo, ya que la apreciacin de la calidad cin, es evidente que tambin hay un com-
es subjetiva y lo que para una persona puede ponente objetivo relacionado con la finalidad
ser vlido puede no serlo para otra, lo cierto es de la informacin y el perfil de estudiante al
que hay una serie de convenciones universal- que se dirige.
mente aceptadas de las dimensiones deseables
Adecuacin: es importante saber a qu estu-
de la informacin de calidad que podemos
diantes va dirigida la informacin a la hora de
agrupar en estas cuatro categoras: intrnseca,
divulgarla y adecuarla a ese perfil.
contextual, representacional y accesibilidad.
La calidad representacional trata de la forma en
La calidad intrinseca hace referencia a la cali-
que se representa la informacin, as como de
dad de la informacin per se , a su valor objetivo
todos los aspectos tcnicos referidos a su es-
independientemente de su forma de difusin,
tructura. Se deben analizar estos aspectos: tipo
diseo o al pblico al que va dirigido. Se englo-
de formato, claridad, concisin, compatibilidad,
ban aqu aspectos como:
diseo, homogeneidad de los datos
Rigor cientfico: Es importante que la infor-
La calidad del acceso engloba los aspectos
macin que aporte un documento est basa-
relativos al cmo se accede a la informacin,
da en la evidencia cientfica, en la reflexin y
tales como tiempo de espera, navegacin y
en los mtodos cientficos propios de cada
seguridad.
disciplina.
Con el incremento del uso de las TIC en la edu-
Integridad: La informacin no debe ser par-
cacin y en programas e-learning, la evaluacin
cial ni sesgada, sino que debe presentarse
y la mejora por la calidad de los recursos digita-
en su totalidad a no ser que la finalidad del
les educativos disponibles en Internet se ha
documento sea resumir o abreviar otra in-
convertido en un frente de investigacin impor-
formacin.
tante y a la vez un reto que tienen que afrontar
Objetividad: Depende del autor de la misma los organismos pblicos competentes, como
y no de la percepcin del estudiante. La cre- sucede tanto en pases de la Unin Europea:
dibilidad de la informacin se asocia a la Portugal, Francia, Gran Bretaa o Italia, como
confianza que nos merezca el responsable de Norteamrica: Canad y Estados Unidos.
de su contenido en funcin de su autoridad y Cualquiera de ellos ha desarrollado marcas de
su afiliacin acadmica. reconocimiento que avalan la calidad de los
recursos educativos electrnicos con fines de
Precisin: Tiene que ver con la exactitud de
aprendizaje a lo largo de la vida, tanto a nivel de
la informacin y con el nivel de profundidad
sus contenidos, del acceso y navegabilidad
con que se aborda un tema. No obstante, es-
como de la ergonoma.
ta dimensin depende de la intencin y las
pretensiones del recurso y del tipo de estu- La evaluacin de los recursos educativos
diante al que va dirigida. electrnicos ha sido objeto de estudio a nivel
internacional, se han propuesto pautas, se han
La calidad contextual est relacionada con el
establecido diferentes metodologas y el elenco
contexto en el que se accede a la informacin y
de criterios e indicadores de evaluacin es bas-
con la adecuacin a las necesidades del siste-
tante notable. De hecho en la literatura pode-
ma y del estudiante.
mos encontrar tanto trabajos de carcter terico
Relevancia: Sera la adecuacin de la infor- (British Columbia, 2002; Branch, Kim, Koencke,
macin a las necesidades de los estudiantes. 2000; Reinders, Lewis, 2006; Hosie, Schibeli,
Es por tanto una dimensin de valoracin 2005), como anlisis concretos de casos (Mar-
subjetiva condicionada al tipo de estudiante kland y Kemp, 2004; Lind, 2005; Li, Nesbit, Ri-
que la usa. chards, 2006). En Espaa no son muchos los
estudios y generalmente abordan este tema
Valor aadido. En muchas ocasiones los desde un enfoque parcial, centrado en algunos
elementos de valor aadido facilitan el uso
tipos de recursos o en algunas disciplinas (Area,
de la informacin y permiten una mejor asi-
2002; de Pablos, 2002; Marqus Graells, 2005;
milacin de la misma, aumentando su utili-
Marzal et al., 2006, Cuevas Cervero, 2003; Daz
dad y calidad.
et al. 2002; Daz, 2003; Padrn, 2009).
Actualidad de la informacin: Determina su
La usabilidad como disciplina que estudia la
utilidad.
forma de facilitar la interaccin entre las perso-
Utilidad: Responde a la pregunta para que nas y el ordenador, de manera que los usuarios
sirve esta informacin? Aunque depende de puedan usar los sitios web de manera fcil,
para qu quiere ese estudiante esa informa- cmoda e intuitiva, es el enfoque ms generali-

Pinto Molina, Mara. Evaluacin y mejora de la calidad de los recursos educativos electrnicos en el
mbito universitario espaol desde un enfoque documental. // Ibersid. (2010) 105-116. ISSN 1888-0967.
111

zado en la literatura cientfica para evaluar la 4. El proyecto EVALUAREED


calidad de los recursos educativos electrnicos.
La usabilidad, o ms bien, la evaluacin de la Para profundizar en este tema hemos desarro-
usabilidad, ha ido incorporando matices relati- llado el proyecto I+D EVALUAREED
vos a diversos campos de estudio afines como (SEJ2007.62244) con un enfoque novedoso en
el diseo de la interfaz centrada en el usuario, la medida en que pretende, en primer lugar,
las ciencias de la computacin, las ciencias de hacer un anlisis cuantitativo y cualitativo de los
la conducta, la psicologa cognitiva, las comuni- recursos educativos electrnicos en las univer-
dades virtuales, entre otras, de manera que lo sidades espaolas, describiendo las distintas
que tradicionalmente haba sido su esfera de tipologas y sus caractersticas; en segundo
accin en el mbito Interaccin Persona- lugar, basndonos en un exhaustivo estudio de
Ordenador (HCI) se ha ido ampliando a medida la literatura cientfica ofrecer pautas concretas
de los aos, incorporando elementos de re- para evaluar la calidad de los distintos tipo de
flexin acerca de la experiencia de los usuarios, recursos digitales, con especial atencin a una
sus necesidades y expectativas, el contexto, de esas tipologas, los OCW; y, en ltimo lugar,
etc. (Preece et al., 2002). Cuando la usabilidad elaborar un software que ayude a la identifica-
es aplicada en el mbito del e-learning, los re- cin de su calidad y oriente sobre cmo mejorar
querimientos de calidad engloban elementos el recurso.
especficos derivados de los procesos de ense- El resultado final se concretar en el desarrollo
anza-aprendizaje. Es decir, no slo se valoran de un portal sobre evaluacin de recursos
aspectos relacionados con los elementos tcni- electrnicos educativos que contar con una
cos y el diseo de la interfaz web, sino tambin herramienta automtica basada en un checklist,
los elementos pedaggicos que aseguren la que ayude a la identificacin de la calidad de los
eficacia y el logro de los objetivos docentes recursos educativos electrnicos de dominio
propuestos. La necesidad de integrar las nocio- pblico presentes en las universidades espao-
nes clsicas de usabilidad y aprendizaje es las, comprobando su nivel de calidad, desta-
puesta de manifiesto por Squires (1999), al con- cando las fortalezas y los puntos de mejora.
dicionar la calidad de un recurso de e-learning
no slo al carcter usable de su diseo sino 4.1. Metodologa
tambin a su valor pedaggico. Algunos otros
autores sealan que un recurso de aprendizaje Se parte de un enfoque cualitativo-cuantitativo
electrnico puede ser muy vlido desde la pers- para llegar al establecimiento de una matriz de
pectiva de la usabilidad tcnica, pero puede no anlisis formada por criterios e indicadores pon-
tener ningn valor pedaggico, y a la inversa derados, que se aplican a una muestra repre-
(Quinn, 1996; Albion, 1999; Squires y Preece, sentativa de recursos con el objeto de determi-
1996). Esta dimensin de la usabilidad, denomi- nar su eficacia y eficiencia y sus diferentes con-
nada usabilidad pedaggica o instruccional, se textos y condiciones de uso. Los indicadores
incorpora en el desarrollo y diseo de mtodos son de dos tipos: estimados por expertos huma-
de evaluacin y valoracin de la calidad de los nos y programados en una sonda automtica.
recursos educativos electrnicos, ampliando los Se presta especial atencin a la relacin entre
criterios clsicos de la usabilidad (Reeves, ambos y a su complementariedad de cara a
1997; Laurillard, 2002; Nokelainen, 2006). permitir una evaluacin asistida por ordenador
lo ms objetiva posible aunque sin prescindir del
Las ltimas tendencias incorporan las dimensio- juicio humano en aquellos aspectos en que ste
nes afectivas del aprendizaje a la evaluacin de sea necesario. La creciente incorporacin de
las aplicaciones de e-learning. En el mbito del factores relacionados con el prestigio del res-
e-learning y de la interaccin persona- ponsable, la actualizacin, la estructuracin del
computador, el anlisis de los estados afectivos contenido, la correlacin entre contenidos de la
se convierte en una disciplina emergente (Pi- pgina y del ttulo, etc. y, por supuesto, la cita
card et al., 2004), que tiene como objetivo hacer electrnica, en los motores de bsqueda, mues-
participar a los estudiantes en una experiencia tra cmo la incorporacin de indicadores cuanti-
de aprendizaje exitosa promoviendo estados tativos de la calidad del recurso empieza a ser
afectivos positivos. Zaharias (2009) argumenta un criterio de uso creciente en la recuperacin
que la motivacin para aprender es el factor de de recursos digitales, y apoya la aproximacin
aprendizaje afectivo que ms puede influenciar propuesta en este estudio a la evaluacin de los
la interaccin de los usuarios con la aplicacin recursos y plataformas de aprendizaje.
e-learning, y propone esta motivacin como una
nueva medida de usabilidad para el diseo de e-
learning.

Pinto Molina, Mara. Evaluacin y mejora de la calidad de los recursos educativos electrnicos en el
mbito universitario espaol desde un enfoque documental. // Ibersid. (2010) 105-116. ISSN 1888-0967.
112

4.2. Fases zar el robot Sacarino para tomar datos del tipo
volumen, tamao, formatos, nmero de enlaces
La metodologa utilizada aborda las siguientes activos, nmero de enlaces errneos, nmero y
fases: la identificacin y seleccin de los recur- tipo de metadatos, visibilidad o impacto; mien-
sos a evaluar, el establecimiento de los criterios tras que para otros tendremos que acceder al
de evaluacin con la creacin del checklist y la recurso y observar y valorar otra serie de aspec-
creacin del portal EVALUA-REED. tos, como por ejemplo presentacin, accesibili-
dad, organizacin de la informacin, actualidad
4.2.1. Identificacin y seleccin de recursos a de la informacin, autora o navegabilidad.
evaluar.
En bastantes ocasiones se solventa esta cues- 4.2.3. Anlisis de los datos.
tin mediante la seleccin de una muestra alea- Se procede al anlisis cualitativo-cuantitativo de
toria lo suficientemente amplia. Esto viene dado los datos con el fin de obtener un diagnstico de
por dos factores: el desconocimiento de la tota- la situacin general de los recursos educativos
lidad de los recursos existentes, y la imposibili- electrnicos, modalidad OCW, en el conjunto de
dad de tratar de forma manual cantidades gran- las universidades espaolas, teniendo en cuen-
des de recursos. Sin embargo, la disponibilidad ta las especificidades de las universidades y de
(y la experiencia en este campo) de herramien- los mbitos temticos estudiados, con el fin de
tas y tcnicas automticas de localizacin y establecer las mejores prcticas en cada mbito
extraccin de datos, permite abordar este tema y las principales carencias, as como sus simili-
desde la perspectiva de una seleccin lo ms tudes y diferencias a travs de tcnicas de es-
exhaustiva posible de recursos de aprendizaje calamiento multidimensional y anlisis de clus-
en el dominio universitario espaol. ters. Para tener un conocimiento mayor de la
De otro lado el carcter hipermedia de este tipo situacin se observar qu factores son los que
de recursos implica la interconexin de muchos ms influyen y marcan la diferencia entre la
de tales recursos entre s, y con recursos de calidad de unos recursos y otros a travs del
otro tipo tambin. El estudio de este tipo de Anlisis de Componentes Principales y Anlisis
interconexiones podra aportar informaciones de Factorial.
inters en este campo. Pero no es posible abor-
dar este tipo de estudio limitndose a una sim- 4.2.4. Creacin del portal EVALUA-REED.
ple muestra, y, si bien no es realista pensar que Para poder dar a conocer los resultados obteni-
se van a localizar todos los recursos de este tipo dos y filtrados, se crear un portal en el que se
existentes, si creemos estar en condiciones de recojan:
localizar mediante herramientas automticas
una cantidad suficiente de recursos en funcin Enlaces y documentos referentes a la crea-
de criterios de cita y otros elementos objetivos. cin y evaluacin de recursos educativos en
formato digital adaptados a la enseanza
4.2.2. Identificacin de criterios y de la forma de universitaria.
la toma de datos Tipologa de recursos educativos digitales.
Partiendo de los criterios y metodologas pro- El checklist EVALUAREED, pilotado y vali-
puestos en la literatura para evaluar recursos dado.
digitales, se hara una seleccin de aquellos que
sean ms adecuados para la evaluacin de Los resultados detallados de la investigacin.
cada tipo de recurso. Esta etapa es especial-
Las mejores prcticas y los defectos ms
mente importante puesto que en la literatura se
comunes en este tipo de recursos, as como
han propuesto muchos de carcter general (por
un buen nmero de ejemplos para ilustrarlo.
ejemplo, Merlo Vega, 2003; Saracevic, 2002,
Bargheer, 2003; Place et al., 2006; Lee, et al., Tutoriales que ayuden al usuario a detectar
2002) y no todos son aplicables a todos los tipos la calidad de los recursos y plataformas y
de recursos educativos. Se disea una plantilla que sirvan de gua a las personas interesa-
para la recogida de informacin. Dependiendo das en su diseo o creacin.
del aspecto a evaluar en algunos casos ser
Diseo del checklist EVALUAREED (versin
posible utilizar herramientas automticas para la
piloto), que comprende un conjunto de crite-
extraccin de informacin, mientras que en
rios y subcriterios para evaluar la calidad de
otros ser imprescindible la recoleccin manual
los recursos educativos. Esta herramienta
de informacin por parte del equipo investiga-
automtica permitir evaluar la calidad de un
dor, puesto que se requerir una valoracin de
recurso a partir de los datos introducidos y
experto. Para determinados indicadores se utili-

Pinto Molina, Mara. Evaluacin y mejora de la calidad de los recursos educativos electrnicos en el
mbito universitario espaol desde un enfoque documental. // Ibersid. (2010) 105-116. ISSN 1888-0967.
113

ge nerar un informe sobre su calidad, los El contenido es relevante para conseguir los
puntos dbiles y la manera de mejorarlos objetivos de aprendizaje.
A continuacin, se detalla la propuesta del El recurso proporciona oportunidades atrac-
checklist EVALUAREED. Para cada tem, se tivas de aprendizaje.
responde s o no y, si lo hay, se pueden aadir
El recurso posee mltiples estilos de apren-
comentarios.
dizaje: audio, imgenes, video y texto.
1. Calidad del contenido: Es el contenido
El contenido trata importantes, valiosos y
apropiado y con nivel de detalles?
significativos conceptos, modelos o habilida-
Contenido libre de errores. des educativas.
Contenido apropiado y actualizado. Estimula habilidades de comunicacin.
Contenido suficientemente detallado para Anima a la interaccin del grupo.
alcanzar los objetivos de aprendizaje.
Estimula la creatividad del estudiante.
Materiales bien organizados y estructurados.
Permite/estimula al estudiante a trabajar de
Contenido secuenciado de manera lgica y forma independiente.
efectiva.
Se proporcionan herramientas apropiadas de
Actividades suficientes en nmero y en posi- evaluacin.
bilidades para conseguir los objetivos de
Se incluyen actividades individuales y activi-
aprendizaje.
dades basadas en grupo.
Existencia de recursos multimedia (apropia-
Se ofrecen instrumentos (libreta de notas,
dos).
ayudas al trabajo, recursos, glosario, etc.)
Existencia de enlaces externos a informacin que apoyan el aprendizaje.
relevante, apropiada y actualizada.
Los documentos que se descargan se ven
Existencia de seccin de FAQs. correctamente.
El vocabulario y la terminologa usados son Los documentos y la informacin del curso
apropiados para los alumnos. se pueden encontrar y localizar fcilmente.
Relevancia de los materiales de referencia. 5. Usabilidad: Es el diseo y la funcionalidad
de la interfaz del usuario sistemtica y pre-
2. Objetivos de aprendizaje: Estn clara y
decible?.
sistemticamente indicados el contenido y
las actividades. Los elementos comunes, los botones de na-
vegacin y el texto estn sistemticamente
Los objetivos, aprendizaje, contenido y acti-
situados.
vidades de evaluacin son sistemticos.
El diseo es claro, sistemtico y proporciona
Los objetivos de aprendizaje son claros y
instrucciones para la navegacin.
explcitamente indicados.
Los elementos de navegacin proporcionan
3. Feedback o motivacin: Existen posibilida-
la posibilidad de play, replay, stop y control
des de feedback para el alumno?.
del volumen.
El feedback apoya resultados de aprendizaje
Los hipervnculos, los botones y dems
positivo.
herramientas de navegacin funcionan co-
Se proporciona al alumno respuestas correc- rrectamente.
tivas en tiempo, respuestas a preguntas e in-
Los elementos grficos tienen propsitos
formacin.
educativos claros.
El feedback usa un lenguaje que motiva al
El contenido puede ser visto con un scrolling
alumno al aprendizaje y al esfuerzo.
mnimo.
Si el objetivo es interactivo, se proporciona
Existencia de una pgina modelo normaliza-
feedback a las acciones de los usuarios.
da.
4. Efectividad: Mejora el recurso el aprendiza-
6. Reusabilidad: Se puede utilizar el contenido
je y la docencia?.
de aprendizaje en otros contextos de apren-
dizaje?.

Pinto Molina, Mara. Evaluacin y mejora de la calidad de los recursos educativos electrnicos en el
mbito universitario espaol desde un enfoque documental. // Ibersid. (2010) 105-116. ISSN 1888-0967.
114

Los requisitos del software estn identifica- ser considerados recursos educativos, y la evo-
dos y no tienen ningn coste. lucin constante de la tecnologa, que nos hace
movernos en un escenario mvil en el que los
El recurso contiene todos los recursos nece-
lmites son difciles de fijar.
sarios para completar la actividad y evita de-
pendencia externa. Se pretende que el portal y el checklist EVA-
LUAREED sean de gran utilidad a la comunidad
7. Accesibilidad: Es el diseo accesible a to-
cientfica universitaria en unos momentos de
dos los alumnos?.
significativo cambio, ofreciendo una metodolo-
El recurso cumple los requisitos de accesibi- ga contrastada para evaluar y determinar la
lidad de la WAI. calidad de los recursos y plataformas educativas
electrnicas. La mejora de los recursos y entor-
El recurso est libre de problemas tcnicos nos de aprendizaje permite la creacin de redes
(enlaces errneos, errores de programacin). virtuales de conocimiento compartido y, por
8. Propiedad intelectual y copyright: Estn los tanto, la mejora del conocimiento.
derechos de compartir el recurso y de autora
indicados explcitamente en el recurso o en Notas
los metadatos?.
(1) Este trabajo es resultado del proyecto de I+D
El permiso para utilizar materiales con copy- financiado por el Ministerio de Ciencia e Innovacin
right ha sido obtenido. (SEJ 2007.62244).

El copyright est claramente indicado e in-


Referencias
cluye informacin de contacto con los titula-
res del mismo. Albion, P. R. (1999). Heuristic evaluation of educational
multimedia: from theory to practice. // Proceedings of
Si el contenido ha sido desarrollado y perte- 16th Annual conference of the Australasian Society for
nece a la persona que presenta el recurso, Computers in Learning in Tertiary Education, ASCILITE,
1999.
se adjunta una licencia Creative Commons o
similar. Alvermann, D. E.; Swafford, J.; Montero, M. K. (2004). Con-
tent area literacy instruction for the elementary grades.
Upper Saddle River, NJ: Pearson Education, 2004.
5. Conclusiones Area, Manuel; Castro, Ftima; De La Cruz, Alicia; Sanabria,
Ana; Estvez, Romn (2002). Anlisis De webs docen-
La creacin y diseo de recursos educativos tes de tecnologa Educativa y Nuevas Tecnologas apli-
electrnicos, su almacenamiento en repositorios cadas a la educacin de las universidades espaolas. //
abiertos y la comparticin y el intercambio de los X Jornada del profesorado de Tecnologa Educativa.
Barcelona, 2002. Presentacin
mismos es una tendencia que se incrementa
progresivamente en los momentos actuales en Baildon, R.; Baildon, M. (2008). Guiding Independence:
Developing a Research Tool to Support Student Deci-
todos los niveles de la educacin. La utilizacin sion Making in Selecting Online Information Sources. //
de los mismos en las prcticas docentes es ya The Reading Teacher. 61:8 (2008) 636647.
una realidad que cada vez va adquiriendo ms Bargheer, M. (2003). Quality Control and Evaluation of
peso, especialmente en la educacin universita- Scientific Web Resources. // Bibliothek. 27:3 (2003) 153-
ria, que adems est sufriendo una transforma- 169.
cin importante en sus ideas respecto a la dis- Branch, R.; Kim, D.; Koenecke, L. (2000) Online educational
materials for use in instruction. // Teacher Librarian. 28:1
ponibilidad y acceso a los materiales docentes. (2000) 21-23.
Ello es evidente a la luz de las iniciativas OCW
British Columbia, Ministry of Education. (2002). Evaluating,
de creacin de repositorios de materiales de selecting and managing learning resources.
asignaturas universitarias, de acceso abierto y http://www.bced.gov.bc.ca/irp/resdocs/esm_guide.pdf
pblico. Por lo tanto, resulta normal que el estu- (2010-03).
dio y la revisin de la literatura cientfica nos Comunidad Europea (2003). El papel de las universidades
ofrezca un inters constante por indagar estos en la Europa del Conocimiento. Bruselas, 2003.
http://www.crue.org/export/sites/Crue/procbolonia/docum
aspectos con el objetivo de encontrar criterios entos/antecedentes/7._El_papel_de_las_universidades.
de calidad en la produccin y diseo de los ma- pdf (2010-04)
teriales docentes, as como por establecer mo- Correa, L. F. (2006). El confuso universo de los Objetos de
delos de evaluacin que permitan unos recursos Aprendizaje. http://www.universia.net.co/index2.php? op-
educativos tiles, vlidos, fiables, reutilizables e tion=com_content&do_pdf=1&id=5082 (2010-03).
intercambiables. La heterogeneidad en la defini- Cuevas Cerver, A.; Calzada-Prado, J.; Colmenero Ruiz,
M.J. (2003). Recursos educativos en Internet: portales
cin de estos criterios de calidad es paralela a la educativos. // Congreso Internacional Virtual de Educa-
existente a la hora de delimitar el concepto de cin, 1-11 de abril 2003.
objeto o recurso de aprendizaje, dada la ampl- De Pablos; J.; Garca, R.; Barragn, R.; Buzn, O. (2002).
sima variedad de objetos digitales que pueden Anlisis de pginas web elaboradas por docentes de

Pinto Molina, Mara. Evaluacin y mejora de la calidad de los recursos educativos electrnicos en el
mbito universitario espaol desde un enfoque documental. // Ibersid. (2010) 105-116. ISSN 1888-0967.
115

Tecnologa educativa: una aproximacin descriptiva para Educacin: herramientas para la alfabetizacin in-
desde conceptos socioculturales. Grupo de investiga- formacional y la organizacin de recursos didcticos: Es-
cin, evaluacin y tecnologa Educativa, Facultad de tado del proyecto. // 4 Simposium Internacional de Bi-
Ciencias de la educacin, Universidad de Sevilla, 2002. bliotecas Digitales Informacin al servicio de la socie-
Daz, P.; Sicilia, M. A.; Aedo, I. (2002). Evaluation of hyper- dad, Mlaga, 21-23 de junio, 2006.
media educational systems: Criteria and imperfect mea- MEC (1995): Calidad de la educacin y eficacia de la escue-
sures. // International Conference on Computers in Edu- la: estudio sobre la gestin de los recursos educativos.
cation (ICCE 2002). Auckland (Nueva Zelanda). IEEE Madrid: Ministerio de Educacin y Ciencia, Centro de
Press. 621-626. Publicaciones, 1995.
Daz, P. (2003). Usability of hypermedia educational e- Merlo, J. A. (2003). La evaluacin de la calidad de la infor-
books. // D-Lib Magazine. 9:3 (2003). http:// macin web: aportaciones tericas y experiencias
www.dlib.org/dlib/march03/diaz/03diaz.html (2010-03). prcticas. // Recursos informativos: creacin, descripcin
Fernndez Manjn, B.; Moreno Ger, P.; Sierra Rodrguez, J. y evaluacin. Mrida: Junta de Extremadura, 2003. 101-
L.; Martnez Ortiz, I. (2007). Uso de estndares aplica- 110.
dos a Tic en educacin. CNICE. Disponible en Nielsen, J. (1993). Usability engineering. New York: Acade-
http://ares.cnice.mec.es/informes/16/versionpdf.pdf mic Press, 1993.
(2010-03). Nokelainen, P. (2006). An empirical assessment of pedago-
Hosie, P.; Schibeli, R. (2005). Checklist and Context-Bound gical usability criteria for digital learning material with
evaluations of online learning in higher education. // Bri- elementary school students. // Educational Technology &
tish Journal of Educational Technology. 36:5 (2005) 881- Society. 9:2 (2006) 178-197.
895. Organisation de Cooperation et de Developpement Econo-
IEEE Learning Technology Standards Committee (LTSC). miques. Dfinition et slection des comptences (DES-
(2001). Learning Object Metadata Working Group. Dis- ECO) : fondements thoriques et conceptuels. 2002.
ponible en http://www.ieeeltsc.org:8080/Plone (2010-03). www.portal-stat.admin.ch/deseco/deseco_doc_strategi-
Jonassen, D. (1991). Objetivism versus constructivism: Do que.pdf.
we need a new philosophical paradigm? // Journal of Padrn, M. L. (2009). Desarrollo de materiales didcticos
Educational Technology Research and Development. desde una perspectiva basada en modelos. Tesis Docto-
39:3 (1991) 5-14. ral dirigida por M. Paloma Daz Prez. Escuela Politc-
Laurillard, D. (2002). Rethinking University Teaching: A nica Superior. Universidad de Carlos III, 2009. http://e-
Conversational Framework for the Effective Use of Lear- archivo.uc3m.es/bitstream/10016/5679/1/Tesis_CL_ Pa-
ning Technologies. London and New York: Routledge, dron_Napoles.pdf (2010-04).
2002. Pernas, M.; Marco, M. (2007). Motivacin y valor del pro-
Lee, Yang W.; Strong, Diane M.; Kahn, Beverly K.; Wang, yecto OpenCourseWare: la universidad del siglo XXI.
Richard Y. (2002). AIMQ: a methodology for information Contenidos educativos en abierto. // Revista de Univer-
quality assessment. // Information and Management. sidad y Sociedad del Conocimiento (RUSC). 4:1 (2007).
40:2 (2002) 133-146. UOC. http://www.uoc.edu/rusc/4/1/dt/esp/pernias_mar-
co.pdf (2010-04).
Leu, D. J., Jr.; Kinzer, C. K. (2000). The convergence of
literacy instruction with networked technologies for in- Picard, R. W.; Papert, S; Bender, W; Blumberg, B; Breazeal,
formation and communication. // Reading Research C; Cavallo, D; et al. (2004). Affective Learning: a mani-
Quarterly. 35:1 (2000) 108-127. festo. // BT Technology Journal. 22:4 (2004).
Li, J., Nesbit, J. Richards, G. (2006). Evaluating learning Pinto, M.; Sales, D.; Bas, N.; Planelles, E. (eds.). Documen-
objects across boundaries: the semantics of localization. tacin aplicada y Espacio Europeo de Educacin Supe-
// International Journal of Distance Education Technolo- rior. Madrid, Arco Libros, 2009.
gies. 4:1 (2006) 17-30. Pinto, M.; Garca Marco, F. J. (2007). La enseanza-
Lind, L. (2005). Defining the quality of online learning mate- aprendizaje de las competencias genricas en el Espa-
rial in Finland. Policy and Innovation Committee Meeting, cio Europeo de Educacin Superior: el proyecto ALFI-
Birminghan, 2005. NEEES. En: Innovacin docente, tecnologas de la in-
formacin y la comunicacin e investigacin educativa
Lpez Guzmn, C. (2005). Los Repositorios de Objetos de en la Universidad de Zaragoza: caminando hacia Euro-
Aprendizaje como soporte a un entorno e-learning. Tra- pa. Zaragoza: Universidad, 2007. p. 62-63 + 32 p. en
bajo de Grado. Universidad de Salamanca, 2005. CD. http://www.unizar.es/eees/innovacion06/capitulo2.
http://www.biblioweb.dgsca.unam.mx/libros/repositorios/ html (2010-03)
contenido.htm (2010-03).
Pinto, M.; Sales, D. (2008). INFOLITRANS: A Model for the
Markland, M.; Kemp, B. (2004). Integrating digital resources Development of Information Competence for Translators.
into online learning environments to support the learner. // Journal of Documentation. 64:3 (2008) 413-437.
Networking Learning Conference, Lancaster University,
England. Place, E.; Kendall, M.; Hiom, D.; Booth, H.; Ayres, P.; Ma-
http://www.networkedlearningconference.org.uk/past/nlc nuel, A.; Smith, P. (2006). Internet Detective: Wise up to
2004/proceedings/symposia/symposium9/markland_kem the Web, 3rd edition, Intute Virtual Training Suite.
p.htm (2010-03). http://www.vts.intute.ac.uk/detective/ (2010-03).
Marqus Graells, P. (2005). Las webs docentes. 2005. Polsani, P. R. (2003). Use and Abuse of Reusable Learning
http://dewey.uab.es/pmarques/webdocen.htm (2010-03) Objects. // Journal of Digital information, 3 (4).
http://www.info2.uqam.ca/~nkambou/DIC9340/seances/s
Marzal, M.A.; Calzada, J.; Viannello, M. (2008). Criterios eance10et12/Standards%20et%20LO/http___jodi.ecs.
para la evaluacin de la usabilidad de los recursos edu- soton.ac.pdf (2010-04).
cativos virtuales: un anlisis desde la alfabetizacin en
informacin. // Information Research, 13:4 (2008) paper Preece, J.; Rogers, Y.; Sharp, H. (2002). Interaction Design:
387. http://InformationR.net/ir/13-4/paper387.html (2010- Beyond Human-Computer Interaction. New York: John
03). Wiley & Sons, 2002.
Marzal, M.A.; Garca Jimnez, A.; Calzada-Prado, et. al. Quinn, C. N. (1996). Pragmatic evaluation: lessons from
(2006). Documentacin y tecnologas de la informacin usability. // Proceedings of 13th Annual Conference of

Pinto Molina, Mara. Evaluacin y mejora de la calidad de los recursos educativos electrnicos en el
mbito universitario espaol desde un enfoque documental. // Ibersid. (2010) 105-116. ISSN 1888-0967.
116

the Australasian Society for Computers in Learning in Tuning, Educational Structures in Europe. Informe Final.
Tertiary Education, (1996). http://www.ascilite.org.au/ Fase Uno. Bilbao: Universidad de Deusto, 2003.
conferences/adelaide96/papers/18.html (2010-03). http://www.relint.deusto.es/TUNINGProject/spanish/doc2
Reeves, T. C. (1997). Evaluating What Really Matters in _fase1.asp (2010-03).
Computer-Based Education. http://www.eduworks.com/ UNESCO. (2002). Forum on the impact of open courseware
Documents/Workshops/EdMedia1998/docs/reeves.html for higher education in developing countries: final report.
(2010-03). Paris: UNESCO. http://unesdoc.unesco.org/images/00
Reinders, H.; Lewis, M. (2006). An evaluative checklist for 12/001285/128515e.pdf (2010-04).
self-access materials. // ELT Journal. 60:3 (2006) 272- Unin Europea (2004). Elearningeuropa.info. http://www.
278. elearningeuropa.info/ (2010-03)
Rumsey, S. (2008). How to find information. MacGraw Hill, Wiley, D. A. (2002). Connecting Learning Objects to Instruc-
2008. 7-10. tional Design Theory: A Definition, a Metaphor, and a
Saracevic, T. (2002). D-Lib Edu: resources for education in Taxonomy. D. A. Wiley (ed.), The Instructional Use of
digital libraries. http://www.scils.rutgers.edu/~tefko/ Learning Objects. Agency for Instructional Technology
D_LibEdu_home.htm (2010-03). and Association for Educational Communications and
Technology, 2002. 3-23.
Shneiderman, B. (1998). Designing the user interface: stra-
tegies for effective human-computer interaction. Rea- Zaharias, P. (2009). Developing a Usability Evaluation Met-
ding: Addison-Wesley, 1998. hod for E-learning Applications: From Functional Usabili-
ty to Motivation to Learn. // International Journal of
Squires, D.; Preece, J. (1996). Usability and learning: eva- Human-Computer Interaction. 25:1 (2009) 75-98.
luating the potential of educational software. // Compu-
ters and Education. 27:1 (1996) 15-22.
Squires, D. (1999). Usability and Educational Software Recibido: 24-05-2010.
Design: Special Issue of Interacting with Computers. In- Aceptado: 24-05-2010.
teracting with Computers.11:5 (1999) 463-466.

Pinto Molina, Mara. Evaluacin y mejora de la calidad de los recursos educativos electrnicos en el
mbito universitario espaol desde un enfoque documental. // Ibersid. (2010) 105-116. ISSN 1888-0967.
Copyright of Ibersid is the property of Francisco Javier Garcia Marco and its content may not be copied or
emailed to multiple sites or posted to a listserv without the copyright holder's express written permission.
However, users may print, download, or email articles for individual use.