You are on page 1of 36

Desarrollo de rbricas para evaluar las investigaciones que hacen los estudiantes

Prof. Julio E. Rodrguez Torres Prof. Nadia Cordero Centro para la Excelencia Academica Oficina de Evaluacin del Aprendizaje Estudiantil Decanato de Asuntos Acadmicos - UPR-RP 14 de octubre de 2011

Objetivos del Taller


Familiarizar a los participantes con aspectos
relevantes sobre construccin de rbricas.

Establecer los criterios que desea evaluar en un


trabajo de investigacin realizado por los estudiantes.

Comenzar el desarrollo de una rbrica para medir un


trabajo de investigacin realizado por los estudiantes.

Establecer los niveles de desempeo para una ejecucin de excelente y para una ejecucin de iniciado.

Oficina de Evaluacin del Aprendizaje Estudiantil

Marco de referencia
El marco de referencia para esta presentacin se apoya en lo siguiente:

En la revisin de la literatura del rea de desarrollo de rbricas. En lo que indican las teoras sicomtricas sobre la construccin de instrumentos.

Oficina de Evaluacin del Aprendizaje Estudiantil

Ciclo evaluativo
Se planifica

Se proponen acciones

Se pone en accin

Se recogen y analizan datos


Oficina de Evaluacin del Aprendizaje Estudiantil

Qu evidencias debemos estar buscando?


Entre otras: Informes de investigacin
Reseas historiogrficas Informes de laboratorio

Propuestas de investigacin Proyectos de investigacin


Ensayos, monografas, presentaciones orales, debates. Portafolios y otras evidencias donde se refleje una

evolucin acadmica del estudiante.


Oficina de Evaluacin del Aprendizaje Estudiantil

Qu deben hacer los profesores que interesan evaluar las destrezas de investigacin?
Redactar objetivos de aprendizaje para el avalo de destrezas

de investigacin.

Planificar y desarrollar las actividades educativas en los

cuales medir las destrezas a evaluar. informacin.

Determinar las instancias donde se recopilar la


Establecer los criterios e indicadores de desempeo para

evaluar la ejecucin.

Establecer el logro esperado.

Disear los instrumentos para recopilar informacin.


Recopilar, analizar los datos y compararlos con el logro

esperado.

Proponer acciones transformadoras.


Oficina de Evaluacin del Aprendizaje Estudiantil

Dominios del Aprendizaje Estudiantil del Recinto (Perfil del Egresado- Certificacin 46 del Senado Acadmico, 2005-2006)
Comunicacin Conocimiento, Sensibilidad tica y

Efectiva (oral y escrita) Pensamiento Crtico Investigacin y Creacin Responsabilidad Social Razonamiento Lgico-Matemtico Competencias de Informacin Trabajo en Equipo

destrezas y actitudes propias de la disciplina Integracin del Conocimiento Capacidad para Estudio Independiente Curiosidad Intelectual Aprendizaje Continuo

Esttica Aprecio, Cultivo y Compromiso con los ideales de la sociedad puertorriquea, caribea e internacional

Oficina de Evaluacin del Aprendizaje Estudiantil

Cmo evaluamos el dominio de investigacin?


Oficina de Evaluacin del Aprendizaje Estudiantil

Una alternativa es: mediante el uso de rbricas


Oficina de Evaluacin del Aprendizaje Estudiantil

Qu es una rbrica?
La rbrica es una matriz de valoracin en la cual se

establecen los criterios y los indicadores de desempeo a travs de una escalas para determinar la calidad de la ejecucin de los estudiantes en unas tareas especficas dentro de un continuo.
Permite obtener una medida aproximada,

tanto del producto como del proceso.

Oficina de Evaluacin del Aprendizaje Estudiantil

Tipos de rbricas
Generalmente se conocen dos tipos de rbricas la

global (holstica) y la analtica.

En la rbrica holstica se evala la totalidad del

proceso o producto sin juzgar por separado las partes que lo componen.

En la rbrica analtica se evala inicialmente, por

separado, las diferentes partes del producto o desempeo y luego se suma el puntaje de estas para obtener una calificacin total (Moskal, 2000; Nitko, 2001).
Oficina de Evaluacin del Aprendizaje Estudiantil

Rbricas holsticas
El uso de las matrices de valoracin holsticas para

calificar, puede resultar en un proceso ms rpido que utilizar las rbricas analticas con el mismo fin.

Como en estos casos lo que se busca es la

valoracin general, casi siempre se usan cuando el propsito de la valoracin es por su naturaleza sumativo.
retroalimentacin al estudiante.

Con este tipo de valoracin no se provee mucha

Oficina de Evaluacin del Aprendizaje Estudiantil

Rbricas analticas
Las rbricas analticas se prefieren cuando requiere un

proceso o respuesta enfocada.

Se evalan individualmente diferentes habilidades o

caractersticas que requieren que se examine el producto varias veces.

Los estudiantes reciben retroalimentacin en cada uno de los

criterios evaluados, lo que no sucede con el enfoque holstico. Lo anterior hace posible crear un "perfil" de las fortalezas y debilidades especficas de cada estudiante, y en agregado del grupo, con el fin de establecer un curso de accin para mejorar stas ltimas.
valoracin formativa.

Las matrices de valoracin analtica promueven una


Oficina de Evaluacin del Aprendizaje Estudiantil

Ejemplo de criterios al evaluar Destrezas de Comunicacion Escrita en reas evaluadas en una composicin
Tema y Estructura
Introduccin Desarrollo Conclusin

Dominio de las Estructuras Sintcticas


Estructura Sintctica Concordancia Claridad

Dominio Lxico
Riqueza Lxica Precisin y Concisin

Correccin
Acentuacin Uso de Maysculas

Oficina de Evaluacin del Aprendizaje Estudiantil

Ejercicio #1
Trabajo en grupos: Generar por lo menos cuatro criterios a evaluar en una posible investigacin a ser realizada por el estudiante.

Oficina de Evaluacin del Aprendizaje Estudiantil

Discusin grupal de Ejercicio #1

Oficina de Evaluacin del Aprendizaje Estudiantil

Posibles criterios
Introduccin Revisin de literatura Metodologa Recopilacin de datos Anlisis de los datos Conclusiones Recomendaciones
Oficina de Evaluacin del Aprendizaje Estudiantil

Elementos de la rbrica
Criterios caracterizan la conducta esperada o requerida

para completar la tarea.


Indicadores de desempeo indican el grado de

competencia que categoriza la ejecucin de los estudiantes basada en los criterios.


Niveles/Escala indica los valores o puntuaciones mediante

los cuales cuantificamos la ejecucin de los estudiantes para, de este modo, facilitar una medicin ms precisa y objetiva.

Oficina de Evaluacin del Aprendizaje Estudiantil

Modelo de rbrica
Niveles / Escala

Criterios a evaluar

Indicadores de desempeo

Oficina de Evaluacin del Aprendizaje Estudiantil

Cmo desarollar una rbrica?


Busque un buen modelo e identifique las caractersticas que

definen un buen trabajo.

Establezca con claridad dentro de esa actividad qu va a

evaluar: un (unos) objetivo(s), desempeo(s), comportamiento(s), competencia(s) o actividad(es). Determine cules va a evaluar. (validez)

Describa lo ms claramente posible, los criterios de

desempeo especficos que va a utilizar para llevar a cabo la evaluacin de esas reas. (validez)

Oficina de Evaluacin del Aprendizaje Estudiantil

Cmo desarollar una rbrica? (cont.)


Disee una escala de indicadores de calidad para calificarlas.

Esto es, establezca los indicadores de desempeo que puede alcanzar el estudiante.

Puede aadirle una escala numrica.

Revise lo que ha plasmado en la matriz de valoracin o

rbrica para asegurarse de que no le falta nada. (validez)


investigacin de modo que se permita desarrollar consistencia en la evaluacin. (confiabilidad) desarrollada en el momento que se asigna el trabajo.
Oficina de Evaluacin del Aprendizaje Estudiantil

Utilice la rbrica con sus pares en una muestra de trabajos de

Permita que los estudiantes se familiaricen con la rbrica

Al desarrollar la rbrica, considere que:


Por lo general, la escala de indicadores de calidad (o desempeo) para

calificar los diversos criterios a evaluar, se ubica en la fila horizontal superior, con una gradacin que va de mejor a peor.

Es muy importante que la gradacin de esta escala sea obvia y precisa para que exista diferencia en los distintos grados que se pueden lograr en el aprendizaje propuesto.

En la primera columna vertical se ubican los criterios o dimensiones que

se han seleccionado para evaluar.

En las celdas centrales se describe, de la forma ms clara y concisa posible, el nivel de desempeo o ejecucin, esto es, los indicadores que se van a utilizar para evaluar esos criterios.

Recuerde que estas celdas centrales explican cules son las caractersticas de un trabajo excelente, de uno deficiente y las variaciones intermedias entre el uno y el otro.
Oficina de Evaluacin del Aprendizaje Estudiantil

Posibles niveles de la escala de indicadores de desempeo


Dos niveles Satisfactorio, No satisfactorio

Tres niveles En desarrollo, Aceptable, Ejemplar No aceptable, Competente, Logrado


Cuatro niveles En inicio, En desarrollo, Satisfactorio, Excelente No aceptable, Marginal, Cumple las espectativas, Excede las espectativas
Oficina de Evaluacin del Aprendizaje Estudiantil

Niveles (tpicos) de la escala de indicadores de desempeo (cont.)


Cinco niveles Deficiente, Iniciado, Aceptable, Excede las expectativas, Excelente

Seis niveles No satisfactorio, Poco satisfactorio, Satisfactorio, Muy satisfactorio, Bueno, Excelente

Consideracin importante:
La Junta de Directores de la Asociacin Americana de Colegios y Universidades (AACU) sugiere cuatro niveles.
Oficina de Evaluacin del Aprendizaje Estudiantil

Ejercicio #2
Trabajo en grupo:
Comenzar el desarrollo de una rbrica para avaluar el desempeo de nuestros estudiantes en destrezas de investigacin.

Escoger por lo menos dos de los criterios para evaluar destrezas de investigacin que su grupo escogi. Trabajar los indicadores de desempeo para una ejecucin Excelente y el extremo opuesto a Excelente para esos dos criterios.

Oficina de Evaluacin del Aprendizaje Estudiantil

Discusin en grupo de Ejercicio 2

Oficina de Evaluacin del Aprendizaje Estudiantil

Criterio: Introduccin
Que reas podramos medir (subcriterios) bajo el criterio de Introduccin ?
Establecer el problema de investigacin.

Describir el propsito de la investigacin.


Presentar la justificacin (significado terico-prctico). Plantear las preguntas o hiptesis.

Identificar las variables. Presentar el diseo de investigacin.


Definir conceptualmente las variables. Definir operacionalmente las variables.
Oficina de Evaluacin del Aprendizaje Estudiantil

Criterio: Metodologa
Que reas podramos medir (subcriterios)bajo el criterio de Metodologa ?
Indicar el tipo de investigacin. Describir el diseo.

Adecuacidad del diseo con respecto al problema. Describir la poblacin.


Describir la muestra. Describir los instrumentos. Establecer la validez y la confiabilidad.
Oficina de Evaluacin del Aprendizaje Estudiantil

Modelo de rbrica para evaluar trabajos de investigacin


Criterio a evaluar Excelente 7-8
Plantea claramente el problema y propsito de la investigacin. El mismo es relevante. Se sustenta la justificacin o su significado terico-prctico con evidencia.
Las preguntas o hiptesis estn planteadas de manera clara y se relacionan con el problema. Se identifican todas las variables del estudio. Las variables fueron definidas conceptual y operacionalmente. Contribuye de forma clara al

Satisfactorio 5-6
Se plantea el problema y el propsito de la investigacin pero la justificacin o significado terico-prctico no est claramente sustentado. La evidencia que presenta a veces no es relevante Las preguntas o hiptesis se relacionan con el problema.

En progreso 3-4
Se plantea el problema y el propsito pero es poco relevante. Presenta confusin en la justificacin en trminos de su significado terico-prctico y la evidencia que presenta.
Las preguntas o hiptesis necesitan mejorarse para relacionarse con el problema.

Iniciado 1-2

Planteamiento del problema

El problema presentado no es claro. La justificacin no est sustentada.

INTRODUCCIN

Preguntas de investigacin

Las preguntas o las hiptesis causan confusin y no se relacionan con el problema.


No se identifican las variables y no existe su definicin conceptual y operacional. Contribuye muy poco al conocimiento de la disciplina.

Variables del estudio

Algunas variables fueron definidas conceptual y operacionalmente.

Las variables no fueron definidas operacionalmente.

Contribucin a conocimiento de la la disciplina disciplina.

Contribuye al conocimiento de la disciplina.

Su contribucin al conocimiento de la disciplina es limitada.

Oficina de Evaluacin del Aprendizaje Estudiantil

Modelo de rbrica para evaluar trabajos de investigacin (cont.)


Criterio a evaluar Excelente 7-8 Satisfactorio 5-6
La revisin de literatura tiene relacin con el problema bajo estudio. Las fuentes son bastante actualizadas (ltimos 5 aos).

En progreso 3-4
La revisin de literatura tiene una relacin limitada con el problema bajo estudio. Las fuentes no estn actualizadas. La revisin es limitada y se relaciona un poco con algunas variables.

Iniciado 1-2
La revisin de literatura tiene muy poca o ninguna relacin con el problema bajo estudio.

REVISIN DE LITERATURA

La revisin de literatura tiene Relacin con mucha relacin con el el tema de problema bajo estudio. Las investigacin fuentes son muy actualizadas (ltimos 5 aos).

Extensin

La revisin es extensa y se relaciona con las variables.

La revisin se relaciona con las variables.

La revisin es superficial y no se relaciona con algunas variables.

FUENTES DE INFORMACIN

Variedad

Las fuentes de informacin son variadas y se utilizan textos importantes de distintos autores reconocidos en el rea.

Las fuentes de informacin son variadas. Se utilizan textos de distintos autores reconocidos en el rea.

La variedad de las fuentes de informacin es limitada. Algunos textos de autores reconocidos en el rea no son consultados. Entre 59% y 40% de las fuentes de informacin provienen de textos con autoridad o revistas arbitradas.

Las fuentes de informacin son muy pocas. Se utilizan muy pocos textos de autores reconocidos en el rea.

Calidad

El 80% o ms de las fuentes de informacin provienen de textos con autoridad o revistas arbitradas.

Entre 79% y 60% de las fuentes de informacin provienen de textos con autoridad o revistas arbitradas.

Menos del 39% de las fuentes de informacin provienen de textos con autoridad o revistas arbitradas.

Oficina de Evaluacin del Aprendizaje Estudiantil

Modelo de rbrica para evaluar trabajos de investigacin (cont.)


Criterio a evaluar Diseo de investigacin

Excelente 7-8
Se describe de manera detallada el diseo. El diseo es adecuado para contestar las preguntas o hiptesis. La poblacin del estudio y la muestra fueron identificadas. El mtodo de muestreo fue descrito con claridad.

Satisfactorio 5-6
Se describe el diseo parcialmente. El diseo es adecuado para contestar las preguntas o hiptesis. Se identifica la muestra pero no la poblacin. Se presenta el mtodo de muestreo. Los instrumentos son adecuados para recopilar los datos. Se presenta evidencia de validez y de su confiabilidad. Se explica el proceso que se utilizar para proteger el anonimato de los participantes y la confidencialidad de la informacin recopilada. Se explica los posibles riegos y beneficios asociados a la participacin en el estudio.

En progreso 3-4
Se describe el diseo de manera superficial. El diseo es adecuado. Se identifica la muestra pero no el mtodo de muestreo.

Iniciado 1-2
El diseo presentado no cumple con el propsito del estudio. Se identifica la muestra pero no el mtodo de muestreo.

Poblacin y muestra

METODOLOGA

Los instrumentos son adecuados para recopilar los Fase de datos. Se establecen instrumentacin evidencias contundentes de la validez y la confiabilidad. Se explica detalladamente el proceso que se utilizar para Anonimato y proteger el anonimato de los confidencialidad participantes y la confidencialidad de la informacin recopilada.

Los instrumentos son adecuados para recopilar los datos. La evidencia que se presenta de la validez y confiabilidad es limitada. Se explica de forma limitada el proceso que se utilizar para proteger el anonimato de los participantes y de manera superficial la confidencialidad de la informacin recopilada. Se explica de forma limitada los posibles riegos y de manera superficial los beneficios asociados a la participacin en el estudio.

Presenta instrumentos pero los mismos no son adecuados para recopilar los datos. No se presenta evidencia de confiabilidad y validez de los instrumentos. No se explica el proceso que se utilizar para proteger el anonimato de los participantes y la confidencialidad de la informacin recopilada. No explica los posibles riegos y beneficios asociados a la participacin en el estudio.

Riesgos y beneficios

Se explica detalladamente los posibles riegos y beneficios asociados a la participacin en el estudio.

Oficina de Evaluacin del Aprendizaje Estudiantil

Modelo de rbrica para evaluar trabajos de investigacin (cont.)


Criterio a evaluar Excelente 7-8
La recopilacin de datos es explicada de manera detallada. Las instrucciones para la administracin de los instrumentos son claras y precisas. Se utilizan los protocolos para la proteccin de los sujetos.

Satisfactorio 5-6
La recopilacin de datos es explicada de manera parcial. Las instrucciones para la administracin de los instrumentos son claras.

En progreso 3-4
La recopilacin de datos es explicada de manera superficial. Las instrucciones para la administracin de los instrumentos presentan confusin. Se utilizan los protocolos para la proteccin de los sujetos.

Iniciado 1-2
La recopilacin de datos no est explicada de manera detallada. Las instrucciones para la administracin de los instrumentos no son claras ni precisas. No se utilizan los protocolos para la proteccin de los sujetos.

RECOPILACIN DE DATOS

Proceso

Instrucciones

Protocolo

Se utilizan los protocolos para la proteccin de los sujetos.

ANLISIS DE DATOS

Codificacin

Se indica cmo se codifican los datos y se explican las escalas de medicin.

Se explican las escalas de medicin pero no se indica cmo se codifican los datos.

Se explican las escalas de medicin pero no se indica cmo se codifican los datos.

No se indica cmo se codifican los datos y no se explican las escalas de medicin.

Descripcin del anlisis a llevarse a cabo Forma de presentar los resultados

El anlisis estadstico es adecuado para contestar las preguntas o someter a prueba las hiptesis.

El anlisis estadstico es adecuado para contestar las preguntas o someter a prueba las hiptesis.

El anlisis estadstico presenta limitaciones para contestar las preguntas o someter a prueba las hiptesis.

El anlisis estadstico no es adecuado para contestar las preguntas o someter a prueba las hiptesis.

El uso de diagramas o tablas permite presentar los resultados de manera clara.

El uso de diagramas o tablas es adecuado al presentar los resultados.

Se presentan los resultados en diagramas o tablas de forma confusa.

No se presentan los resultados de manera clara.

Oficina de Evaluacin del Aprendizaje Estudiantil

Modelo de rbrica para evaluar trabajos de investigacin (cont.)


Criterio a evaluar Excelente 7-8 Satisfactorio 5-6
Las conclusiones contestan de manera parcial las preguntas de investigacin. Las conclusiones surgen del anlisis de resultados. Se incorpora la revisin de literatura en las conclusiones aunque la misma es limitada. Las recomendaciones sugieren un anlisis de las implicaciones de las conclusiones.

En progreso 3-4
Algunas de las conclusiones contestan las preguntas de investigacin. Algunas conclusiones surgen del anlisis de resultados. Se incorpora de manera muy limitada la revisin de literatura en las conclusiones. Las recomendaciones sugieren un anlisis superficial de las implicaciones de las conclusiones. Las recomendaciones describen de forma limitada como pudiese examinase algn aspecto para un futuro estudio.

Iniciado 1-2
Las conclusiones no contestan de manera clara las preguntas de investigacin. Las conclusiones son muy generales e imprecisas. No se incorpora la revisin de literatura en las conclusiones. Se percibe muy poco o no se percibe en las recomendaciones un anlisis crtico profundo de las implicaciones de las conclusiones. Las recomendaciones describen muy poco o ninguna forma de examinar algn aspecto para un futuro estudio.

CONCLUSIONES RECOMENDACIONES

Respuesta a las Las conclusiones contestan preguntas de de manera clara las investigacin preguntas de investigacin. Anlisis crtico Las conclusiones surgen del de los anlisis de resultados. resultados Incorporacin Se incorpora la revisin de de la revisin de literatura en las conclusiones. literatura
Las recomendaciones

Relacin con las sugieren un anlisis crtico y conclusiones profundo de las


conclusiones.

Recomendacio- sugieren un nuevo enfoque nes para futuros metodolgico con el examinar algn aspecto para estudios
un futuro estudio.

Las recomendaciones

Las recomendaciones sugieren formas de examinar algn aspecto para un futuro estudio.

Oficina de Evaluacin del Aprendizaje Estudiantil

Modelo de rbrica para evaluar trabajos de investigacin (cont.)


Criterio a evaluar Excelente 7-8
Redacta el trabajo siguiendo las recomendaciones del manual de estilo en lo siguiente: uso de ttulos y subttulos, vocabulario tcnico y presentacin de datos en tablas, notacin estadstica, fichas bibliogrficas y enumeracin en el texto.

Satisfactorio 5-6
Redacta con errores menores el trabajo siguiendo las recomendaciones del manual de estilo en lo siguiente: uso de ttulos y subttulos, vocabulario tcnico y presentacin de datos en tablas, notacin estadstica, fichas bibliogrficas y enumeracin en el texto. Hace referencias directas e indirectas de las fuentes bibliogrficas que consult usando el estilo recomendado en el manual con errores menores en algunas citas y referencias utilizadas. Algunas referencias que componen la bibliografa estn escritas con errores menores segn el manual de estilo utilizado.

En progreso 3-4
Redacta con muchos errores el trabajo siguiendo las recomendaciones del manual de estilo en lo siguiente: uso de ttulos y subttulos, vocabulario tcnico y presentacin de datos en tablas, notacin estadstica, fichas bibliogrficas y enumeracin en el texto. Hace referencias directas e indirectas de las fuentes bibliogrficas que consult usando el estilo recomendado en el manual con muchos errores en algunas citas y referencias utilizadas. La mitad o ms de las referencias que componen la bibliografa estn escritas con errores mayores segn el manual de estilo utilizado.

Iniciado 1-2

Formato y estilo

Manual de estitlo

Utiliza el manual de estilo inconsistentemente en el escrito, presenta errores en todas las citas y referencias utilizadas o no utiliza el manual de estilo.

Hace referencias directas e indirectas de las fuentes Referencias bibliogrficas que consult en el texto usando el estilo recomendado en el manual.

No hace referencias directas e indirectas de las fuentes bibliograficas que consulto usando el estilo el estilo recomendado en el manual.

Las referencias que componen la bibliografa estn escritas Bibliografa correctamente segn el manual de estilo utilizado.

Las referencias que componen la bibliografa estn escritas incorrectamente segn el manual de estilo utilizado.

Oficina de Evaluacin del Aprendizaje Estudiantil

Cmo comunicarse con la OEAE?


Correo electrnico: oeaeupr@gmail.com Pgina electrnica: http://www.oeaeuprrp.blogspot.com Telfonos Cuadro: (787) 764-0000 Extensiones: 85011, 85012, 85013 y 85014

Oficina de Evaluacin del Aprendizaje Estudiantil

Muchas gracias por su atencin!

Recuerde que estamos para ayudarle a fortalecer el proceso de aprendizaje de sus estudiantes!

Oficina de Evaluacin del Aprendizaje Estudiantil