UNIVERSIDAD DE SONORA

Divisin de Ciencias Sociales

Programa de Maestra en Psicologa

Evaluacin del Desempeo Docente a partir de la Opinin de los Alumnos

TESIS
Que para obtener el Grado de:

MAESTRO EN PSICOLOGA

Presenta:

Jess Ernesto Valenzuela Medina

Asesor Director: Dr. Daniel Gonzlez Lomel

Hermosillo, Sonora, Junio de 2002.

Evaluacin del Desempeo Docente

Introduccin
El funcionamiento de una institucin descansa en gran medida en las acciones de evaluacin que realice, pues los resultados que arrojan dichos procesos permiten tomar decisiones de diversa ndole. El acto complejo de enjuiciar la calidad de los resultados obtenidos en las distintas acciones institucionales ocupa actualmente un lugar preponderante en los planes y programas de desarrollo de las instituciones de educacin superior. La importancia atribuida a la evaluacin es tal que en el discurso de algunos autores se le concibe, en el contexto de las universidades e instituciones de educacin superior, como un fin en s misma, (Arredondo, 1991, 1995), como un elemento infaltable para el xito de la misin de la universidad, y como un medio para recuperar la credibilidad ante la opinin pblica (ngeles, 1993).

La evaluacin de la enseanza ha sido un tema de inters en las universidades de primer mundo desde hace ms de cincuenta aos (Arubayi, 1987); la necesidad de evaluar los procesos educativos y sus logros tiene hoy amplia aceptacin entre los investigadores en esta rea y ms recientemente se ha incorporado en los programas gubernamentales del pas (Nieto y Maldonado, 1996). En Mxico este tema ha adquirido particular inters e importancia desde mediados de los aos ochentas (Luna, 1996). Hubo algunos intentos iniciales de evaluacin

en los aos setenta, pero el tema adquiri un estatus de poltica nacional despus de la crisis de 1982, cuando los salarios reales de los acadmicos descendieron bruscamente a la mitad, lo que constituy la motivacin inmediata tanto para la creacin del Sistema Nacional de Investigadores, como para el desarrollo de programas internos de estmulo a la productividad de los acadmicos en las principales universidades del centro del pas (Castaos, 2000).

Puede decirse que, en trminos generales, la evaluacin del personal acadmico est institucionalizada, que es parte de la organizacin de las Instituciones de Educacin Superior, y que se practican una diversidad de formas de evaluacin que comprenden cada vez ms factores (Guevara y Pacheco, 2000). Sin

Evaluacin del Desempeo Docente

embargo, existe una gran variedad de nociones sobre lo que es el aprendizaje y la enseanza, as como diferentes maneras de concebir los procesos evaluativos (Rueda y Rodrguez ,1996, p. 18).

Este trabajo se inici como una reflexin metodolgica, buscando aportar elementos a la discusin sobre la construccin de instrumentos vlidos y confiables, adaptados a las circunstancias particulares de la comunidad acadmica de la Universidad de Sonora, particularmente a la del Programa Docente de la Licenciatura en Psicologa. El cuestionario desarrollado podr incluirse en un

programa de evaluacin ms amplio, que permita retroalimentar las actividades de enseanza y mejorarlas. La opinin de los alumnos sobre el desempeo de sus

docentes representa un indicador muy importante a considerar en las tareas de evaluacin. Por ello, el desarrollo sistemtico de instrumentos como el que se

presenta es una actividad no slo deseable sino necesaria.

Evaluacin del Desempeo Docente

La evaluacin de la docencia
La figura del docente es reconocida como eje articulador de las actividades de enseanza, tanto a nivel de poltica educativa nacional como en el discurso de la calidad de la educacin. Sin embargo, los retos implcitos en el diseo de los

procesos de evaluacin adecuados a cada contexto son muy grandes. Por un lado las caractersticas institucionales, tanto contextuales como histricas, establecen uno de los obstculos para la puesta en marcha de procesos de evaluacin docente. A la vez, la diversidad de aproximaciones respecto de las maneras de evaluar el trabajo docente representa otro obstculo importante. Para la labor docente an no existe consenso relacionado con los aspectos que constituyen la definicin de un buen profesor (Rueda y Rodrguez, 1996; Marsh y Overall, 1980, Marsh, 1982, 1986).

En el contexto internacional, los trabajos de Herbert Marsh representan una importante lnea de trabajo relacionada con la utilizacin de la opinin de los estudiantes para evaluar el desempeo de sus profesores. Con ms de 20 aos de trabajo en distintos pases, este investigador y sus colaboradores han llegado a la definicin de un conjunto estable y vlido de categoras para la evaluacin del desempeo docente.

En Estados Unidos y otros pases desarrollados, desde hace ms de dos dcadas (Arubayi, 1987) y ms recientemente en Mxico (Aguirre, Botero, Loredo, Magaa, Montao, Rigo y Vargas, 2000) se plantea que la discusin acerca de si se debe evaluar la docencia ya est superada, y se concibe que el problema actual se centra en CMO hacerlo, QUIN lo hace, PARA QU se realiza.

El reto en educacin superior es definir cmo se lleva a cabo este proceso en el marco de cada institucin, debido a las diversas concepciones que pueden tenerse de la actividad que realizan los profesores.

Evaluacin del Desempeo Docente

Segn refieren Rueda y Rodrguez (1996) existen diversas dificultades para lograr consensos amplios relacionados con las tareas de evaluar la actividad acadmica. Slo como un ejemplo de esta situacin, considrese la diversidad de trminos utilizados para referirse a la actividad docente, los escritores utilizan distintos trminos: dimensiones, categoras, factores, reas, aspectos, indicadores, competencias, dominios, componentes y mbitos definitorios.

Cronin (1991) citado por Galindo y Zwaiman (2000), refiere una revisin de la literatura en la que identific la existencia de 11 dimensiones o factores principales entre los estudios sobre evaluacin docente que utilizan el cuestionario aplicado a los alumnos como mtodo de evaluacin, las cuales son: Conocimiento de la materia, Organizacin, Pasin por su trabajo, Relacin alumno-maestro, Saber escuchar, Disciplina, Importancia o relevancia, Trabajo en grupo, Superacin personal, Gozo por el trabajo y Compromiso.

Marsh y Overall (1980) y Marsh (1982) presentan un modelo para evaluar el desempeo docente al que denominan Evaluacin de la Calidad de la Educacin por el Estudiante (SEEQ: Students Evaluation of Education Quality).

El modelo incluye un cuestionario conformado por reactivos diseados para medir siete dimensiones de la enseanza efectiva. Cada reactivo incluye un aspecto especfico a evaluar. stos se responden en una escala tipo Likert de cinco anclajes, diseada para evaluar la calidad de algn aspecto expresado en cada reactivo. Los valores de la escala son Muy mal, Mal, Moderado, Bien y Muy Bien.

En la Tabla 1 se resume la estructura factorial que compone este modelo. Como puede observarse, se destaca la actividad central del profesor en la enseanza, resaltando las habilidades del mismo para impartirla a travs del mtodo de conferencia, es decir, un modelo tradicional de docencia. En trabajos

posteriores, Marsh y Bailey (1993) y Marsh y Hocevar (1991), se reportan nueve factores, los siete presentados en la tabla anterior y otros dos factores que

Evaluacin del Desempeo Docente

denominan Rapport Individual logrado por el profesor (inicialmente incluido en el factor de Interaccin), y Lecturas y Tareas Asignadas por el profesor (inicialmente incluido en el factor Valor del aprendizaje).

Tabla 1. Factores que conforman el SEEQ de Marsh y Colaboradores FACTOR NOMBRE 1 Entusiasmo/Inters DESCRIPCIN El profesor se muestra entusiasta, sus presentaciones hacen que el tema sea ms comprensible, y demuestra inters en que los alumnos entiendan los materiales y su relevancia. Se discutieron y contrastaron varios puntos de vista tericos y sus implicaciones. Los objetivos y materiales del curso estuvieron claramente esquematizados, las presentaciones en clase estuvieron bien preparadas. Se promovi que los estudiantes realizaran preguntas significativas, que solicitaran ayuda, y que expresaran sus propias ideas. Los estudiantes aprendieron algo valioso y desarrollaron una comprensin de las implicaciones del material del curso; se estimul la curiosidad intelectual. Las calificaciones fueron justas y objetivas; los exmenes midieron de manera adecuada el conocimiento del curso tal como lo enfatizaba el profesor Magnitud de la carga de trabajo en el curso; dificultad relativa del curso en comparacin con otros; tiempo invertido en el curso en horario extraclase.

2 3

Amplitud en el enfoque Organizacin

Interaccin

Valor del aprendizaje

Exmenes y calificaciones

Carga de trabajo/Nivel de dificultad

Otro modelo de evaluacin que tambin cuenta con amplio respaldo emprico es el de Frey (1978, 1982,) y colaboradores. El modelo de Frey define siete factores para la conceptualizacin y evaluacin del desempeo de un docente, los cuales son: Claridad de la Presentacin, Carga de Trabajo que Asigna, Atencin Personal,

Evaluacin del Desempeo Docente Discusin en Clase, Planeacin y Organizacin, Forma de Calificar,

6 y

Aprovechamiento de los Alumnos.

Watkins y Akande (1992) comentan que el SEEQ de Marsh y el Endeavour Instructional Rating Form de Frey contienen dimensiones que son similares, como se puede observar en la Tabla 2. Tabla 2. Correspondencia entre los factores del SEEQ y el Endeavour Factores del SSEQ 1. Valor del aprendizaje 2. Interaccin de grupo 3. Rapport individual 4. Exmenes/Calificacin 5. Carga de trabajo/Dificultad 6. Organizacin/Claridad Factores del Endeavour 1. Aprovechamiento de los alumnos 2. Discusin en clase 3. Atencin personal 4. Forma de calificar 5. Carga de trabajo 6. Claridad de la presentacin 7. Organizacin/Planeacin

Puede notarse que las categoras incluidas en ambos modelos se refieren a actividades de enseanza tradicional, en las que el profesor es el que asume la iniciativa.

Desde un punto de vista conceptual y metodolgico es pertinente diferenciar los modelos de evaluacin del trabajo acadmico, de aquellos expresamente dirigidos a evaluar la actividad docente. Los primeros incluyen, por lo general, una

mayor cantidad de elementos que aportan informacin sobre la actividad instruccional (enseanza en el aula, tutoras, asesoras), labores de investigacin y las acciones de servicio y extensionismo en las que participa el personal acadmico de las universidades.

Evaluacin del Desempeo Docente

Por otra parte, los modelos para evaluar la docencia se circunscriben a la interaccin de los profesores con sus estudiantes en las diversas modalidades del aprendizaje como la clase, el seminario, el laboratorio y las prcticas de campo (Tejedor y Montero, 1990, en Rueda, 1996). Fresn y Vera (2000) basadas en el

anlisis de Prez Gmez (1996) comentan los enfoques empleados para el estudio del rol del profesor, mismos que se resumen en la Tabla 3. Tabla 3. Paradigmas utilizados en el estudio del rol del profesor y para el diseo de evaluaciones del desempeo docente (adaptada de Fresn y Vera, op cit.)
PARADIGMA Presagio-Producto CARACTERSTICAS Basado en las caractersticas fsicas y psicolgicas de la personalidad del profesor INDICADORES

Proceso-Producto

Mediacional

Ecolgico

Entusiasmo Compromiso Dominio de la materia Habilidad de comunicacin Claridad expositiva Pensamiento lgico Capacidad Pedaggica Basado en la identificacin de Orden en la exposicin patrones estables de Secuenciacin lgica comportamiento (mtodo) y el Vinculacin entre temas establecimiento de Elaboracin de sntesis o correlaciones entre stos y el resmenes rendimiento acadmico. Verificacin de la comprensin Uso de medios de apoyo Trato con los alumnos Extensin y refinamiento del Cultura general del profesor paradigma Proceso-Producto. Expectativas del profesor Reconoce y utiliza dimensiones Capacidad tcnica del profesor adicionales relativas al Conocimientos tcnicos del contexto escolar y social, y a la profesor sobre el aprendizaje experiencia tanto del profesor Nivel de conocimiento de los como del alumno. alumnos Conciencia metacognoscitiva de los alumnos Pondera la eficacia del profesor Pautas de desarrollo fsico, respecto a sus alumnos en el psicolgico y social de los alumnos contexto especfico. Visualiza Habilidades de comunicacin del y reconoce la complejidad de docente y de los alumnos relaciones e intercambios que Uso de estrategias diversas para la se suscitan en el aula. solucin de problemas Uso de la evaluacin centrada en la comprensin y dominio del tema en vez de la sola memorizacin

Evaluacin del Desempeo Docente

Se observa, a partir de la segunda mitad de los aos noventas, un cambio de paradigmas usados para el diseo de la evaluacin de la docencia, en el que se pasa de los paradigmas iniciales presagio-producto y proceso-producto (Prez Gmez, 1996) hacia los mediacionales y contextuales que incluyen modelos de docencia centrados en el aprendizaje y la accin del alumno en la construccin del conocimiento, y por consiguiente habilidades del profesor acordes a tales concepciones.

Galindo y Zwaiman (2000) sealan que la mayora de los cuestionarios utilizados por las universidades para evaluar la docencia incluyen al menos las siguientes tres dimensiones: Metodologa didctica usada por el docente, relacin e interaccin con los alumnos y el sistema de evaluacin empleado por aquel.

Estos autores discuten tanto los pros y los contras de la metodologa de evaluacin basada en la opinin de los alumnos. Por una parte -dicen- se considera que estos cuestionarios pueden ser instrumentos confiables y vlidos, que constituyen una importante fuente de informacin y de retroalimentacin, y que correlacionan significativamente con otros tipos de evaluacin utilizados. Por otra parte, sealan que representan un mecanismo justo que reconoce el derecho de los alumnos a opinar respecto a la calidad del servicio recibido; adems, que promueve tambin el involucramiento responsable del alumno en su aprendizaje (al respecto, ver tambin Arubayi, 1987; Martnez Rizo, 2000).

Por otra parte, entre las crticas a este tipo de evaluaciones se argumenta que al realizarlas es casi imposible identificar qu parte de los resultados se deben al proceso de enseanza en s, qu parte a las caractersticas personales del profesor y qu parte a las caractersticas personales de los alumnos y a su interaccin con el docente. Quizs una de las crticas ms fuertes se refiere a la falta de validez y a la inconsistencia metodolgica con la que son elaborados dichos instrumentos, en los que se pueden encontrar problemas especficos como: a) reactivos confusos, ambiguos o subjetivos; b) respuestas ambiguas, confusas o sesgadas, y c) reactivos

Evaluacin del Desempeo Docente

que no son representativos de la ejecucin de la enseanza (ver tambin Gonzlez, 2000). Otros aspectos crticos se refieren al llamado efecto de halo en las respuestas de los alumnos (Marsh, 1986), a la falta de consenso en torno a una definicin del buen profesor (Marsh y Overall, 1980, Marsh, 1982), a los sesgos relacionados con el gnero, tipo de disciplina y de curso que se evale, entre los ms importantes.

Diversas revisiones de la literatura (ver por ejemplo Marsh y Bailey, 1993) han permitido llegar a las siguientes conclusiones respecto a las evaluaciones de la efectividad del docente basadas en la opinin de los estudiantes: a. Son multidimensionales. b. Son confiables y estables. c. Sus resultados son funcin del instructor que ensea el curso ms que del contenido del mismo. d. Son relativamente vlidas al compararse con varios indicadores de la efectividad docente. e. No son afectadas por diversas variables que hipotticamente son fuentes de sesgo para las evaluaciones. f. Los profesores las consideran una retroalimentacin muy til de sus actividades, los alumnos las consideran tiles para seleccionar a sus profesores en cursos subsiguientes, los administradores las consideran tiles para la toma de decisiones, y los investigadores las consideran un rea de investigacin genuina y en permanente desarrollo.

Estas revisiones permiten a Marsh afirmar que este tipo de trabajos son probablemente de las formas ms estudiadas de evaluacin del empleo, y una de las mejores en trminos del respaldo que tienen en resultados empricos de investigacin (Marsh y Bailey, op cit., p.1). Arubayi (1987) comenta que a pesar del desacuerdo entre investigadores, el balance de los hallazgos en la literatura permite

Evaluacin del Desempeo Docente 10 observar el acuerdo general de que las evaluaciones hechas por los alumnos poseen estabilidad, consistencia, validez relativa, efectividad al utilizarse como medio para mejorar la instruccin y pertinencia.

En Mxico, diferentes investigadores han realizado estudios para evaluar el desempeo docente en los que se identifican diferentes dimensiones del desempeo docente mediante la metodologa del Anlisis Factorial Exploratorio (AFE). En ellos se reporta la estructura factorial obtenida del anlisis de las respuestas a los cuestionarios utilizados. A continuacin se presentan algunos de estos resultados,

como un prembulo de nuestro estudio.

La evaluacin del desempeo docente en Mxico

El trabajo que se presenta en este documento se inici con la revisin y anlisis del Inventario de Comportamientos Docentes (ICD) de Fernando Arias Galicia (1984), que fue realizado en la Universidad Nacional Autnoma de Mxico. El instrumento est conformado por 50 reactivos en formato Likert con nueve anclajes (45 de ellos), los cinco restantes se contestan con SI o NO. Cada reactivo describe determinado comportamiento del profesor, lo que lo hace distinto de otros cuestionarios que incluyen, en vez de este tipo de descripciones, enunciados relacionados con rasgos y actitudes del profesor. En el artculo donde se reporta el estudio, se incluye la estructura factorial que subyace al cuestionario, misma que est conformada por 10 factores. Se describen tambin los procedimientos

utilizados para la creacin de los reactivos a partir de entrevistas a estudiantes de distintos semestres a los que se les peda identificar caractersticas mtodo de incidentes crticos- que deberan ser evaluadas en los profesores. En un segundo momento, se peda tambin a profesores que respondieran el cuestionario. Despus del anlisis correspondiente, qued definido un cuestionario de 50 reactivos agrupados en 10 factores, con igual nmero de reactivos por factor, como se muestra en la Tabla 4.

Evaluacin del Desempeo Docente 11 Tabla 4. Factores que conforman la estructura del Inventario de Comportamientos Docentes (Arias, 1984) FACTOR NOMBRE 1 2 3 4 5 6 7 8 9 10 Dinamismo en clase Preparacin del tema de clase Criterios para calificar Puntualidad y asistencia Respeto a los alumnos Dominio de la materia Motivacin al estudiante Carcter Enfoque a la profesin Cumplimiento del programa

Como ya se dijo, el procedimiento utilizado para la construccin del cuestionario incluy tanto la participacin de alumnos como de profesores y segn su autor la metodologa utilizada permiti que: a. los reactivos fueran descripciones de conductas en vez de rasgos subjetivos; y b. los reactivos se redactaran utilizando las mismas expresiones verbales de los usuarios. Se reporta que el instrumento cuenta con validez de constructo, ya que los profesores catalogados como buenos mostraron, en forma significativa, las conductas esperadas en todos los factores, excepto en el factor Dinamismo en clase, en el que no se encontr diferencias estadsticamente significativas con el grupo de profesores regulares, por medio de un anlisis no paramtrico con la U de MannWhitney. Tambin mediante un Anlisis de Clasificacin Mltiple, controlando los efectos de las variables sexo del alumno y del docente, carrera, antigedad del profesor y semestre, se reporta que las diferencias entre ambos grupos en todos los factores resultaron altamente significativas (p. 16). Respecto a la confiabilidad del

Evaluacin del Desempeo Docente 12 cuestionario, se reporta que el alfa estandarizada vara entre 0.91 y 0.72, con una mediana de 0.81 entre los factores que lo conforman.

El factor en que menos se diferencian ambos grupos de profesores fue el de Criterios para Calificar, en tanto que el que establece la mayor diferencia es el de Motivacin al Estudiante. El autor concluye acerca de la similitud de los factores encontrados mediante el uso del ICD y los reportados por Marsh con el SEEQ (ya presentado) y otros cuestionarios desarrollados en otros pases, lo que le permite afirmar que: parece existir cierto consenso en cuanto a las caractersticas y conductas apropiadas de los profesores universitarios, pese a la diversidad de culturas (Arias, op. cit. p.19).

En otro estudio ms reciente, Rueda y Rodrguez (1996) reportan la construccin de un cuestionario para evaluar el desempeo del docente, diseado a partir de la perspectiva de los propios implicados en la evaluacin: los profesores. stos seleccionaron de entre un listado amplio de dimensiones (70), retomadas de la literatura, aquellas que debiesen estar contenidas en el cuestionario que respondieran sus alumnos, calificndolas con una escala tipo Likert cuyos valores fueron Muy importante, Importante, Poco importante, Sin importancia, y No se aplica. Con las respuestas de 67 profesores, se realiz un anlisis factorial exploratorio que arroj la estructura presentada en la Tabla 5.

Con base en tal estructura, los autores construyeron un cuestionario de 31 reactivos agrupados en 16 dimensiones. Los reactivos fueron retomados de otros cuestionarios reportados en la literatura, mismos que fueron reelaborados y adaptados para la versin final que sera respondida por los alumnos. La Tabla 6 muestra las dimensiones incluidas y el nmero de reactivos que las conforman.

Evaluacin del Desempeo Docente 13 Tabla 5. Estructura factorial resultante del anlisis de las respuestas de 67 profesores a la Gua de Evaluacin de la Docencia Universitaria (Rueda y Rodrguez, 1996) Factor Dimensiones Valor % varianza Propio explicada 1 Preparacin terica 6.51 31.0 Preparacin prctica Actualizacin 2 Orientacin hacia metas formativas (desarrollo) 2.06 9.8 Claridad de organizacin, interpretacin y explicacin Relevancia de los contenidos Orientacin hacia metas formativas (impacto) 3 Expectativas y objetivos del curso 1.74 8.3 Organizacin y preparacin de la clase 4 Enseanza reflexiva 1.56 7.4 Bibliografa del curso 5 Profundidad en la cobertura de los temas 1.40 6.7 Dominio de la materia 6 Comunicacin en el aula 1.20 5.7 Desarrollo y responsabilidad profesionales Total: 69 %

Tabla 6. Dimensiones incluidas en el cuestionario para los alumnos en el estudio de Rueda y Rodrguez (1996) Dimensin Nombre Nm. de reactivos 1 Preparacin terica 2 2 Preparacin prctica 2 3 Actualizacin 2 4 Orientacin hacia metas formativas (desarrollo) 2 5 Orientacin hacia metas formativas (impacto) 2 6 Claridad de organizacin, interpretacin y explicacin 2 7 Relevancia de los contenidos 2 8 Expectativas y objetivos del curso 2 9 Organizacin y preparacin de la clase 2 10 Enseanza reflexiva 2 11 Bibliografa del curso 2 12 Profundidad de la cobertura del tema 2 13 Dominio de la materia (planeacin) 1 14 Dominio de la materia (desarrollo) 2 15 Comunicacin en el aula 2 16 Desarrollo y responsabilidad profesional 2

Evaluacin del Desempeo Docente 14 Esta versin inicial del cuestionario fue respondida por 147 alumnos que calificaron el desempeo de sus profesores. Se realiz un nuevo anlisis factorial con las respuestas a estos cuestionarios que arroj una estructura de tres factores: Factor 1. Pertinencia de las acciones docentes (12 reactivos); Factor 2. Claridad de la enseanza (4 reactivos); y Factor 3. Eficiencia de la Enseanza (4 reactivos).

Como producto del anlisis fueron eliminados del cuestionario inicial 11 enunciados, lo que produjo una versin final de 20 reactivos. Los resultados de los anlisis de confiabilidad son considerados adecuados por los autores, de acuerdo a los estndares psicomtricos vigentes (Confiabilidad por mitades para la prueba completa = .928; .962 y .812 para la primera y segunda mitades, respectivamente. El alfa de Cronbach fue de 0.939).

Un aspecto criticable de este trabajo es la escasa cantidad de reactivos que conforman cada factor, lo que dificulta su interpretacin significativa. Resultara ms parsimonioso considerar a los reactivos como indicadores independientes que podran relacionarse entre s y con otros aspectos para la evaluacin, tratando de incrementar la cantidad de cuestionarios aplicados para someterlos al anlisis factorial y lograr as una interpretacin ms fructfera de sus intercorrelaciones.

Luna (1996) comenta que el anlisis de los reactivos utilizados en los cuestionarios ha llevado a la definicin natural de las dimensiones importantes que deben ser evaluadas, que incluyen, entre las principales: Dominio de la asignatura. Organizacin del curso. Interaccin estudiante-maestro. Claridad expositiva. Evaluacin del aprendizaje.

Evaluacin del Desempeo Docente 15 La autora seala que la mayora de los cuestionarios aplicados estn basados en la idea de que existen caractersticas genricas de la enseanza, es decir, que independientemente del grado, nivel o rea de conocimiento de que se trate, es posible identificar caractersticas comunes a la docencia que se practica en ellos. Adems, comenta que hay evidencias de que el comportamiento o desempeo del docente vara de manera importante como una funcin tanto del nivel como del contexto y el rea de contenido; la autora concluye que no es posible pensar en una evaluacin genrica adecuada para todas las complejas situaciones de enseanza (p. 101).

En el estudio reportado por Luna (1996) las dimensiones seleccionadas para conformar el cuestionario Evaluacin de la Actividad Docente en Posgrado son las siguientes: a) Estructuracin de objetivos y contenidos del curso (definicin, congruencia con los contenidos, pertinencia de la bibliografa). b) Claridad expositiva. c) Organizacin de la clase (Seleccin y uso de materiales, programacin de actividades, manejo terico y metodolgico). d) Dominio de la asignatura (Presentacin y contraste de puntos de vista, solucin de problemas). e) Cualidades de interaccin (ayuda y motivacin a los estudiantes). f) Evaluacin del aprendizaje (Mtodo de evaluacin) y, g) Asesora al proyecto de tesis.

El criterio seguido para incluir estas dimensiones, segn se reporta en el estudio, estuvo basado en las dimensiones y reactivos que tanto la literatura anglosajona como la hispana, marcan como relevantes y que los responsables [institucionales] de la evaluacin, consideraron importantes (p. 102). Al igual que en el estudio de Rueda y Rodrguez, tambin se utiliz un procedimiento mediante el cual los propios docentes estimaban, en orden jerrquico, las dimensiones que consideraban relevantes para ser evaluados. Participaron en el estudio profesores

Evaluacin del Desempeo Docente 16 de distintas reas y carreras. Los resultados globales de la seleccin de categoras por 114 profesores arrojaron el siguiente ordenamiento jerrquico de dimensiones:

1. Dominio de la asignatura. 2. Estructuracin de objetivos y contenidos. 3. Organizacin de la clase. 4. Claridad expositiva. 5. Cualidades de interaccin. 6. Evaluacin del aprendizaje. 7. Asesora a proyectos de investigacin. La autora concluye que los resultados demuestran claramente la existencia de una jerarqua de las dimensiones de evaluacin; sta es vlida para todos los programas, independientemente del rea de conocimiento a la que pertenezcan, ya que se demostr que en relacin con la importancia de las dimensiones a evaluar no se presenta un patrn definido de opinin que diferencie a un grupo [de profesores]...de otro (p. 112), lo cul no apoy la hiptesis inicial de que habra jerarquas diferentes de acuerdo a las reas acadmicas de procedencia de los profesores. El reporte slo incluye la fase de construccin del cuestionario, que implic trabajar slo con los profesores, no se tienen datos disponibles del trabajo de anlisis psicomtrico de las respuestas de los alumnos. Un aspecto interesante que podra plantearse como una derivacin del estudio podra ser la comparacin de la jerarqua producida por los profesores con la que podra resultar de la de los estudiantes. No se tiene noticia de que la autora haya realizado dicho estudio, sin embargo resultara una til y relevante lnea de indagacin para el futuro.

Mateo y Fernndez (1992) citados por Galindo y Zwaiman (2000) crearon un cuestionario con la pretencin de pretende medir la competencia mostrada por el profesor y sus capacidades para motivar a los alumnos. El cuestionario fue elaborado y validado originalmente en Espaa y consta de 31 reactivos, organizados en 8 ncleos tericos o dimensiones como se muestra en la Tabla 7.

Evaluacin del Desempeo Docente 17 Tabla 7. Dimensiones o factores que conforman el cuestionario de Mateo y Fernndez (1992), elaborado y validado en Espaa Dimensin Nm. De Ejemplo reactivos Estilo docente 5 Atrae la atencin del alumno hacia la materia explicada. Estructuracin de contenidos 3 No evade explicaciones de los distintos enfoques implicados en el tema. Claridad Expositiva 3 Responde a las preguntas con precisin. Competencia Acadmica 2 Se muestra competente en los contenidos que imparte. Habilidades motivacionales y 5 Motiva a preguntar sobre cualquier de interaccin duda. Requisitos docentes Ecuanimidad evaluadora Criterios Generales 3 3 2 Lo explicado se ajusta a los objetivos del programa. Examina sobre los contenidos considerados como fundamentales. Gracias a lo aprendido se siente ms inters por la materia.

Como puede observarse, a diferencia del modelo de Marsh y del de Frey, revisados en la seccin anterior, Mateo y Fernndez incluyen dimensiones novedosas, que tienen que ver con un rol ms interactivo del profesor con sus alumnos, que complementan las dimensiones tradicionales de la enseanza va conferencia.

En el estudio de validacin realizado en Mxico con alumnos inscritos en cursos referentes a recursos tecnolgicos, por Galindo y Zwaiman (2000), se reporta una solucin factorial muy semejante a la versin original. De igual forma, las

propiedades psicomtricas del instrumento tambin se reportan como satisfactorias (Confiabilidad: Alfa del cuestionario total = 0.95).

Vera (en Loredo, 2000) para crear un instrumento de evaluacin del desempeo docente se bas en las cinco dimensiones que el PROMEP (Programa de Mejoramiento del Profesorado) contempla para la actividad del personal acadmico de las universidades mexicanas (Docencia, Tutora Acadmica,

Evaluacin del Desempeo Docente 18 Generacin y Aplicacin del conocimiento, Gestin, y Difusin). Las dimensiones o factores relacionados con la docencia resultantes se muestran en la Tabla 8. No se reportan datos sobre la validacin psicomtrica de este instrumento. Sin embargo, podemos observar que en esta propuesta aparece por primera ocasin, al menos de manera explcita entre las variables relativas a la competencia acadmica, la relacionada con la "creacin de clima apropiado para el aprendizaje", quizs como reflejo de lo que ya antes se plante por Prez Gmez (1996) respecto a los paradigmas actuales para el estudio de este tpico de la evaluacin del desempeo del docente. Tabla 8. Dimensiones de la actividad docente definidas por PROMEP y que fueron incluidas en el estudio de Vera (Cfr. Loredo, 2000) Variables Descripcin Planificacin o Programacin Presentacin del programa y la bibliografa al inicio del curso. Uso de la bibliografa sealada. Preparacin previa de clases Competencia Acadmica Conduccin de la clase Cumplimiento del programa del curso Dominio de contenidos de la materia Uso competente de tcnicas de enseanza Entusiasmo del profesor Creacin de clima apropiado para el aprendizaje

Promocin de la Asistencia, puntualidad, participacin, esfuerzo, dedicacin participacin de los por parte del alumno alumnos Comunicacin constante con el alumno Evaluacin Aplicacin de variedad de formas de evaluacin Entrega de calificaciones y retroalimentacin Asignacin justa de calificaciones

Esta es una muestra de los trabajos sobre evaluacin del desempeo docente que se han venido realizando en Mxico. Como ya se dijo, esta rea de indagacin muestra un desarrollo importante, sobre todo impulsada por las polticas nacionales que se han establecido en las universidades para buscar el mejoramiento de esta funcin sustantiva de las mismas. Quedan todava muchos retos a enfrentar y

Evaluacin del Desempeo Docente 19 problemas a resolver. En las siguientes secciones se presenta el desarrollo de un

instrumento cuya pretensin es hacer una modesta aportacin a esta importante rea.

Evaluacin del Desempeo Docente 20 Desarrollo del Cuestionario para Evaluar Desempeo Docente Frente a Grupo. Actualmente la construccin de cuestionarios para evaluar el desempeo de los profesores con base en la opinin de los alumnos, considera relevante la validacin de los mismos por los propios profesores que sern evaluados. As

mismo, se prescribe que las dimensiones incluidas en dichos cuestionarios deben representar vlidamente las actividades que cotidianamente se realizan en el aula para propiciar el aprendizaje de los alumnos.

El objetivo de este trabajo es desarrollar un cuestionario para medir la opinin de los alumnos respecto al desempeo en el aula de sus profesores. Para hacerlo, se atendern las dos directrices mencionadas. Uno de los principales intereses que motiv este trabajo es poder contribuir al establecimiento de un sistema integral de evaluacin acadmica en la universidad. Otro, es participar en la discusin acerca

de la validez de las opiniones de los alumnos sobre el desempeo de sus docentes y su impacto sobre el mejoramiento de la docencia y el aprovechamiento del aprendizaje en la educacin superior. estudio sean: 1. Identificar, mediante las respuestas de los profesores, las dimensiones relevantes para evaluar el desempeo docente frente a grupo, en el contexto de la licenciatura en psicologa y construir un cuestionario validado para dicha poblacin. 2. Explorar, con base en las respuestas de los alumnos al cuestionario construido, las dimensiones resultantes, para compararlas con las de otros modelos de evaluacin del desempeo docente desarrollados en poblaciones universitarias mexicanas. 3. Obtener pruebas de consistencia interna y de validez de constructo de las escalas resultantes. 4. Probar si el modelo de diez factores para la evaluacin del desempeo docente planteado por Arias (1984) puede ser reproducido con las respuestas de los estudiantes de la licenciatura en psicologa. De ah que los propsitos del presente

Evaluacin del Desempeo Docente 21 5. Probar la pertinencia de distintos modelos conformados por las escalas resultantes y otras variables medidas con el cuestionario. 6. Aportar pruebas empricas para el cuestionario diseado, a fin de utilizarlo para estudios subsiguientes sobre las relaciones entre el desempeo del profesor y el aprovechamiento de los alumnos.

Evaluacin del Desempeo Docente 22

Mtodo
Sujetos 1. Para la construccin del cuestionario, 18 profesores del Programa Docente de la Licenciatura en Psicologa de la Universidad de Sonora, cuya participacin fue voluntaria e impartan al menos un curso al momento del estudio. 2. Para el estudio psicomtrico del cuestionario, 757 estudiantes inscritos en diferentes semestres de la Licenciatura en Psicologa de la Universidad de Sonora.

En las Tablas 9 y 10 se puede observar una caracterizacin sociodemogrfica y acadmica de la muestra de alumnos que fue utilizada para realizar el estudio psicomtrico.

Materiales e instrumentos 1. Inventario de Comportamientos Docentes (Arias, 1984) modificado para su presentacin a los profesores (Ver Anexo 1, p. 52). 2. Versin inicial del Cuestionario para Evaluar el Desempeo Docente frente a Grupo (Ver Anexo 2, p. 59).

Tabla 9. Caracterizacin sociodemogrfica de la muestra de alumnos (n=757) en el estudio VARIABLE VALORES FRECUENCIA PORCENTAJE Procedencia Gnero Trabajo actual Local Forneo Masculino Femenino S No 433 324 84 673 212 545 57.1 42.7 11.1 88.8 28.0 72.0

Evaluacin del Desempeo Docente 23 Tabla 10. Caracterizacin acadmica de la muestra de alumnos (n=757) en el estudio VARIABLE VALORES FRECUENCIA PORCENTAJE Condicin Acadmica Carga Acadmica Turno Regular Irregular Completa Incompleta Matutino Vespertino Mixto 579 178 584 173 419 273 65 98 365 261 33 692 49 16 724 32 1 658 91 8 76.5 23.5 77.0 23.0 55.3 36.0 08.7 12.9 48.2 34.4 04.5 91.3 6.50 2.10 95.5 04.3 01.2 87.0 12.0 01.0

Promedio en Kardex Entre 100 y 91 Entre 90 y 81 Entre 80 y 71 Menor a 70 Inscripcin al curso 1. Vez 2. Vez 3. Vez Muy importante Poco importante De relleno Muy interesante Poco interesante Sin inters

Valor asignado al curso Valor asignado al contenido

Procedimiento a. Para la construccin del cuestionario. Se revisaron algunos estudios publicados acerca de la evaluacin del desempeo docente y se eligi el de Arias Galicia (1984) como punto de referencia, por dos razones. La primera de ellas tiene que ver con la estructura del cuestionario utilizado y la forma en que fue desarrollado. Se destaca particularmente la forma conductual en que estn planteados sus reactivos. A diferencia de otros cuestionarios en los que los reactivos se refieren a rasgos o caractersticas de la personalidad para definir un perfil docente, el Inventario de Comportamientos Docentes (Arias, Op cit.) define un conjunto de conductas que caracterizan el quehacer en el aula, mismas que fueron elaboradas a partir de la

Evaluacin del Desempeo Docente 24 opinin de estudiantes y profesores universitarios, tal como se resea en el artculo referido. En opinin de Prez Gmez (1996), el estudio aludido caera dentro de la categora del paradigma Proceso-Producto.

La segunda razn por la que se eligi el estudio referido como punto de referencia, tiene que ver con que ste parte de un modelo multidimensional para conceptualizar el desempeo docente. Las diez dimensiones que lo conforman

estn presentes en uno u otro, o en todos, los modelos de docencia revisados. Como ya se dijo, en la actualidad no existe acuerdo acerca del nmero de categoras que incluye la docencia efectiva, ni a nivel general, ni particular a nivel universitario. Sin embargo, de la literatura revisada se desprende que con uno u otro nombre, las dimensiones incluidas en diferentes estudios, tanto nacionales como internacionales, incluyen un patrn muy consistente, como puede cotejarse en los modelos presentados en la seccin introductoria de este documento.

Partiendo

de

una

recomendacin

metodolgica

realizada por

varios

investigadores del rea, de que los cuestionarios para evaluar el desempeo docente fuesen adecuados y calibrados con la poblacin de profesores con los que se utilizar, se procedi a pedirles a una muestra de 28 profesores del Programa Docente de Psicologa (15 de Tiempo Completo y el resto de asignatura) que revisaran el Inventario de Comportamientos Docentes de Arias Galicia y que seleccionaran aquellos reactivos del mismo que consideraran relevantes para evaluar su desempeo frente a grupo. Se les hizo llegar el inventario pidindoles

tambin que incluyeran algn otro reactivo o dimensin que consideraran relevante y que a su juicio no estuviese incluido en el original. Se les pidi tambin que

opinaran sobre cul, entre varias modalidades de escalas, consideraban la ms adecuada para calificar los distintos reactivos del cuestionario.

Se procedi a analizar las respuestas de los profesores y a seleccionar los reactivos ms frecuentemente sealados para incluirlos en el cuestionario. Se conform una primera versin del cuestionario con 7 escalas y cinco reactivos por

Evaluacin del Desempeo Docente 25 cada una, haciendo un total de 35 reactivos en total. Se incluy tambin una

seccin de 10 reactivos para obtener informacin adicional sobre el alumno que contestara el cuestionario, relativa a su condicin acadmica y su apreciacin global sobre el valor del curso. La escala elegida por los profesores para que se contestaran los reactivos fue una de tipo Likert, con cuatro anclajes: Muy Bien, Bien, Mal y Muy Mal, que fueron codificadas con los valores 4, 3, 2 y 1, respectivamente. En el Anexo 3 (p. 61) de este documento se presenta la versin definitiva del cuestionario.

b. Para el estudio psicomtrico del cuestionario. El Cuestionario para Evaluar el Desempeo Docente Frente a Grupo fue aplicado a una muestra de estudiantes de todos los semestres de la licenciatura en psicologa durante el ciclo acadmico 1999-2. Se aplicaron en total 1057 cuestionarios, pero la muestra

utilizada para el anlisis psicomtrico del instrumento estuvo conformada por 757 cuestionarios completos, que calificaron el desempeo de 24 profesores, el resto de los cuestionarios no fueron considerados para el anlisis debido a que presentaban errores de llenado y datos omitidos.

Los cuestionarios fueron aplicados en el aula y grupo correspondiente a cada profesor evaluado. El aplicador peda permiso al profesor -que ya haba sido

avisado del procedimiento- para realizar la aplicacin, el profesor sala del aula, se reparta el cuestionario, se daban las instrucciones para contestarlo y una vez respondido por los alumnos se recogan, se preparaban y codificaban para su captura electrnica.

Utilizando el programa Excel se construy una base de datos electrnica conformada por 1057 renglones y 46 columnas o variables. Con dicha base de

datos, se utiliz el SPSS (8.0) para realizar los anlisis descriptivos de las variables de estudio, lo que permiti, en primera instancia, la depuracin de la base de datos tras la eliminacin de los cuestionarios que contenan errores y datos perdidos;

Evaluacin del Desempeo Docente 26 luego, el conocimiento de las caractersticas de las distribuciones de las 46 variables incluidas en el cuestionario.

Se realiz un anlisis de reactivos para identificar su nivel de discriminacin. Para ello, se ordenaron todos los alumnos de mayor a menor puntaje en la variable Promedio en el krdex y se formaron dos grupos, el 25% ms alto fue comparado con el 25% ms bajo mediante el estadstico chi cuadrada.

Posteriormente se analiz la matriz de correlaciones entre los 35 reactivos, como un procedimiento previo al Anlisis Factorial Exploratorio, en el que se utiliz el mtodo de Componentes Principales -con rotacin Equamax y normalizacin de Kaiser. Se decidi utilizar el MCP debido a que permite caracterizar o explicar la variacin (dispersin) de cada dimensin o factor en un espacio multivariado, ...la primera combinacin lineal o factor explica la mayor cantidad de variacin en la muestra, el segundo explica la siguiente cantidad mayor de varianza en una dimensin diferente de la primera y as sucesivamente, cada componente sucesivo explica cantidades menores de la varianza total, siendo los componentes independientes uno del otro (SPSS, 1997). Se decidi utilizar el mtodo Equamax

de rotacin porque permite minimizar el nmero de variables con cargas altas en un factor as como el nmero de factores necesarios para explicar una variable. Para

finalizar se realiz el anlisis de confiabilidad de las escalas mediante el coeficiente alfa. ste es una medida de consistencia interna de una escala, basado en las El propsito de este

correlaciones promedio entre los reactivos (SPSS, 1997).

anlisis exploratorio de datos fue producir una versin del cuestionario que contuviera slo escalas y reactivos que hubiesen pasado los criterios psicomtricos considerados como los adecuados. En la seccin de resultados se presentan stos siguiendo la secuencia de procedimientos mencionada.

Como una prueba adicional, se utiliz el Mtodo de Ecuaciones Estructurales (Corral, Fras y Gonzlez, 2000) para probar la pertinencia del modelo inicial de siete escalas con el que fue construido el cuestionario. En este mtodo, se funden dos

Evaluacin del Desempeo Docente 27 aproximaciones estadsticas utilizadas ampliamente en la investigacin: el Anlisis Factorial Confirmatorio y el Modelo General Lineal. Con ello, se integra la

posibilidad de modelar las relaciones entre variables latentes y variables manifiestas, as como la de detectar las propiedades psicomtricas de un instrumento de medicin y la evaluacin de la pertinencia de un modelo conceptual que relacione el conjunto de variables, mediante una prueba de bondad de ajuste. Para realizar este anlisis se utiliz el Programa EQS (Bentler, 1993).

c. Para el Anlisis y sntesis de datos. Como ya se mencion, para el anlisis exploratorio de datos se utiliz el programa SPSS (8.0) (SPSS, 1997). Para el anlisis factorial confirmatorio se utiliz el programa EQS (Bentler, 1993).

Evaluacin del Desempeo Docente 28

Resultados
La Tabla 11 muestra la clasificacin de los reactivos por los 18 profesores que devolvieron contestado el cuestionario, de los 28 a los que se les entreg inicialmente. En el Anexo 1 (pag. 52) se presenta el cuestionario que se entreg a El criterio que se tom para considerar un reactivo clasificado en

los profesores.

alguna categora fue que al menos el 50 % de los profesores lo hayan clasificado as. Las categoras que se presentaron para la clasificacin fueron las 10 escalas que conforman el cuestionario de Arias Galicia (1984). Ninguno de los profesores que

devolvieron el cuestionario respondido sugiri algn reactivo adicional, ni modificaciones a la redaccin de alguno de los presentados. Tabla 11. Categoras y reactivos clasificados por los profesores Categoras del desempeo docente frente a grupo Reactivos seleccionados por al menos el 50 % de los profesores* 4, 20, 27, 34, 41 11, 26 19, 32, 43, 46, 47 3, 5 15, 40, 45 10, 33, 36, 38 2, 18, 49 17, 22, 48 8, 13, 29, 35, 37 7, 14, 50

(D) Dinamismo en clase (P) Preparacin del tema de clase (C) Criterios para calificar (A) Puntualidad y asistencia (R) Respeto a los alumnos (O) Dominio de la materia (M) Motivacin al estudiante (E) Carcter y Estilo Interpersonal (N) Enfoque a la profesin (L) Cumplimiento del programa

* La numeracin corresponde a la del cuestionario aplicado a los profesores (Anexo 1).

En la encuesta se peda tambin que el profesor eligiera, entre varias opciones, el tipo de escala que considerara adecuada para que los alumnos calificaran su desempeo, la mayora (13 de los 18 profesores) eligi la tipo Likert de cuatro anclajes: Muy bien, Bien, Mal y Muy Mal. Despus de reagrupar los

Evaluacin del Desempeo Docente 29 reactivos, para conformar escalas con cinco reactivos cada una, el cuestionario qued integrado de la forma en que aparece en la Tabla 12. Dicha versin fue la que se utiliz para encuestar a los alumnos.

Tabla 12. Escalas y reactivos de la primera versin del cuestionario, con base en la seleccin de reactivos por parte de los profesores ESCALA Reactivos. * (D) Dinamismo en Clase (P) Preparacin de clase y cumplimiento del programa (C) Criterios para evaluar y calificar (A) Respeto a los alumnos (O) Dominio de la materia (M) Motivacin al alumno y estilo interpersonal (N) Enfoque a la profesin 2, 14, 17, 22, 29 5, 8, 10, 16, 35 20, 27, 30, 32, 33 1, 3, 11, 28, 31 7, 19, 21, 24, 26 4, 12, 13, 15, 34 6, 9, 18, 23, 25

* La numeracin corresponde a la versin que se presenta en el Anexo 2.

En la Tabla 13 se presentan los valores de las medias y desviaciones estndar de cada uno de los 35 reactivos del cuestionario. Se presenta una redaccin comprimida de cada reactivo.

Los resultados del anlisis de discriminacin de los reactivos en los que se utiliz el estadstico chi cuadrada para comparar a los alumnos agrupados en altos y bajos promedios en su expediente, permiti retener para anlisis posteriores a los 35 reactivos, ya que en todos se obtuvieron valores significativos, con un valor de significancia menor a .000.

Evaluacin del Desempeo Docente 30 Tabla 13. Medias y desviaciones estndar de las respuestas a los 35 reactivos por estudiantes (n=757) de la licenciatura en psicologa Reactivo Media Desviacin estndar R01. Inicia clase a la hora 3.43 .66 R02. Usa materiales para exponer 2.98 .82 R03. Termina la clase a la hora 3.44 .68 R04. Propicia participacin de alumnos 3.40 .72 R05. Clases siguen orden programa 3.60 .60 R06. Comenta perspectivas profesin 3.25 .75 R07. Deja ideas claras, no se enreda 3.34 .82 R08. Explica plan al empezar la clase 3.10 .77 R09. Explica responsabilidad social 3.20 .74 R10. Extensin de tema segn programa 3.39 .67 R11. Escucha sin interrumpir al alumno 3.54 .63 R12. Mantiene disciplina sin rigidez 3.52 .62 R13. Reconoce esfuerzo y logros 3.14 .74 R14. Organiza equipos de trabajo 3.19 .80 R15. Trata con respeto y cordialidad 3.64 .59 R16. Organiza actividades del da 3.44 .67 R17. Forma equipos de investigacin 3.13 .83 R18. Ejemplifica campo de la carrera 3.45 .67 R19. Relaciona tema con siguiente clase 3.22 .76 R20. Califica temas tratados en clase 3.57 .59 R21. Responde concretamente 3.39 .76 R22. Mantiene en actividad al grupo 3.03 .87 R23. Seala errores en la actividad profesional 3.25 .75 R24. Aclara terminologa 3.43 .66 R25. Relaciona el tema con aplicaciones 3.30 .74 R26. Cita fuentes bibliogrficas al responder 3.20 .76 R27. Entrega calificaciones el da prometido 3.14 .84 R28. Acepta aportaciones de alumnos a la clase 3.54 .59 R29. Realiza mesas redondas con alumnos 2.83 .86 R30. Al inicio del curso acuerda forma de evaluar 3.57 .68 R31. Evita mofarse de los alumnos 3.49 .68 R32. Calificacin parcial incluye varios aspectos 3.52 .69 R33. Realiza evaluaciones peridicas 3.39 .69 R34. Logra que los alumnos se interesen en materia 3.24 .81 R35. Trata todos los temas del programa 2.57 .61 El anlisis de la matriz de correlaciones mostr que los valores variaron entre .6645 y .0521, ubicndose la mayora en el promedio entre ambos, por lo que se concluy que las intercorrelaciones entre los 35 reactivos resultaron todas positivas y moderadas, lo cual se interpret como un elemento a favor para realizar un Anlisis

Evaluacin del Desempeo Docente 31 Factorial Exploratorio cuyos resultados se presentan a continuacin. Todas las intercorrelaciones resultaron significativas con un valor de p<0.01, con excepcin de las resultantes entre el reactivo 1 y el 23; entre el 1 y el 14; y entre el 18 y el 23, que resultaron significativas con un valor de p<0.05. El nico par de reactivos cuya

correlacin result no-significativa fueron el 1 y el 17 (r= .052, p=.152).

Anlisis Factorial Exploratorio de las respuestas al cuestionario

La solucin factorial producida por el mtodo de Anlisis de Componentes Principales result conformada por seis factores con valor propio superior a la unidad, que explican el 55.9% de la varianza total. Los dos primeros factores

explican el 35.4% y el 5.6% de la varianza inicial. Despus de la extraccin, ambos factores explican el 10.9 y el 10.1 de la varianza, respectivamente. La Tabla 14

resume la extraccin producida por el mtodo de Anlisis de Componentes Principales del SPSS (8.0), se incluyen slo los componentes con valor propio mayor que uno.

Tabla 14. Resultantes del Anlisis de Componentes Principales del Cuestionario para Evaluar el Desempeo Docente Frente a Grupo Componente Valor propio % varianza % varianza % de inicial despus de la varianza extraccin acumulado 1 12.395 35.41 10.98 10.98 2 3 4 5 6 1.973 1.834 1.195 1.112 1.056 5.63 5.23 3.41 3.17 3.01 10.18 9.00 8.90 8.87 7.95 21.16 30.16 39.06 47.93 55.88

El primer factor de la matriz inicial de componentes agrupa 32 de los 35 reactivos del cuestionario; en esta matriz, los pesos factoriales varan entre .768, del reactivo 34, y .460, del reactivo 3. Al realizar un procedimiento de rotacin

Evaluacin del Desempeo Docente 32 Equamax, con normalizacin de Kaiser, se observa que aparece una solucin ms fcilmente interpretable. En ella, siete reactivos con pesos factoriales superiores a

.40 -valor definido en este estudio como criterio de relevancia para retener el reactivo para el factor- conforman un primer factor que parece estar relacionado con el enfoque u orientacin del curso por parte del profesor. Cinco de estos siete reactivos pertenecen a la escala Enfoque a la Profesin (EP) del cuestionario, uno a la escala de Dominio de la materia (Dom) y uno de la escala de Motivacin al alumno y estilo interpersonal (MEI).

La Tabla 15 muestra esta configuracin de reactivos y tambin el producto del anlisis de confiabilidad mediante el coeficiente Alfa de los reactivos como escala. Como ya se dijo, se fij como restriccin un peso factorial de al menos .40 para incluir un reactivo en el componente. Se incluyen las alfas de Cronbach inicial y estandarizada para la escala.

Tabla 15. Reactivos que conforman el componente nmero uno, Enfoque del Curso, despus de la rotacin Equamax Reactivo del cuestionario Carga factorial R06. Comenta perspectivas profesin (EP). R23. Seala posibles errores en la actividad profesional (EP). R09. Explica responsabilidad social (EP). R25. Relaciona el tema con aplicaciones de la profesin (EP). R26. Cita fuentes bibliogrficas al responder preguntas (Dom). R18. Ejemplifica campo de la carrera (EP). R34. Logra que los alumnos se interesen en la materia (MEI). Anlisis de Confiabilidad de los reactivos como escala: Alfa Inicial: .8540 Alfa estandarizada: .8545 Por el contenido de los reactivos que conformaron este primer componente o factor lo nombraremos Enfoque del curso. Arias Galicia (1984), incluy tambin un factor denominado Enfoque a la profesin en su instrumento, conformado por .679 .652 .640 .631 .605 .517 .443

Evaluacin del Desempeo Docente 33 reactivos muy similares a los usados en este cuestionario. Slo en el cuestionario mencionado, entre los revisados, fue donde se encontr un componente del desempeo docente como ste.

El segundo factor obtenido, se conform tambin por 6 reactivos con pesos factoriales superiores a .40. Tres pertenecientes a la escala de Dominio de la Materia (Dom), dos a la de Preparacin de clase y Cumplimiento del Programa (PCP), y uno a la de Dinamismo en Clase (Din).

La Tabla 16 muestra la configuracin de este segundo factor. Se incluyen las alfas de Cronbach inicial y estandarizada para la escala, a partir de las respuestas de los 757 alumnos.

Tabla 16. Reactivos que conforman el componente nmero dos, Competencia para la enseanza, despus de la rotacin Equamax. Reactivo del cuestionario Carga factorial R07. Deja ideas claras, no se enreda (Dom). R21. Responde concretamente (Dom). R10. Extensin de tema segn programa (PCP). R24. Aclara terminologa (Dom). R16. Organiza actividades del da (PCP). R22. Mantiene en actividad al grupo (Din). Anlisis de Confiabilidad de los reactivos como escala: Alfa Inicial: .8617 Alfa estandarizada: .8635 El contenido de los reactivos agrupados en este factor se relacionan con la llamada Capacidad para ensear, pues se refieren a acciones relacionadas con el control de aspectos comunes a la situacin de enseanza, de la forma de llevarla a cabo segn un modelo tradicional de enseanza basado en la conferencia. A este factor lo denominamos Competencia para la enseanza siguiendo la terminologa de Fernndez y Mateo (1992). .647 .581 .551 .505 .492 .401

Evaluacin del Desempeo Docente 34 En el tercer componente producido por la rotacin destacan 5 reactivos con cargas factoriales superiores al criterio. Tres pertenecientes a la escala Motivacin al alumno y estilo interpersonal (MEI) y dos a la de Respeto a los Alumnos (RA).

En la Tabla 17 se resume la configuracin de este factor. Para las respuestas de los alumnos. Se incluyen las alfas de Cronbach inicial y estandarizada para la escala.

Tabla 17. Reactivos que conforman el componente nmero tres, Estilo de Relacin con los Alumnos, despus de la rotacin Equamax . Reactivo del cuestionario Carga factorial R15. Trata con respeto y cordialidad (MEI). R31. Evita mofarse de los alumnos (RA). R11. Escucha sin interrumpir al alumno (RA). R12. Mantiene disciplina sin rigidez (MEI). R13. Reconoce esfuerzo y logros (MEI). Anlisis de Confiabilidad de los reactivos como escala: Alfa Inicial: .7729 Alfa estandarizada: .7774 Por el contenido de los reactivos, a este factor lo denominamos Estilo de relacin con alumnos, Fernndez y Mateo (1992) incluyen en su modelo una escala a la que llaman interaccin o rapport entre profesor y alumnos, en tanto que Arias (1994) distingue entre Respeto a los alumnos y Motivacin al estudiante. .659 .657 .635 .627 .469

En

el

cuarto

componente

resultante

destacan

los

cinco

reactivos

pertenecientes a la escala original denominada Criterios para Evaluar y Calificar (CEC), acompaados por uno de la escala Respeto a los Alumnos (RA). El reactivo 20, sin embargo, no se debe considerar para la interpretacin, ya que presenta pesos factoriales superiores al criterio fijado (.40) en dos factores a la vez. Este componente relacionado con la evaluacin del aprendizaje siempre est presente, directa o indirectamente, en todos los modelos para evaluacin de la

Evaluacin del Desempeo Docente 35 docencia revisados. Por ejemplo, mientras que Arias Galicia (1984) lo denomina criterios para calificar, Marsh (1982) titul este factor como exmenes y calificaciones y Frey (1982) lo llam Forma de calificar. En este estudio, mantendremos el nombre Criterios para Evaluar y Calificar.

La Tabla 18 resume la configuracin de este componente, para las respuestas de los alumnos. Se incluyen las alfas de Cronbach inicial y estandarizada para la escala.

Tabla 18. Reactivos que conforman el componente nmero cuatro, Criterios para Evaluar y Calificar, despus de la rotacin Equamax Reactivo del cuestionario Carga factorial R27. Entrega calificaciones el da prometido (CEC). R30. Al inicio del curso acuerda forma de evaluar (CEC). R32. Calificaciones parciales incluyen varios aspectos (CEC). R20. Califica temas tratados en clase (CEC)*. R33. Realiza evaluaciones peridicas (CEC). R28. Acepta aportaciones de alumnos a la clase (RA). Anlisis de Confiabilidad de los reactivos como escala: Alfa Inicial: .7612 Alfa estandarizada: .7651
*El reactivo 20 presenta pesos factoriales superiores a .40 en ms de un factor (4 y 6) por lo que debera no ser considerado en la interpretacin, sin embargo, en base al resultado del anlisis de confiabilidad se decidi mantenerlo en el factor 4.

.696 .632 .541 .532 .492 .453

Con la restriccin fijada desde el principio de aceptar slo pesos factoriales superiores al .40 para la interpretacin, los Factores 5 y 6 resultaron conformados cada uno por cuatro reactivos. En el caso del Factor 5, los cuatro reactivos corresponden a la escala inicial del cuestionario denominada Dinamismo en clase, por lo que no resultara difcil mantener el mismo nombre para dicha escala, pues los reactivos se refieren consistentemente a actividades de variacin de los estmulos durante la clase; sin embargo, la interpretacin de ste como factor significativo es

Evaluacin del Desempeo Docente 36 ambigua, ya que los reactivos nmero 2 y 29 poseen tambin cargas altas en el Factor 2.

El Factor 6 sera an ms difcil de interpretar, ya que dos de los reactivos que lo conforman tienen pesos factoriales superiores a .40 en ms de un factor, y al no considerarlos -por su ambigedad-, el nmero de reactivos que lo conforman se reducen a dos, que ms que visualizarlos como un factor podran ser indicadores independientes de cumplimiento administrativo de la jornada de trabajo.

Por lo tanto, y para efectos de la interpretacin de esta configuracin factorial, el Factor 5 podra nombrarse efectivamente Dinamismo en clase, pero al quedar conformado slo por dos reactivos, valdra la pena someterlo a revisin, aadiendo algunos otros hasta lograr una configuracin ms estable, o bien intentar conformar una sola escala junto con el Factor 2. Los resultados del anlisis de confiabilidad

que se presentan ms adelante permitirn ampliar el anlisis de esta posibilidad.

El Factor 6 es considerado como un componente con tan poca consistencia conceptual y emprica que no es posible nombrarlo, por lo que se tiene que estudiar ms detenidamente su eventual conformacin; o bien, analizar el comportamiento de sus reactivos al probarlos junto con los de otro de los factores que s resultaron ms definidos (de nuevo con el Factor 2, por ejemplo, aadiendo los reactivos 05 y 35 a los que inicialmente lo conformaron, se obtiene una Alfa mayor a la obtenida originalmente con cinco reactivos). La Tabla 19 resume la conformacin estructural de los Factores 5 y 6.

Evaluacin del Desempeo Docente 37 Tabla 19. Reactivos que conforman los componentes cinco y seis, despus de la rotacin Equamax. Reactivo del cuestionario Carga factorial Factor 5. R14. Organiza equipos de trabajo (Din). R17. Forma equipos de investigacin (Din). R29. Realiza mesas redondas con alumnos (Din)*. R02. Usa materiales para exponer (Din)*. Factor 6. R03. Termina clase a la hora (RA). R01. Inicia clase a la hora (RA). R05. Clases siguen orden programa (PCP)*. R35. Trata todos los temas del programa (PCP)*. Anlisis de Confiabilidad de los reactivos: Factor 5 como escala: Alfa Inicial: .7304 Alfa estandarizada: .7312 Factor 6 como escala: Alfa Inicial: .6828 Alfa estandarizada: .6858
* Reactivos que poseen cargas altas en ms de un componente y que no son considerados para la interpretacin del factor.

.851 .827 .598 .425

.706 .659 .521 .460

En resumen, el resultado del AFE realizado permite interpretar una estructura conformada de la siguiente manera: a) Una escala denominada Enfoque del curso, conformada por siete reactivos, que permite identificar hasta qu punto la actividad del profesor relaciona lo visto en clase con las necesidades y caractersticas del desempeo profesional. b) Una segunda escala denominada Competencia para la enseanza, conformada por seis reactivos, que permite identificar el tipo de desempeo del profesor en un conjunto de actividades que son comunes al mtodo de enseanza por conferencia, utilizado frecuentemente en el aula.

Evaluacin del Desempeo Docente 38 c) El tercer componente identificado se titul Estilo de relacin con alumnos y result conformado por cinco reactivos que permiten identificar la manera en que el profesor establece condiciones apropiadas para el trabajo con los estudiantes durante el curso. d) El componente denominado Criterios para Evaluar y Calificar result conformado por 6 reactivos que permiten identificar acciones del profesor relacionadas con la verificacin de los aprendizajes y la certificacin de los mismos.

Hasta aqu se ha presentado el resultado del anlisis factorial exploratorio que se resumi en la seccin anterior como una estructura consistente de cuatro factores que pueden ser interpretados significativamente. Ahora veremos el resultado del anlisis de confiabilidad mediante el coeficiente alfa de Cronbach, realizado a los componentes o escalas resultantes del anlisis factorial exploratorio.

En las tablas 15, 16, 17, y 18 podemos observar los valores del coeficiente alfa para cada una de las escalas evaluadas; como se observa, los valores de las alfas de las cuatro primeras escalas se encuentran por encima del .75, lo cual habla a favor de su consistencia. El valor del coeficiente alfa estandarizado para la escala conformada por los cuatro primeros factores de la solucin rotada result ser de .9317. Sin embargo, con base en el anlisis de las correlaciones entre los reactivos y de sus cargas factoriales correspondientes, se estudi la posibilidad de evaluar la consistencia de escalas conformadas de manera emergente. De all que al agregar los reactivos del factor dos (siete enunciados), los del Factor 5 (cuatro enunciados), los del Factor 4 (seis enunciados) y dos reactivos del Factor seis, para evaluar su consistencia como una sola escala, se obtuvo un alfa mayor que la obtenida originalmente con los seis reactivos del factor dos, (en la Tabla 18 podemos observar que el valor del alfa estandarizada es de .7651 para el factor conformado por seis enunciados; cuando se consideran conjuntamente los 19 enunciados, el valor del alfa sube a .9055) por lo que resulta consistente plantear la conformacin de una escala

Evaluacin del Desempeo Docente 39 denominada Competencia para la enseanza, que contiene 19 enunciados o reactivos, lo que da ms elementos para caracterizar el desempeo del docente. En apoyo a estos resultados del anlisis de confiabilidad, el que los reactivos de los factores cuatro, cinco y seis tengan cargas factoriales aunque menores a .40- en el factor dos, permite interpretarlas mas fcilmente como una sola escala. De esa

manera, la Competencia para la Enseanza estara conformada, adems de lo ya comentado sobre la enseanza basada en la conferencia, por acciones de evaluacin y certificacin, por acciones de organizacin de los alumnos para el trabajo y por cumplimiento de criterios administrativos externos en el desempeo de las labores docentes.

Finalmente, en la Tabla 20 se presenta el anlisis de consistencia interna (alfa de Cronbach) de las escalas del Cuestionario para Evaluacin el Desempeo Docente Frente a Grupo. La escala Enfoque del Curso quedo conformada por siete reactivos: 6, 9, 18, 23, 25, 26, y 34, y tiene un alfa de Cronbach de .8545. La escala Competencia para la Enseanza, se conform por 19 reactivos: 2, 4, 5, 7, 10, 14, 16, 17, 20, 21, 22, 24, 27, 28, 29, 30, 32, 33, 35, y presenta un alfa de Cronbach de .9055. Finalmente, la escala Estilo Interpersonal se form por seis reactivos: 7, 10,

16, 21, 22 y 24, present una alfa de Cronbach de .7774. El alfa de Cronbach para el cuestionario completo, de 32 reactivos es de .9395.

Tabla 20. Consistencia interna y nmero de reactivos de las escalas del Cuestionario para Evaluar el Desempeo Docente Frente a Grupo. Escala Nmero de Coeficiente alfa Coeficiente alfa reactivos estandarizado estandarizado de la de la escala escala completa Enfoque del curso 07 .8545 Competencia para la enseanza Estilo Interpersonal Escala Completa 19 05 32 .9055 .7774 .9395

Evaluacin del Desempeo Docente 40 Anlisis Confirmatorio del Cuestionario para Evaluar el Desempeo Docente Frente a Grupo Prueba del Modelo Cualitativo. Este modelo terico (Figura 1) se construy a partir de la consulta realizada a los docentes, sobre cuales eran las dimensiones acadmicas que mejor representaba el desempeo frente a grupo y cules eran los indicadores de cada una de las dimensiones.

La prueba del modelo de desempeo docente construido a partir de la seleccin de los reactivos por los profesores, es decir, del modelo de siete escalas que conformaron el cuestionario original no fue respaldado por los datos, ya que los indicadores, tanto los estadsticos como los empricos, no alcanzaron los valores criterio establecidos (Bentler, 1993) para afirmar que el modelo tuviera bondad de ajuste. Es decir, el modelo terico puesto a prueba (el creado a partir de la opinin de los docentes) difiere significativamente del modelo inclusivo en su poder de explicacin, por lo que no se considera adecuado para dar cuenta de las intercorrelaciones entre las respuestas de los estudiantes.

Utilizando la metodologa del Anlisis Factorial Confirmatorio como una herramienta de exploracin se probaron distintos modelos tericos para evaluar su poder explicativo comparado con el modelo inclusivo. Se encontr que el modelo ste, estuvo compuesto

con el mejor ajuste fue el que se presenta en la Figura 2.

por los mismos cuatro factores surgidos en la estructura resultante cuando se utiliz el Anlisis Factorial Exploratorio, y la decisin de someter a prueba este modelo con la metodologa confirmatoria estuvo basada en tal hecho, buscando darle mayor potencia a la construccin del cuestionario definitivo. Como puede observarse en la figura 2, el modelo sometido a prueba incluy dos variables de primer orden, que se nombraron "Evaluacin y Calificacin" (3 reactivos) y "Enfoque del curso" (4 reactivos), por el contenido de los enunciados o variables observadas. Tambin incluy dos variables de orden superior, una nombrada "Competencia para la enseanza" conformada por las variables de primer orden: organizacin y preparacin de la clase (3 reactivos), y dominio del material (4 reactivos); y la otra

Evaluacin del Desempeo Docente 41 Insertar Figura 1

Evaluacin del Desempeo Docente 42 Insertar Figura 2

Evaluacin del Desempeo Docente 43 nombrada "Estilo de interaccin con los alumnos", conformada por las variables de primer orden: Respeto (3 reactivos), y Motivacin y Estilo Interpersonal (3 reactivos). En la Tabla 21 se pueden observar los reactivos o enunciados que conformaron los factores surgidos en el AFE y en el AFE. La tabla tambin muestra comparativamente los valores del Alfa de Cronbach para cada uno de los factores resultantes. Tabla 21. Cuadro comparativo de Factores retenidos con el AFE y probados mediante el AFC, con sus respectivos reactivos. Entre parntesis, se incluye el valor del Alfa de Cronbach para cada factor. FACTOR AFE AFC Enfoque del curso 6, 9, 18, 23, 25, 34 6, 18, 23, 25 (.8545) (.7966) Evaluacin y calificacin 20, 27, 28, 30, 32, 33 30, 32, 33 (.7651) (.5978) Competencia para la enseanza 7, 10, 16, 21, 22, 24 7, 8, 10, 16, 19, 21, 24 (.8635) (.8643) Estilo de Relacin con los alumnos 11, 12, 13, 15, 31 11, 12, 13, 15, 27, 28 (.7774) (.7930)

En la misma Figura 2, la variable latente de orden superior llamada "Desempeo Docente" muestra pesos factoriales de .86 con el factor Criterios para Evaluar y Calificar; de .83 con el factor Enfoque a la profesin; de .95 con el factor de segundo orden Competencia para la enseanza; y de .89 con otro factor de segundo orden denominado Estilo de interaccin con los alumnos. El factor de segundo orden Competencia para la enseanza produjo pesos factoriales de .99 y .99 con los factores de primer orden denominados Organizacin y preparacin de la clase y Dominio de la materia, respectivamente. Los constructos Criterios para evaluar y calificar, Enfoque del curso, Organizacin y preparacin de la clase, Dominio de la materia, Respeto y Motivacin y Estilo interpersonal, parecen poseer validez convergente de constructo

Evaluacin del Desempeo Docente 44 (Corral, 1995; Gorsuch, 1983), lo cual se manifiesta en los pesos factoriales altos y significativos (p=.001) entre cada una de las variables latentes con sus respectivos indicadores observados. El factor Criterios para evaluar y calificar qued integrado por las siguientes variables observadas: Al inicio del curso acuerda forma de evaluar 1 (.60), Calificaciones parciales incluyen varios aspectos (.58), y Realiza evaluaciones peridicas (.53). El factor Enfoque del curso se conform por los siguientes indicadores: Comenta perspectivas de la profesin (.69), Ejemplifica campo de la carrera (.68), Seala posibles errores en la actividad profesional (.69), y Relaciona el tema con aplicaciones en la profesin (.74). El factor Organizacin y preparacin de la clase result conformado por los siguientes reactivos o indicadores: Explica el plan al empezar la clase (.64), Extensin del tema segn programa (.66), Organiza actividades del da (.68). El factor Dominio de la materia, por los siguientes reactivos: Deja ideas claras, no se enreda (.79), Relaciona tema con siguiente clase (.62), responde concretamente (.77), y Aclara terminologa (.67). El factor Respeto lo conformaron los siguientes reactivos: Escucha sin interrumpir al alumno (.69), Acepta aportaciones de alumnos a la clase (.58), Evita mofarse de los alumnos (.51). Finalmente, el factor Motivacin y estilo interpersonal lo conformaron los siguientes reactivos: Mantiene disciplina sin rigidez (.72), Reconoce esfuerzo y logros (.61) y Trata con respeto y cordialidad (.61).

Slo los indicadores de bondad de ajuste, prcticos, muestran que el modelo est respaldado por los datos. La X2 resultante fue de 352 (163 gl), asociada a una p=.001, el IAN fue de .94, y tanto el IANN como el IAC fueron iguales a .96; el RMSEA fue de .03. Esto significa que este modelo terico, sin ser necesariamente

el ptimo, se aproxima al poder explicativo del modelo saturado, al menos tomando como base los indicadores prcticos. Es preciso seguir probando el cuestionario,

manteniendo los cuatro factores probados e incluyendo stos y otros reactivos hasta lograr una calibracin adecuada del instrumento.
1

Se presenta una versin sinttica de la redaccin del reactivo.

Evaluacin del Desempeo Docente 45 Anlisis de consistencia interna. Los Indicadores de consistencia interna (alfa de Cronbach) para la escala de Criterios para evaluar y calificar fue de .5978; para la de Enfoque del curso fue de .7966. El alfa del factor de Organizacin y preparacin de la clase fue de .7021, la del factor Dominio de la materia fue de .8055. Cuando se calcul el alfa para el factor de segundo orden Competencia para la enseanza, conformado por los dos factores anteriores, el valor fue de .8643, que es superior a las alfas de cada uno por separado. En el caso del factor Respeto, el alfa resultante fue de .6206, en tanto que la del factor Motivacin y estilo interpersonal fue de .6869. Al conformarse el factor de segundo orden Estilo interactivo con los alumnos con las dos anteriores y calculando su alfa se obtuvo un valor de .7930, superior al obtenido por ambos por separado. El valor de alfa obtenido para el cuestionario completo con 20 reactivos fue de .9205.

Evaluacin del Desempeo Docente 46

Discusin
El procedimiento utilizado en la parte de construccin del cuestionario permiti una validacin directa, ya que fueron los propios profesores2 los que seleccionaron aquellos comportamientos ms representativos a su propio juicio- del desempeo docente. Que hayan sido profesores experimentados los que eligieron el conjunto de reactivos que describen actividades docentes a incluirse en el cuestionario, responde a la necesidad de otorgarle validez mediante jueces a la nocin Desempeo Docente. Por otra parte, que los reactivos representen acciones o conductas relevantes en el escenario del aula responde a la necesidad de otorgarle validez ecolgica a la evaluacin. Ambos aspectos fueron incluidos en este estudio para cumplir con las

recomendaciones hechas por estudiosos de la materia, tanto a nivel nacional (Arias, 1984; Luna 1996; Rueda y Rodrguez, 1996; Martnez, 2000) como internacional (Marsh y Hocevar , 1991; Marsh y Bailey,1993; Tang, 1997) para la construccin y desarrollo de cuestionarios para evaluar la actividad docente. El anlisis exploratorio de las respuestas de los estudiantes permiti la identificacin inicial de cuatro dimensiones relevantes del Desempeo Docente y otras dos un tanto ms ambiguas. Tales dimensiones relevantes fueron: Enfoque

del Curso, Competencia para la Enseanza, Estilo de Relacin con los Alumnos, Criterios para Evaluar y Calificar, dimensiones o factores que han sido incluidos en otros cuestionarios publicados en la literatura. El anlisis de confiabilidad ayud para la conformacin de tres escalas de gran consistencia interna para la versin definitiva del cuestionario. Estas escalas fueron: Enfoque del Curso, Competencia para la Enseanza, y Estilo Interpersonal. La primera y la tercera de ellas resultaron directamente del procedimiento de Anlisis Factorial ya descrito. La segunda result de la integracin de cuatro factores, que permiten una definicin ms amplia del constructo Competencia para la Enseanza.

El nmero de aos promedio, de dedicacin a la docencia a nivel superior, entre los profesores que participaron en esta fase inicial fue de casi nueve.

Evaluacin del Desempeo Docente 47 Puede decirse que para la muestra de alumnos encuestada, el Desempeo Docente se compone de: a) acciones del profesor orientadas a relacionar la enseanza en el aula con las necesidades y caractersticas del medio profesional; b) con acciones que demuestran dominio de la materia, control del programa de actividades del curso, y la aplicacin justa de criterios para la evaluacin; y c) con el estilo particular de interaccin del profesor con los alumnos. Por otra parte, el resultado del anlisis confirmatorio, permiti probar una estructura multifactorial del Desempeo Docente conformada por dos factores de primer orden: Criterios para Evaluar y Calificar, y Enfoque del Curso; y dos factores de segundo orden: Competencia para la Enseanza -conformado a su vez por dos factores de primer orden que fueron nombrados como Organizacin y Preparacin de la Clase, y Dominio de la Materia- y Estilo de Interaccin con los Alumnos conformado por los factores Respeto, y Motivacin-Estilo Interpersonal. Los indicadores empricos de este modelo de cuatro factores son adecuados. El anlisis de confiabilidad de estos factores como escalas slo permite confirmar como tales al factor de primer orden denominado Enfoque del Curso, al factor de segundo orden llamado Competencia para la Enseanza, y al otro factor de segundo orden llamado Estilo de Interaccin con los Alumnos. El factor llamado Criterios para Evaluar y Calificar obtuvo un coeficiente de confiabilidad relativamente bajo, por lo que sera recomendable revisar la conformacin de esta escala incluyendo un nmero mayor de reactivos. No obstante, es necesario comentar que el coeficiente de confiabilidad para el cuestionario con 20 reactivos fue muy alto, por lo que valdra la pena en futuros estudios realizar el mismo procedimiento de integrar este ltimo factor con el de Competencia para la Enseanza y probar su bondad de ajuste. Al hacerlo con estos datos no se encontraron resultados significativos. Entonces, tanto los resultados del anlisis exploratorio como los del confirmatorio apuntan a la conformacin de un modelo Trifactorial de Desempeo Docente, mismo que incluye: a) Enfoque del Curso; b) Competencia para la Enseanza y; c) Estilo de Interaccin con los Alumnos.

Evaluacin del Desempeo Docente 48 Se considera que haber llegado a este punto en el desarrollo del Cuestionario para Evaluar el Desempeo Docente frente a Grupo, representa un gran avance. Es preciso construir instrumentos de evaluacin cada vez ms vlidos y confiables para utilizarlos en estudios de mayor amplitud, que permitan indagar las complejas relaciones entre el desempeo de un especialista en enseanza que se enfrenta a la tarea de guiar el aprendizaje de un grupo de alumnos. El estudio de la capacidad Para

predictiva de este cuestionario es tambin otro de los desarrollos pendientes.

ello ser preciso estudiar la relacin que hay entre las evaluaciones de los alumnos con otros indicadores del desempeo que incluyen, por un lado, la produccin acadmica del profesor, sus niveles de satisfaccin con el empleo, la opinin de sus compaeros de trabajo, etc., y por otro, las calificaciones logradas por sus alumnos, su involucramiento en acciones del curso, la opinin del desempeo de su profesor a lo largo del tiempo, entre otros. Por supuesto que dicha tarea debe estar inmersa dentro de un sistema global por no decir integral- de evaluacin tanto de las actividades acadmicas como de sus productos resultantes. Volviendo al punto del reto que tienen actualmente las instituciones de Educacin Superior, ya no es tanto si se realiza o no la evaluacin del desempeo docente, sino que sta debe realizarse de manera tal que cumpla, por una parte, con criterios tcnicos. La otra parte del reto est en impulsar verdaderamente una cultura de la evaluacin entre los universitarios profesores y alumnos- que permita trascender la natural desconfianza que muchos profesores han desarrollado ante este tipo de evaluaciones. Esta parte del reto no slo implica el argumento tcnico, sino el poltico. Es decir, en tanto que los profesores no perciban la opinin de los alumnos como una fuente vlida para opinar sobre su desempeo, y en tanto que el uso de los resultados de las evaluaciones no se orienten institucionalmente a la retroalimentacin y al impulso para la mejora de la calidad de los servicios de enseanza y formacin, la evaluacin seguir siendo una tarea sujeta a tal desconfianza.

Evaluacin del Desempeo Docente 49

Referencias Bibliogrficas
Aguirre, X., Botero, I., Loredo, J. y otros. (2000). Evaluacin integral de la docencia: una propuesta formativa y humanista. En: J. Loredo (Coord.), Evaluacin de la Prctica Docente en Educacin Superior (pp. 1-35). Mxico: Ed. Porra. Angeles, O. (1993). El comit Nacional de Evaluacin de Francia. Evaluacin Educativa, 11, CIEES-CONAEVA. Arias, G. F. (1984). El Inventario de Comportamientos Docentes (ICD): Un instrumento para evaluar la calidad de la enseanza. Perfiles Educativos, 4, 14-22. Arredondo, V. (1991). A dnde debe conducir la evaluacin de la Educacin Superior?. Revista de la Educacin Superior, XX, 3, 159-171. Arredondo, V. (1995). Papel y perspectiva de la Universidad. Coleccin Temas de Hoy, 4, Mxico: ANUIES. Arubayi, E. (1987). Improvement of instructional and teacher effectiveness: are student ratings reliable and valid?. Higher Education, 16, 267-278. Bentler, P. (1993). EQS. Structural Equations Program Manual. Los Angeles: BMDP Statistical Software Inc. Castaos, H. (2000). Sistemas de valoracin de la actividad acadmica en Mxico. En: T. Pacheco y A. Daz (Coords.), Evaluacin Acadmica (pp. Mxico: UNAM-FCE. Corral-Verdugo, V. (1995). Modelos de variables latentes para la investigacin conductual. Acta Comportamentalia, 3, 171-190. Corral-Verdugo, V., Fras, A. M. y Gonzlez, L. D. (2001). Anlisis cuantitativos de variables latentes. Mxico: Ed. UNISON. Cronin (1991).The political science teacher, Celebrating college teaching. Political Science and Politics, 26, 482-491. Fresn, M. y Vera, Y. (2000). Evaluacin de la actividad docente. En: ANUIES. Evaluacin del desempeo del personal acadmico. Anlisis y propuesta de metodologa bsica (pp. 105-127). Mxico: ANUIES. 43-63).

Evaluacin del Desempeo Docente 50 Frey, P. W. (1978). A two dimensional analysis of student ratings of instruction. Validation research. American Educational Research Journal, 12, 327-336. Frey, P. W. (1982). Components of teaching. Instructional evaluation, 7, 3-10. Galindo, D. y Zwaiman, K. (2000). Un estudio emprico de la relacin que existe entre la evaluacin docente y el clima escolar. En: J. Loredo (Coord.), Evaluacin de la Prctica Docente en Educacin Superior (pp. 179-214). Mxico: Ed. Porra. Gonzlez, C. N. (2000). Una propuesta de Evaluacin de Desempeo Docente en las Instituciones de Enseanza Superior. Tesis de Maestra, UNISON. Gorsuch, R. L. (1983). Factor Analysis. Hillsdale, NJ: Erlbaum Publishers. Guevara, J. L. y Pacheco, T. (2000). Poltica de la evaluacin de la educacin superior en Mxico. En: T. Pacheco y A. Daz (Coords.), Evaluacin Acadmica (pp. 138-151). Mxico: UNAM-FCE. Luna, M. (1996). Jerarqua de las dimensiones de evaluacin de la actividad docente en estudios de posgrado. En: M. Rueda y J. Nieto. (Comps.), La evaluacin de la docencia universitaria (pp. 99-123). Mxico: UNAM. Marsh, H. (1982). SEEQ: A reliable, valid and useful instrument for collecting students evaluations of university teaching. British Journal of Educational Psychology, 52, 77-95. Marsh, H. (1986). Applicability paradigm: Students evaluations of teaching effectiveness in different countries. Journal of Educational Psychology, 78, (6), 465-473. Marsh. H. y Bailey, M. (1993). Multidimensional students evaluations of teaching effectiveness. Journal of Higher Education, 64 (1), 1-18. Marsh, H. y Hocevar (1991). The multidimensionality of university teaching effectiveness: The generality of factor structures across academic discipline, instructor level, and course level. Teaching and Teacher Education, 7, 9-18. Marsh, H. y Overall, J. (1980). Validity of students evaluations of teaching effectiveness: cognitive and affective criteria. Journal of Educational

Psychology, 72 (4), 468-475. Martnez, R. F. (2000). Consideraciones sobre la evaluacin del personal acadmico por parte de los alumnos. En: ANUIES. Evaluacin del Desempeo del

Evaluacin del Desempeo Docente 51 Personal Acadmico. Anlisis y propuesta de metodologa bsica (pp. 129137). Mxico: ANUIES. Mateo, G. y Fernndez, S. (1992). Anlisis confirmatorio de la estructura dimensional de un cuestionario para la evaluacin de la calidad de la enseanza, Investigaciones Psicolgicas, 11, 73-80. Nieto, J. y Maldonado, E. (1996). Expectativas de profesores y estudiantes de posgrado frente a la enseanza tutoral. En: M. Rueda y J. Nieto. (Comps.), La Evaluacin de la Docencia Universitaria (pp. 63-97). Mxico: UNAM. Prez, G. A. (1996). Paradigmas contemporneos de investigacin didctica. En: A. Prez, G. (Ed.), La Enseanza, su Teora y su Prctica. Madrid: Ed. Akal. Rueda, B. M. y Rodrguez, S. L. (1996). La evaluacin de la docencia en el posgrado de psicologa de la UNAM. En: Mario Rueda Beltrn y Javier Nieto Gutirrez. (Comps.). La Evaluacin de la docencia universitaria. (pp. 7-61) Mxico: UNAM. SPSS. (1997). Base 7.5 Applications guide. EUA: SPSS Inc. Tang, T. L. (1997). Teaching evaluation at a public institution of higher education: factors related to the overall teaching effectiveness. Public Personnel Management. Vol. 26, p. 379-390. Tejedor, F. J. y Montero, L. (1990). Indicadores de la calidad docente para la evaluacin del profesor universitario por los alumnos. Revista Espaola de Pedagoga, XLVIII, 196, mayo-agosto, 259-279. Vera, Y. (2000). Evaluacin del docente en el marco del PROMEP. En: J. Loredo (Coord.), Evaluacin de la Prctica Docente en Educacin Superior (pp. 215234). Mxico: Ed. Porra. Watkins, D. y Akande, A. (1992). Student evaluations of teaching effectiveness: a Nigerian investigation. Higher Education, 24, 453-463.