Captulo 4

EVALUACIN DE PROGRAMAS EVALUACI

Profesora Milagros Bravo Vick PhD EDUC 8030 UPR RP Juan Capurro Gonzles

Objetivos de la Presentacin

Describir los enfoques orientados al mejoramiento y la rendicin de cuentas Discutir los aportes de Daniel Stufflebeam en la temtica de Evaluacin de Programas Explicar el mtodo CIPP, sus fundamentos y potencialidades. Discutir la relevancia de Evaluacin de Programas en los diferentes campos en particular el educativo. Presentar los beneficios y consideraciones acerca de Evaluacin de Programas incluyendo una visin panormica que interrelaciona las diferencias entre ellas.
Juan Capurro. Evaluacin de Programas EDUC 8030 -- 2008 UPR RP

Enfoques orientados al mejoramiento y la rendicin de cuentas

Panorama de Evolucin De los diversos enfoques de evaluacin ubicamos a estos por su inters principal: Orientados a las Preguntas > Objetivos / Tyler Orientados a los Mtodos > Estrategia de inquirir avalo, estudio de casos Orientados al Mejoramiento > Tomar decisiones / informada seleccionar entre alternativas Orientados a la participacin Utilidad y agenda social > apoderamiento

Juan Capurro. Evaluacin de Programas EDUC 8030 -- 2008 UPR RP

Enfoques orientados al mejoramiento y la rendicion de cuentas

Caracterizados y organizados para ofrecer informacin sobre las distintas etapas de los Programas y poder tomar decisiones racionales y oportunas sobre cada una de ellas. Los 3 principales modelos de esta categora: Enfoque orientados a la toma de decisiones, identificando la informacin pertinente al usuario Enfoque orientado al consumidor, facilitndole informacin de programas en competencia y Enfoque orientado al peritaje profesional en procesos de acreditacin (ej. Delphi, Blue Ribbon)
Juan Capurro. Evaluacin de Programas EDUC 8030 -- 2008 UPR RP

Enfoques orientados al mejoramiento y la rendicin de cuentas

nfasis en mejorar el programa facilitando informacin para la toma de decisiones organizacionales. Ofrecen al consumidor evaluaciones entre programas y servicios que compiten y lo ayudan a examinarlos mediante peritaje profesional El usuario principal de estos son los decisores y administradores de programas pero reporta utilidad a otros dado que el mtodo es un acercamiento sistmico y ajusta la preguntas a las necesidades de informacin de quien la ejecuta.
Juan Capurro. Evaluacin de Programas EDUC 8030 -- 2008 UPR RP

Las Fuentes de Information

Identifica las partes en que se deben tomar decisiones Se orienta a clarificar quien usara la informacin evaluativa, el tipo y el momento pertinente. Las preguntas corresponden a diversas facetas del programa: Se han determinado apropiadamente las necesidades de los beneficiarios del programa? Cules son sus mritos y costos comparativos? El personal est suficientemente cualificado? Se han asignado roles apropiados a los participantes?
Juan Capurro. Evaluacin de Programas EDUC 8030 -- 2008 UPR RP

Enfoques orientados a la toma de decisiones

Daniel Stufflebeam (CIPP) Su aporte fue disear en un solo marco de referencia 4 evaluaciones que corresponden a 4 fases del Programa: C ontexto Planificacin I nsumo Estructural P roceso Implantacin P roducto Retro-comunicacin alkin@gseis.ucla.edu ALKIN Marvin [It is best] to generally adhere to a particular model that makes the most intellectual sense to [you]. To have a defining structure: a basic model or theory that one adheres to but is potentially adaptable. (Alkin, 2004, Evaluation Roots, x.)
Juan Capurro. Evaluacin de Programas EDUC 8030 -- 2008 UPR RP

M todos orientados al mejoramiento

Evaluation use (or evaluation utilization) refers to the way in which an evaluation and the information from the evaluation impacts the program that is being evaluated. It is important to make clear that evaluation use can occur as a function of the evaluation process [process use] as well as due to its findings [findings use], and in both cases either conceptually, instrumentally, or symbolically / legitimatively. An awareness of evaluations intended and unintended impacts is another defining characteristic of use. (Alkin & Taut, 2003, Unbundling Evaluation Use, 2, 13.)
Juan Capurro. Evaluacin de Programas EDUC 8030 -- 2008 UPR RP

Incorrectos usos de la Evaluacin

We define the responsibility for evaluation misuse as resting with users, while the responsibility for misevaluation lies with evaluators. Another issue related to misuse is the difference between intentional and unintentional misuse. (Alkin & Coyle, 1988, Thoughts on Evaluation Utilization, Misutilization and Non-utilization, 334.) Most of the evaluation ethics literature focuses on the practices and principles of the evaluator. Misutilization examines evaluation ethics through a different lens. Here, we consider the ethics of those using the evaluation, be it the commissioning of an evaluation, the evaluation process itself, or the evaluation findings. (Christie & Alkin, 1999, Further Reflections on Evaluation Misutilization, 1.)

Juan Capurro. Evaluacin de Programas EDUC 8030 -- 2008 UPR RP

Enfoques orientados al consumidor y la rendicin de cuentas

Juzgan los meritos relativos, el valor de productos y servicios alternativos, de forma que el cliente pueda hacer decisiones racionales. Estos se desarrollaron en base a la alta disponibilidad de recursos en los 60s, promueve la educacin del consumidor La persona que hace la evaluacin asume la posicin de consumidor sustituto ilustrado. Los mtodos de recopilacin de datos: Listas de cotejo basados en criterios estrictos (consumer report) Komoski, el servicio independiente de revision de productos, y Stevens con CMAS (Sist de anlisis de Materiales curriculares)
Juan Capurro. Evaluacin de Programas EDUC 8030 -- 2008 UPR RP

Evaluacin orientada al peritaje

Son los mas extendidos y antiguos y dependen del juicio experto de manera mayor que en los dems enfoques. Sistemas profesionales formales de revisin. Se usan en acreditaciones, estndares publicados, y su efecto sobre los programas evaluados es alta. Sistemas profesionales informales de revisin, como los Comits de Tesis, tienen cierta estructura pero no son estndares en propiedad. Paneles ad hoc, que no tienen ni estructura, ni estndares ni itinerario, pero incorporan opinin mltiple, sus miembros revisan los materiales individualmente y se renen para compartir percepciones. Revisiones individuales, similares a las anteriores pero es individual Enfoque de peritaje y critica educativa: Elliot Eissner (75), usa el arte, y Kelly (78) usa la literatura.
Juan Capurro. Evaluacin de Programas EDUC 8030 -- 2008 UPR RP

Fortalezas y Limitaciones CIPP

Los programas no necesitan esperar a que unas actividades hayan sido implantadas para evaluarlas, demostraron la importancia de comenzar los procesos evaluativos desde que se empiezan a discutir ideas para desarrollar programas. Permite decidir con precision que informacion debe sere recogida, la cual es esencial. Se focaliza en las necesidades y en las decisiones que han de tomar.Limita el alcance de la informacion pertinente a recoger.

Juan Capurro. Evaluacin de Programas EDUC 8030 -- 2008 UPR RP

Contribuciones ms destacadas

Identificacin de necesidades y planteamientos de objetivos correspondientes. Consideracin y evaluacin de diseos de programas alternativos. Examen de la implantacin de un programa. Identificacin de fallos en los programas. Explicacin de los resultados, a base de la implantacin. El examen de si las necesidades se han reducido. Contribucin al desarrollo de la meta evaluacin. Provisin de guas para meta evaluacin.
Becerra-Fernandez, et al. -- Knowledge Management 1/e -- 2004 Prentice Hall

Debilidades y Limitaciones

Limita la habilidad de responder a los problemas que no sean inquietudes de las personas que toman decisiones. La preferencia que se le da a las gerencias, abre la posibilidad que evaluador se convierta en un emisario de la gerencia. Una limitacin adicional de este enfoque, es que si se sigue en su totalidad puede llevar a evaluaciones muy costosas y complicadas, desviando recursos, que pudieran invertirse ms eficazmente en el programa. Stufflebeam, seala que la colaboracin entre la persona que evala y las partes interesadas sesga los resultados.
Becerra-Fernandez, et al. -- Knowledge Management 1/e -- 2004 Prentice Hall

Calificacin CIPP
Recibieron una calificacin general de muy bueno, en los estndares de utilidad, viabilidad y honestidad. Recibieron una calificacin de excelente en certidumbre. Referencias: Evaluacion de Programas. Dra Milagros Bravo Social Research Methodology at UCLA srm http://www.gseis.ucla.edu/~srm/Alkin.html
Juan Capurro. Evaluacin de Programas EDUC 8030 -- 2008 UPR RP

Bibliografa
Social Research Methodology at UCLA - [Citas previas] Marvin C. Alkin Professor Emeritus Education Evaluation Theory and Practice 3026 Moore Hall (310) 825-4800 alkin@gseis.ucla.edu. Education ... www.gseis.ucla.edu/~srm/Alkin.html Marvin Alkin - Graduate School of Education and Information StudiesAlkin, M.C. and Hofstetter, C.H. (2002). Evaluation Use Revisited to be published in International Handbook of Educational Evaluation (D. Stufflebeam and T. www.gseis.ucla.edu/faculty/members/alkin Marvin Alkin (UCLA) | EDUCAUSE Marvin Alkin (UCLA). Marvin Alkin. Professor, Education. UCLA. Los Angeles, California UNITED STATES. Membership Information. General Info. General Info ...
www.educause.edu/Community/MemDir/Profiles/MarvinAlkin/75687 http://aje.sagepub.com/cgi/content/abstract/24/2/213 http://www.allenandunwin.com/default.aspx?page=94&book=9781741146769
Juan Capurro. Evaluacin de Programas EDUC 8030 -- 2008 UPR RP

Captulo 4

EVALUACIN DE PROGRAMAS EVALUACI

Profesora Milagros Bravo Vick PhD EDUC 8030 UPR RP Juan Capurro Gonzles