WhTRAMAS SOCIALES EVALUAR PARA LA TRANSFORMACION Irene Gijman Innovaciones en la 1 Cesta Moe evaluacion de programas TS ats + 25 Gn at oe y proyectos sociales eae Ui et pt OLGA NIRENBERG 4, Francisco is Cotayud JOSETTE BRAWERMAN eer oii A 7 Bron ase ee apelaten saint 'e i er Barcelona MéxicoCatia de Gate Mace Maen dear rages e Pa de C1913) de ua Cie lin, 2000, Soe te © 00 de ton cones trl hn SCE Defna 9, Btene Aes ‘nl pido ind com ar ‘conc a eres Rubén Daria 118 Mesa DE ‘Queda hecho el depo que pene ey 1.728 pee ls Aetna nd in Agen pee en Gefen MPS ‘Stage del ero 88 Lan en ener de 000 ISN sn04508% LAS AUTORAS Olga Nirenberg Ts sociloga (Universidad Nacional de Buenos Aires -UBA-), con posgrados en Planificacin Socal y en Sa- Jud Pablica, Es director ejecutiva del Centro de Apo- yo al Desarrollo Loeal (CEADEL) y coordinadora del rea de evaluacién del Programa de Atencién a Nifiosy ‘Adolescentes en Riesgo (ProAme, Secretaria de Desa~ rrollo Social/BID). Trabaja como consultora en evalua- ién para otros programas nacionales de la Secretaria de Desarrollo Social y en el Programa Materno Infan- til y Nutricién (PROMIN, del Ministerio de Se- Jud/BIRF), y para programas internacionales, en espe- cial el Programa Regional de Salud Integral del Adoles- cente de la OPS- Washington DC y el Programa UNI de Ja Bundacién W. K. Kellogg, Josette Brawerman Es socidloga (UBA), con estudios de posgrado en PI nificacion Socal. Ha sido consultora del Centro Intera- ‘mericano de Desarrollo Social de la OFA y de UNICEF Gfayti7330 07Olga Nirenberg, Fnete Braverman, Veta Ratz Argentina. Fn la acmaldad es miembro del equipo téeni- ‘co de CEADEL y consultora del area de evaluacién del Programa Materno Infantil y Nutricién (PROMIN, Mi- nisterio de Salud/BIRF) y del Programa de Atencién a Ni- fos y Adolescentes en Riesgo (ProAme, Secretaria de De- sarrollo Socia/BID). Violeta A. Ruiz Es socidloga (UBA), con estudios en Programacién Social. En 1997 recibié el Premio Adeba por el trabajo presentado sobre la evaluacin del Programa Matemno Infantil del Ministerio de Salud. Se desempeis como consultora en programas sociales dependientes de distin- tas dreas de gobierno y Organizaciones de la Sociedad Civil (OSC). Ha coordinado y colaborado en evaluacio- nes de programas para la Direccién Nacional de Gasto Piiblico Social del Ministerio de Economia, CEADEL, UNICEF Argentina y programas dependientes de la Se cretatia de Desarrollo Social de la Nacién, INDICE Prologo, Leopold Halpern so B Introd ueci6m soon sons 2 Capitulo 1: :Para que la evaluacién? ... Tntrodaciendonos en tema La eraluacién como momento ‘func dela geren enna » Intentando una definicién Conn 31 Evaluacidn einvestigacin: bastante smilitudes y algunas difereneis ou. 36 ‘Cambios en los estils de evaluaciin 38 La evaluacin para la tansformacin 2 Aprendiendo con la evaluacién y de ella vss 46: EE proceso de la evalacion vo 48 Capitulo 2: Los tipos de evaluaci6, oo. s1 Antes, durante o después: siempre hay que evalua... 53 Conjugando el verbo evalua: cnos evaluamos o nos cevaldan? 58 Los milkiples propéstos de Ia evaluaciin 8 ’Olga Nirenberg, Jstte Braverman, Veta Rui FEnfaissegin temas: qué evalarnon? Los distintos objetos posibes de evluacin: tipos o nivles de ans? . Para evaluat ls evaluaciones| La multidimensionalidad de I evaluacion Capitulo 3: Los abordajes metodolégico... ‘Braluacisn cuaniaia ycuaiativa Un debate histérieo - valvacién cuanttaiva 0 euaitaiva Esa noes a ever ‘Una cust central rigor metodoliyico Actores yaudiencias ve Capitulo 4 Las técnicas de evaluaciéa, ‘Acerendonos alas técnicas . Los diferentes tipos de téenicas 2Céimo decidir qué técnica utilizar? 2Y sobre los instrumentos? Capicuo $+ El diseio de un modelo evaluative Por qué un modelo? nn Los atrburos deseables de un modelo evluativo Las partes que integran un modelo evaluative Parte por parte wn Las dimensiones del modelo evaluative... Abriendo ef abanico de las dimensiones Seleecionando y definiendo indicadores Las técnicasy las fuentes. Las preguntas orientadoras La matrz snesis del modelo evaluative EL inserumento valorativo: tun modo de cvantticar lo cualitatvo. 0 -Bvaluar poral transformacién Capitulo 6: La aplicacién del modelo evaluative Sa a “Tnstracinidimotlo ciety Hac “2 Lena cnn men “8 tea ae : tyra ssc 13 Fra enc aes » fiona) recomend recites hee © Home deste : {ho poe srs « Brcenensroross s ta aoe ga 9 nets Stic wl a 185 Intrenet 107 | i . vo 130. peo un 169 169 170 13 7 181 183 188 189 190 191 192 205PROLOGO El titulo del libro Boaluar para la transformacién ade- Janta la intencién de las autoras, fruto de su aquilatada experiencia en la formulacién y evaluacién de programas sociales. Y esta inteneidn se resume, a nuestro juicio, en lappropuesta de una reflexin profunda del significado de Ia evaluacién como elemento clave en Ia programacién de las poitcas sociales, Fs frecuente, en los andlisis de esta problemética, confundir la actividad de evaluacién -con los supuestos de racionalidad implicitos en ella~ con la de programa- cidn. Atribuir a la programacién -entendida como la asignacién de recursos ex ante- un carfeter racional en. todos los casos induce a error. La programacién, como metodologia de asignacién de cualquier tipo de recurso en ha sociedad, puede ser racional 0 irracional tanto en ‘objetivos como en métodos, yes de suma importancia te- rer en claro este punto al abordar este tema, especial- ‘mente en a evaluacién de programas En este trahajo, Nirenherg, Brawerman y Ruiz hacen ‘un minucioso andlisis del significado de la evaluacién en 8Olga Nirenberg, Jette Braverman, Violeta Raz |i programacién, partiendo del entendimiento claro y simple (pero pocas veces incorporado en los textos) de ue la evaluacién no es una parte inicial o final del pro- ceso de creacién u operacién de un proyecto 0 programa social, sino que se trata de un elemento consttutivo © separable del mismo. Es el nicleo motor de la racionali- dad de la que debiera estar dotado todo proyecto desti- nado a modificar una realidad social, desde el comienzo hasta mas allé de su finalizaci6n, desde las ideas iniiales {que guian al programador en su disefio hasta el momen- to en que, cumplidos los objetivos, es necesario reflexio- nar tanto sobre los efectos de lo propuesto y actuado co- ‘mo sobre las consecuencias ~deseadas y no deseadas~ de los procesos que se han puesto en marche, En este sentido, en todo el texto hay un explicto recha- 20a pensar la evaluacién como un momento aislado, parcial ‘yconfinado en el tempo, reafirmande el papel del “apren- dizaje” que éta brinda como punto de partida y de llegada, de prueba abierta y permanente base de nuevas propuestas Y gestiones superadoras en la politica y en la gestin social ‘Un analisisapresurado podria llevar a confundir esta concepcién de la evaluacién con la racionalidad que We- ber! define como propia de la modernidad y del eapita- lismo, racionalidad instrumental w operativa en la que f- nes, medios y condiciones son analizados por el actor y esto le permite elegir las conductas que lo llevarén, con los medios disponibles, a alcanzar los fines “racional- ‘mente seleccionados”. A su vez, Maynt," profundizando |. Wie, M Konomiy dad Mio, Fondo de Cultura sen vopg MMe: Se dts ainsi pl, Mab Man Protege cesta caracterizacin, en su andlisis del sistema (modelo) politico-administrativo moderno, redefine el problema de la racionalidad instrumental en la gestin del subsis- tema administrative, mostrando las variaciones que re- gistra ésta de acuerdo con la ampliacién y evolucién de sus funciones. En la etapa constitutiva del Estado moder~ no, tanto en el absolutismo fundante como en el perfodo del Estado gendarme del iberalismo, el predominio de funciones como las de recaudacién, orden externo e in terno hacen que domine una racionalidad burocrética, ccuyo criterio de éxito se basa en el apego a la norma, in dependientemente de los efectos que ella tenga. ‘La propia evolucién del Estado, en el posterior perfo- ‘do democritico de participacién, se acompafia de nuevas fanciones (obras pablicas, desarrollo econémico, politi- ‘eas de bienestar social) y se correspond con un nuevo modelo de gestin, el de la planificacién, cuyos crterios de éxito (y racionalidad) se basan en el cumplimiento de “metas” que sustituyen la racionalidad burocritica. De este modo, para las autoras, coexisten en el seno del Es- tado dos tipos de racionalidad instrumental, con distin- tos argumentos, ese a esta distincién que surge de los paradigmas normas-metas, la base de racionalidad sigue teniendo ca racteristicas pariale, de tipo instrumental. Asi concebi- da, I racionalidad del planificador, aunque distinta de la del burécrata se detiene en el momento en que aleanz6 cl objetivo propuesto en el plan o proyecto. La exigencia como afirmamos- es llegar a la meta, cumplir acabada- ‘mente con los fines del plan. En ambos casos, la raciona- lidad aparece como un elemento fragmentado, dada su definicion instrumental, es decir, parcial 1sOgu Nirenberg, Jste Braverman, Viet Ruiz Esta concepcién limitada se contrapone con la raci suidad asociada a la evaluacion, que consttuye el mode- lo de la propuesta contenida en este libro y que R. Gé- ‘mez! (utilzando los criterios epistemolégicos de K. O. Apel) caracteriza como comprehensiva, en tanto discute 0 lucida la propia racionalidad (y justera) de los fines que se persiguen. ‘La mera racionalidad instrumental, restringiday frag- ‘mentaria, est irremediablemente ligada « una concep- cién de la sociedad y su organizacién, y elimina la refle- xidn sobre las consecuencias de la accidn, con tin notorio empobrecimiento y limitacién en el andlisis, tanto a ni- vel epistemolégico como de la propia concepcién de la sociedad, de su organizacién, de los “modos aceptados ‘como racionales y para la accién social misma”, La propuesta evaluativa que se aborda en este texto en tanto elaborada como proceso que abarea y comtiene todo el desarrollo del plan o proyecto, sometiendo a eri- tica sistemtica no slo los fines seleecionados y el ajuste de la operacion a éstos sino ademés, y fandamentalmen- te, ls efectos deseados y no deseados de la implementa- cién, y aun el propio ejercicio de la evalacién misma, mediante la *metaevaluacién”, supera los limites de la tazén instrumental y de a critica expuesta, Un elemento destacable de esta propuesta es el de la profunda asociacién que se establece en el texto entre eva- Inacién y método cientifico, elacién eserechamente ligada a a concepcidn de racionalidad anteriormente expuesta Sin embargo, esta asociacin esti lejos de idemtficar am bas actividades, e ignora sus diferencias. Recuperando la 3. Gime, R: Netbeans y sends, Borns ies, Lagat, 1995 Prilags distincién que Bunge’ hace entre ciencia y tecnologia, la programacion-evaluacién aparece firmemente encuadrada en los cinones del métodlo cientfic, respondiendo a sus exigencias de prucha y verificacién, pero con identidad propia, en tanto accién pricica drigida a la transforma- cin, ala operacién sobre la realidad social Un aspecto sobresaliente del trabajo reside en el es- fuerzo didéctico con que se ha asumido la tarea a lo lar= 0 de los seis capitulos que componen el libro. Desde el anlisis minucioso de la propia definicién de evaluacién y sus implicancias, sus vineulaciones con el 1método cientifico, los criterios de validaci6n y operacio- nalizacin, el anilisis de las téenicas hasta la matriz. de evaluacién, la metodologia expositiva elegida privilegia en todos los temas tanto la desmitificacion de cuestiones aparentemente irreductibles (como es, por ejemplo, la aparente antinomia entre lo cuantitativo ts. lo cualitati- vo en investigueién social), camo las definiciones senci- las y accesibles, tanto para quien se asoma por primera vera estas cuestiones como para los especialistas intere- sados en otras perspectivasanalitcas El tratamiento de estos problemas resulta relevante en nuestro pais, particularmente en el émbito de las politicas sociales, dado que étas muestran -con escasas excepcio- nnes~ una generalizada orfandad tanto en la evaluacién co- mo en a formulacién y gestin de programas y proyectos. Resulta doblemente paradéjico que esto ocurra en la Angentina, a la luz de su temprana vocacin en la forma- lacién de programas sociales y de salud a partir de la dé- cada del cuarenta, ya que al mismo tiempo, y en sentido 4. ang, Ms Qs cei, Buenos Airs Siglo XX, 1960.Olga Nirenberg, Jnete Brewerman, Vista Ruiz contrario, aun con distintas definiciones, en el resto de ‘América Latina, pafses como Chile, Venezuela y Cuba, entre otros, han recurrido al modelo de la planificacién ‘como método de enfocar su problemética socal Seguramente son miltiples los factores que explican la renuencia del sector piblico a incorporar la programa- cidn (y la evaluacin) con estos criterios de racionalidad en la gestion de los programas sociales, Entre ellos, cons- tituye un elemento de peso la prevalencia en el subsiste- ‘ma administrativo del Estado argentino de una “euleura cexcesivamente burocritica”, que se ha convertido en la crientacién cuasi universal de toda gestién de Estado, trascendiendo los periédicos cambios de gobierno e, incluso, la alternancia entre modalidades democriticas y autoritarias que se sucedieron en los ilkimos cuarenta De este modo, en la formulacién y ejecucién de la po- litca social, aunque las acciones y los propésitos se et queten con frecuencia con el nombre de “programas” y recurran en no pocos casos ala liturgia formal de la pro- pia programaci6n, sus criterios de ejecucién, racionali- dad y éxito seatienen alos cdnones estrictos del procedi- ‘miento contable, sendo el principal, y a veces el ‘nico criterio de ejecucién, su apego al reglamento y a las nor- ‘mas de contabilided pablia, sta caracteristica negativa “administrativist” que ti- fie la politica social argentina no puede desvincularse del propio accionar del subsistema politico en el marco del Estado. Esto se debe, a nuestro juici, en parte, a una fa- lencia generalizada de dicho subsistema (el politico), el cual, ademas de carecer de informacién y condiciones téenicas que le permitan limitar y controlar eficarmente el poder real del subsistema administrativo, se ha volea- uw Protege do crecientemente a utilizar las politicas sociales con un sentido fuertemente clientelistico, y para cuyo ejercicio Ja programacién y la evaluacién resultan_superfluas Igual consideracién merece, @ nuestro juicio, la gestién en las politicas sociales de’ un nimero importante de ONG, que han pasado a formar parte subsidiaria de la ‘eadena mencionada de acciones clientelares. El conjunto de estas consideraciones nos permite afir- ‘mar que sin duda la lectura de Bvaluar para la transforma iin es ineludible, sobre todo para quienes asuman la ta- rea de la planificacién social, para todos los que desean. resolver las cuestiones que preacupan a Alicia (y no sélo a ella) acerca de dénde esti parada y eémo llegar al fin del camino, Lxopoupo HALPERIN agosto de 1999INTRODUCCION La image que ns cris de a sia ‘wre nen irl, por jad ty pos hs eau. Ts lem tar te et ea kien er torte mand ir cei trae 1 ue pon embark de sera i doe Bexrotr Bese! En este libro nos dirigimos fundamentalmente « aquellos que desarrollan acciones sociales, ya sea que for~ ‘ulen 0 que ejecuten programas o proyectos, tanto des- de organizaciones de la sociedad civil como desde distin- tas dreas de los diferentes niveles gubernamentales. Son ellos oellas quienes se habrin visto més de una ver en la _urgente necesidad de evaluar sus acciones y las de otros, pero desprovistos de las concepciones y herramientas adecuadas para tal responsabilidad. Creemos que tam- bién podré ser de utilidad para agencias de cooperacién o filantr6picas que apoyan proyectos y programas brin- dando financiamiento, asesoramiento y/o capacitacién, para temas de desarrollo social. ‘Uno de nuestros propésitos principales es el de des- pegar el sentido de Ia evaluacién del puro control que ejercen unos actores sobre otros, para situarlo en el pla- 1, Bes, Bs Kins Ong fr des Tet Srific sm Thay Feancfor,Suiamp, 196, pi 20 2Olga Nirenberg, Jase Braverman, Vals Rui ‘no del aprendizaje compartido entre quienes participan de las gestiones de los programas 0 proyectos, de modo que sean capaces de provocar las transformaciones nece- sarias en las situaciones insatisfactoras y en los modos de actuar para su resolucién Cuando decimos que nos importa la evaluacién para 1a transformacién, hacemos referencia al menos a dos niveles en los que las transformaciones deberian produ- cirse. Uno es el de contribuir a modifica la situacio- nes de adversidad, vulnerabilidad 0 inequidad en que se encuentran eiertos grupos poblacionales; como aclara~ remos posteriormente, todo proyecto o programa so- cial se formula para cambiar situaciones de ese tipo, y la evaluacién debe mostrar en qué medida se produjo el cambio deseable y debido a qué factores. Otro es mos- twar de qué manera ls acciones desplegadas para pro- ducir esas transformaciones resultan 0 no las adecuadas, yy qué cambios se aconsejan introducir en la forma de hacer las cosas. De modo que principalmente estamos hablando de evaluacién para la accién transformadora. ‘Compartimos el pensar de Krishnamurti (1998) acer- ca de que no podré existir una transformacién del “or- den” internacional ~dlel mundo- sino hay transforma- ciones en el ser humano, en su propio mundo interior, en sus concepeiones, en sus formas de mirar lo que lo rodea 3; sobre todo, en las formas de vincularse con los demis hhumanos y eon el ambiente. En tal sentido, puede ha- blarse también de la existencia de un pensamiento trans- formador. Si bien a lo largo del texto reiteramos que la evalua in, considerada como una tecnologia socal. consste ‘sicamente en transformar informacién en nuevo cono- 2 Inradecin ‘imiento, entendemos ese mecanismo como instrumen- tal para la acci6n orientada a transformar las situaciones de grupos humanos en condiciones desventajosas. Es por 630 que, pese a las similitudes, la evaluacién se distingue de la investigacion social, No intentaremos aqué discutir otras enfoques ni eri- ticar otras formas de evaluar, més bien tomamos los aportes que cada una de esas modalidades puede bri dar, incluyéndolas en un esquema abarcativo. Si intenta- ‘remos aclarar algunas confusiones provenientes tanto de distintos usos lingiisticos para nombrar las mismas co- ‘sas como de iguales términos para nombrar cosas distin tas, como puede verse sobre todo en los capitulos 2 y 3, donde discutimos los diferentes tipos y abordajes de evaluacién y desmitificamos algunas de las distinciones tradicionales [La mirada evaluativa que aqui proponemos es inte- gradora, comprehensiva, con momentos de detalle y mo- ‘mentos de sitesis gestiltica Este libro no sirve como manual o receta para evaluar de forma universal todo tipo de proyecto o programa; en tal sentido no desarrollainstrumentos sino que procura transmitir la concepcid de cudles son los procesos re- ueridos y las orientaciones acerca de las formas de en- cararlos, para dseftar evaluaciones distintas para los dife- rentes proyectos o programas donde los profesionales del campo social solemos hacer cada vez una nueva expe- Para cumplir con nuestro propésito dividimos el vex- to en seis capitulos y dos anexos. FE primer capitulo pretende dejar aclarada nuestra cconcepcidn general acerca de Ia evaluacién y su utilidad 2Olga Nirenberg, Jste Braverman, Vilets Ruiz como funcién de la gerencia, es decir, includ en la ges- tién socal El segundo capitulo hace una recorrida por las tipologtas usuaes de la evaluacién en la literatura consul- tad y, como ya advertimos, se abordan algunas discusio- nes aclaatorias al respecto. En el tercer capitulo habla- mos de los abordajes, de los falsos dilemas entre la cifras yy ls palabras “lo “cuant” y lo “cuali”~ que envolvieron durante afios a euestién de la evaluacién y que ahora pa~ recieran ir superindose, aunque no del todo, conchuyen- do que es el rigor metodolégico lo que importa en las evaluaciones y que es s6lo mediante la subjetividad de nuchos diferentes que se puede resolver la subjetvidad individual, aslada e idénticaa si misma. El cuarto capitu- lo presenta una resefa de ls téenias alas euales puede recurri la evaluacin para generar 0 recopilar y analizar informacién, sin pretender con eso tratar la cuestin de forma exhaustiva pues es tal el caudal de téenicasexsten- tes que se requeriria un libro s6lo para ese desarrollo sin ‘embargo, hemos incluido algunas que nos parecieron no- vedosas y también discutimos algunas otras que tltima- mente se levantaron al nivel de “métodos”, pero que con- timdan siendo herramienta simples y stiles a disposicion ‘de los evaluadores (como la relacionadas con “evaluacio- nes ripidas”o de rapid asessment) Finalmente, los capitulos quinto y sexto forman un solo blogue pero los hemos dividido para dar un respiro alos eventualesleetores. En el quinto se deseriben ls ca- racteristias y los pasos del proceso de disefio de un mo- delo evaluativo, y en el sexto recorremos ls fases de su aplcacién y de la diseminacién de los hallazgos, las con- chisiones y las recomendaciones prodncra de fa evalua in, cuyo meollo es el informe evaluativo. En los anexos » Inraducin se incluyen ejemplos que ilutran los pasos descrtos en cl eapitulo quint. Las autoras tuvimos la fortuna de trabajar en diferen- tes escenarios de las politias sociales durante nuestra vi da profesional, que ya lleva muchos aos, més de los que nos gustaria numerar. Dedicamos a la evaluacién gran parte de los éltimos diez o quince aos. Por un lado, tra- brsjamos en el marco de programas dependientes del Es- tado nacional, pero con ejecucién en los niveles locales, en algunos casos con financiamiento bilateral o bien del presupuesto nacional exclusivamente; también como miembros de una organizacién no gubernamental para el, desarrollo social; asimismo, como consultoras en cl mar- 0 de fundaciones o agencias de cooperacininternacio- nal para el desarollo. De modo que estamos muy agra- decidas ala gente dels instituciones con las que tuvimos 1a oportunidad de tan vastos y diferentes aprendizajes! Fae en el marco de esas insttuciones que pudimos rela- conarnos con innumerablesfuncionaros, profsionales, téenicos, miembros de organizaciones locales y vecinos y -vecinas, quienes nos abrieron y mostraron generosamen- 2. Aguas de easinsticiones on el Centro de Apoyo al Desro- lo Local -CEADEL- del eal lr tes aoa sro mck Sede 1987 el Intemational Development Reserch Center DRC de Ot 184 Cana Programa UNI a Pendaciin WK. Kellogg Progr ‘ms Regonl de Adolescencia, dels Ofcina Panamericna de la Salad “Or de Wishngton DC; UNICEF Argentino Centro Intererc ‘de Desrollo Soil -CIDESIOFA se Programa de Aten Nin Adolescente en iego ProAe~ dea Sexrtara de Desrll Sov Yel Banco lneameriano de Dero; el Programa Alimenii y Nos {eco Taf ~PRANT- dea Serta de Dear Socal a Dree- ‘én Nacional de Gano Pablo Soil, dl Mierio de Ecorse Progra Matar infty Se Nercién PROMS” del Mins de Sala. 2sOlga Nirenberg, Jste Braverman, Vises Ruiz te sus imbitos de trabajo, para que juntos pudigramos render a partir de la prictca, Es a esos amigos y ami- 2, compatriotas 0 de otros paises del continente, a quienes va nuestro especial reconocimiento y nuestro deseo de que este libro les resute itil en la hermosa pe- +o sacrificada tarea que cotidianamente llevan a cabo. ‘Queremos también expresar nuestro agradecimiento, por su colaboracién eriticae inteligente, a dos respetados amigos, que hicieron el esfuerzo de leer nuestros borra- dores; ellos eseribieron con lipiz, de forma sintética yen los mérgenes, sus observaciones, las que luego debimos redacta, tipear y colocar en el centro del texto, por su. relevancia, Nuestro reconocimiento entonces a Néstor Perrone y'a Pablo Vinocur, por sus acertadas eimportan- ‘tes contribuciones. Ojali hayamos podido interpretar sus ‘comentarios y expresarlos adecuadamente; pero es nues- tra absoluta responsabilidad si, aun a pesar de ellos, sub- sisten los errores u omisiones. Ahora llegé el momento en que la critica debe ser puesta en las mentesy las voces de nuestros lectores; de- seariamos que con ellos se consttuya un nuevo dislogo,, que permita hacer continuo el flujo de innovaciones en los modos de realizar y evaluar la accién socal. 2% CAPITULO 1 Para qué la evaluacién? Be pr ink bcs dnd ngs gir de pn, Pesan Alia, csende de lind irae, conte el Gao ‘Aimi'm me ingore demas ine een e- rat nc dl nese, interampi e Gat. lemre qe ean pre, tera Alii, 2 ‘noo de espe, {OW ere ear alone pore io Gato Task naee Les Canons! Introduciéndonos en tema El famoso didlogo entre la ingenua Alicia y el Gato sagaz resulta Gil para abordar la cuestén de la evalua~ cin en los programas y proyectos sociales. ‘Alicia nos habla de la dirccionaidad cuando pregunta hhacia dénde tiene que ir; esa pregunta tan frecuente en la accién social, adopea diferentes formas: zeuil es la di- reccionalidad deseable para nuestro proyecto?, 2n0s es- ‘amos dirigiendo hacia donde nos proponiamos?, cen ‘qué medida estamos transitando procesos que nos llevan, 1. Caroll, Lewis Aion of Pat de ler Msi, Madi, Alianza, 1986, Ls eaclente wndecin Sabie por nine de Oj, quien ales pec de oe dilogoaclra que "es ao Je spss as alos de A “contrast etre Ia realidad informe de la materia y el caracter intencional pe Gene eds ardenaci igi”(Olga Nirenberg, Jase Braverman, Veta Ruiz 2 obtener los resultados que nos propusimor? ¥ como suele suceder con la mayor de as preguntas, és pa- recen tener mis de un sentido, y por ende més de una respuesta Cuando uno se pregunta por Ia direccién correcta 0 deseable que desde ya son dos cosas diferentes-se plan- ta frente a varias alternativas, frente acaminos que se bi- furcan el grado de conocimientoo de incertdumbre que tengamos acerea de las dificultades © ventajas que cada camino presenta, tendeé que ver con la decsin acerca de cul tomar; no es s6lo la distancia lo que nos incina- hacia una u otra de las lecciones. Ademis, Alicia no plantea su pregunta en abstracto sino que dice “desde aqui, 0 sea “desde este punto don- de ahora estoy”; eso permite inferir que de algin modo ella legs a ese punto donde en ese momento est para- da, hablando con el Gato. ¢Fue errénea 0 correcta su ‘manera de legar hasta ahi? Pareciera que esté perdida, temeros,, y que muchos acontecimientosextrafos, que no puede explcar bien le estan pasando mientras no si- be exactamente dénde esti. Un signo de la ingenuidad de Alicia esque ella no se cuestiona acerea de emo lle- 6 a donde esti, sino que quire saber eémo tiene que seguir desde all. No se ha percatado de que, para seguir, deberiaanalizar mejor eémo fue que legé a donde lle- 6, para entonces preguntarse acerca de cues caminos alernativos exsten y e6mo son. ‘Una relevanteaiirmacién, sugerida entonces por el texto de Alicia, vinculada ala cuestién de la evaluacién en los programas sociales es que para hacer algo, para in- ‘woducl cambios en una siuacion no deseable o que no nos conforma ~para ira alguna parte~ hay que tener ob 2" Para qué a eoalucin? jetivor claros y expicitos y hay que saber de qué manera lograris, por cul camino i, es deci, hay que saber a di- recionalidad deseabe. Incuso eso es asi para quedarse donde uno ests, para decidir no hacer cambios. Para que eso esté claro, previamente debimos plani- ficer, programar nuestras acciones en pro de objetivos expresos, es decir, debimos formular wn plan de trabyjo. “También necesitamos saber desde dénde partimos, dén- de estamos parados; en otras palabras: debimos realizar tun diagnéstico dela stuacin problemética que intentamos resolver mediante nuestra intervencin. Si no, zde qué forma sabremos luego si curplimos con lo que nos pro- ppusimos, sino podemos comparar confiblemente cl es- tado posterior con el anterior? Obviamente, podemos Iegar a cualquier part, sélo e trata de caminar Io bas- tante, dria el Gato. La evaluacién como momento o funcién de Ia gerencia De lo que se trata es de identifica, coregie, poner “bajo contro”, la méxima cantidad de eventos que puc- dan oponerse a nuestra accién o dficutarla, de modo de ‘obtener los cambios deseados en la situacién que encon- ‘ramos inicialmente como desfivorable. No cabe dda de que para eso debemos cumplir con procesos meticu- losos de reconocimiento de la realidad y de programa- cin de acciones en plazas definidos de tiempo, contan- do con recursos accesibles. Laplanfcaconoprogramacion podria snceizarse como la “reflexion que precede y preside la accién” (Maths, »Olga Nirenberg Jae Braverman, Vals Rais 1087). En verdad, puode decirse que eat reflesin comti- ‘ua, a medida que a aecin se desarrolla, es propiamente Jaevaluaién, la que alimenta con sus hallagos la planii- cacin y gest de los proyectos Visto as, se trata de un proceso que sélo concep tualmente es separable, pues en Ia préctiea el proceso de planificacién/ejecueién/evaluacin es una integri- dad indivisible, conformada por momentos —funcio- nes~ en continua retroalimentacién. Los tericos de las ciencias dela adminstracién engloban ese proceso en el concepto de “gerencia”,y también se usa el término “gestion” Queriendo transmitir metafricamente esa cualidad negra de la gerenca y dentro de la gerenca a fancién ‘© momento dela evaluacin, en una de sus billantesex- posiciones Paulo Mota’ la comparé con el caso de un Smnibus repleto de pasajeros, donde el conductor debe arreglar defectos del motor sin detener el coche y con to- dos los passjeros dentro. Pero aun sabiendo que resulta complicado, sino re- Alexionamos sobre la acidn que desarrollamos mientras Jos programas o proyectos se realizan, si no euestiona- sos o miramos eriticamente eémo legamos a donde Iegamos, dffilmente podamos responder ala pregun- ta de Alicia: ceo seguir desde agut, y ala otra, pre= 2, Paul Mots e profes des Face Brae de Miinistracn Pilla (HBA, de a Fandsin Geto Varga, yedevemped sens como consults itermacioal en der agenda. st metry fe W Tied dorante on sminaiooansal por CEADEL; an Been Arr x marzo de 1982, nance a undacn W. KC Kelloge pues becaros de Programa Intenso de Lider. 30 Para qué la evaluacion? via, que aquf agregamos: mo fue que llegamos hasta aqui? ‘Una misin relevante de la evaluacin en el proceso de gestion es justamente ésa: permitir a los conducto~ res de programas 0 proyectos, ya los otros actores es- tratégicos, tomar decisiones acertadas, confiables y fandamentadas acerca de eémo seguir, de cémo dar a sus acciones la direecionalidad deseable, basados en las apreciaciones valorativas sobre lo que se vino haciendo yy logeando. No en vano se llama “conductores” a los aque dirigen proyectos: porque orientan el camino, im- primen la direccin En el sentido apuntado también se dice que el pro- ceso de la evaluacién viene a ser como la imagen en un «espejo del proceso de la planificacién: mientras la plani- ficacin mira hacia adelante, plantea previsiones de la accion en los escenarios posibles y deseables, la eval cin enfatiza la mirada hacia atrés ~mis lejos 0 mas cer~ 2, pero siempre hacia atris-, buscando aprender de lo hecho, de los errores y os aciertos,valorando lo positi= voy lo negativo, para poder recomendar giros o refuer- 20s en Ia accién futura, Hay un momento en el cual la planifcacién y la evaluacin tienen su interseeciGn: es justamente en el punto de las recomendaciones evalua- tivas para La acei6n Futura, las que debersn retomarse en ‘el momento de la reprogramacién. Intentando una definicién Llegados a este punto, es posible adelantar la defini- ‘ign de lo que consideraremos evaluacién y que nos aOlga Nirenberg, Jeste Braerman, Veta Ruiz permiting deceacar algunos de sas clementos esenciales independientemente de Ia diversidad de propésitos, t= pos y abordajes que se puedan encontrar: Entendemos por evaluacién de programas 0 proyectos sociales una actividad programada de reflecin sobre la aciin, basada en procedimients sistemicos de recoleccién, andisis ¢ interpreta- ci6n de informacién, con la finalidad de emitir Jiicios valorativosfundementadory comunicables so- bre las actividades, resultados ¢ impactos de esos proyectos o programas, y formulas revamendacio- nes para tomar decisiones que permitan ajustar la accién presente y mejorar la accién futura. Desbrocemos brevemente los pasos relevantes de esa definicién preliminar, aunque en los restantes capitulos volveremos sobre ellos + Aatvidad programada: quiere decir que la evaluacién con todas las tareas que ella implica~ debe ser pre- vista tal como las otras acciones del proyecto 0 pro- sgrama, puesto que es una actividad més. De ah que fen muchas guias de formulacién de proyectos, en los ‘lkimos tiempos, se ha incluido como ftem a formular el de la evaluacién. Decir que la evaluacion es progra- ‘mable, significa, entre otras cuestiones, que deben atribuirsele recursos especificos (personas idéneas, ‘momentos y lugares especificos, equipos adecuados, {insumos, dinero). 2 Para qué la evluacién? © Refleviin sobre Ia accén: ya ve dijo que la evaluacién consiste en “detenerse” —no en el sentido absoluta- ‘mente literal sino en el de dstanciarse~ para analizar qué es lo que se esti haciendo (0 se hizo), de qué ‘modo, si ello se orienta segtin Ia direccionalidad de- seable, cusles escollos y qué oportunidades se pre- sentan, y cules logros se han obtenido, * Basada en procedimientssstematices: supone una meto~ dologiay téenicas para la recoleccin y el andlisis de Ja informacién relevante que alimentaré la reflexién y fandamentaré los juicios valorativos que se emitan acerca de las actividades, los resultados y los impactos de los cursos de accién implementados. + Emit juicosvaloratiesfandamentados y eomnicables: ¢s el nicleo de toda evaluacin, e implica atribuir un valor, medieo aprecar si se ejecutan las actividades de acuerdo con lo programado, silos resultados obteni- dos corresponden alos objtives y las metas propues- 10s, asf como en qué medida ha mejorado la sitwacin de los destnatarios dela aeciones como producto de nuestra intervencién. De lo dicho se desprende que para evaluar siempre es necesario hacer comparaconer sobre la base de las cuales se emitirn los juicios;eval- aquiera que sea el objeto de nuestra evaluacién se lo contrastar con un parimetro que constituye lo desea- do, lo previsto lo correto, en suma, la direcional- dad o las metas que habremos definido previamente. as son compariciones contra estindares, sea como sea que se los haya definido; pero también hay una comparacin contra si mismo en el iempo, que es a(Olga Nirenberg, Jute Braverman, Vileta Ruiz que se realiza cnand se comparan simacinnes 0 esta- dos actuales de grupos poblacionales, contra sus situa- ciones o estados pasados, para saber qué cambié y po- der emitir un juicio acerca de si la situacién esté me- jor, peor o igual. Esa comparacién contra sf mismo en cl tempo es a veces ~sobre todo en los primeros tra- ‘mos de la ejecucién de un programa 0 proyecto més relevante que la otra, contra estindares, pues aunque se concluya que se esté lejos ain de lo deseable ~el es- tindar-, la situacién puede haber mejorado mucho ddebido a la gravediad de la situacion inicial 0 punto de partida ~"linea de base”, y eso es en sf altamente va lorable y muy estimulante para los que ejecutan las ac- ciones, ya que la evaluacién les demuestra los logros ‘obtenids y les permite programar sobre mejores ba- ses. La fandamentacién de nuestros jucios valoraivos dependeré de la consistencia y confiabilidad de la in- formacién ~cuantitativa y cualitativa~ que recojamos, al estilo de las “evidencias” que corroboran los testi- ‘monios en un juicio frente a un tribunal. Los juicios valorativos deben poder comunicarse a las audiencias identifieadas, lo que significa que se deben redactar informes comprensibles y programar devoluciones de los hallazgos en modalidades adecuadas para la mejor ccomprensién por parte de los actores involuerades. Formalar recomendaciones para tomar deiiones que per- ‘mitan ajustar y mejorar las aciones: la evaluaci6n tiene ‘iilples aplicaciones y puede perseguir diferentes ppropésitos, pero de modo general interesa destacar ‘que se uate de pousar solve el Ices, pare ientificar ‘errores y problemas que dfcultan la accin, para per- ” ePara qué la evaluacion? feccionar la gesti6n de un proyecto o programa, para aprender de lo hecho -haya sido acertado 0 err6neo-, para introducir correcciones, ¢ incluso para compro- bar que nuestro proyecto produce efectos no previs- tos, algunos de ellos no deseados; y finalmente, gpor qué no?, para el reconocimiento social del esfuerzo realizado y de los actores participantes que lo llevaron ‘cabo. Sistematizar las lecones aprendidasy brindar, a partir de ellas, ls recomendaciones pertinentes cons- tituye tno de los meollos de la evaluacién, segin ‘nuestra perspectiva. Mediante los procedimientos de Ja evaluacién reconocemos los logros y las fortalezas della accién desarrollada, asf como los obsticulos y las debilidades; las recomendaciones en general deben sugerir apoyarnos en las fortalezas, a modo de palan- ‘a, para superar o salar las dificultades. Y deben ser- vira todos aquellos que toman decisiones en los dife- rentes niveles, no s6lo a los “gerentes”o directores de los programas o proyectos, sino también 2 aquellos que en Ia tarea cotidiana, en el escenario donde se hacen Js casas, deben tomar decisiones operativas. Ya se di- jo: el momento de las recomendaciones es la intersec- cidn entre Ia evaluacién y la reprogramacién; de la pprofundidad y pertinencia de las recomendaciones que se formulen dependers la utilidad de la evalu cin y, por ende, Ia viabilidad de su aplicacién poste- rior en la toma de decisiones y en la accién.> 5. Enel eaptlo 3 ever ge a visa dea aplcén posterior eo ballsgr evaluation emacs depende dl involucamieato de hos eores durante el prose sno de le evauscin. s como de co fics oprtans dla de lo resuados or pare de equ enen repent de eal isOlga Nirenberg, Jstte Braverman, Veta Rui Evaluacién ¢ investigacién: bastantes similitudes y algunas diferencias Una evaluacién no es equivalente a una investiga- cin, aun cuando comparte muchos de sus procedi ‘mientos. La investigacién busca fundamentalmente in- crementar el cuerpo de conocimiento, estableciendo relaciones entre hechos, fenémenos, situaciones, etc. mientras que la evaluacién se preocupa ante todo por el perfeccionamiento de la accién y compromete esen- cialmente un juicio de valor. En suma, “la evaluaci6n debe ocuparse fundamentalmente de los posibles eam- bios en un programa existente” (Hamilton Smith, 1981). La investigaci6n termina con conclusiones acer~ ca de e6mo ocurren los hechos, alimenta la teoria y el cuerpo de conocimiento sobre cierto segmento del sa- ber, mientras que una evaluacién debe terminar con re- ‘comendaciones que lleven a modificar lo que se venia, haciendo, o bien a agregar nuevas acciones (lo cual, sin duda, se funda en un “saber” acerca de eémo ocurren las cosas y en ciertas hipOtesis acerca de eémo debieran ocurrit). ‘Tanto lo expuesto en el acépite anterior como lo re- ign expresado permiten concluir que son las recomenda- ciones para la toma de decisiones las que distinguen la cevaluacién de la investigacién; no pareciera légico pen- sar en una evaluacién por el solo hecho de describir y cemitir un juicio sobre cémo se hacen ls cosas, sino se le agregan las recomendaciones emergentes para decidir sobre los cursos de accion y cambiar lo que se detecte co- ‘mo mejorable. 36 Para qué la evaluacon? El proceso de explicacén 0 fundamentacin de los juicos evaluativos es similar al de la cencis; el rigor en has formas de Megar a emitir aeveraciones certeras ¢s ‘ompartido, No se ata sélo de critica ode elogia, hay aque fundamentar ls aseveraciones para distinguirls de las creencas, las opiniones o los juicios emocionales- para luego a partir de ess explicaciones o fundamenta- cones, poder emitir ls recomendaciones que permitan superar deficencias profundizar ls ventajas ya obteni- das con la accin despegada Por lo tanto, no hay limites demasiado precisos entre In evaluacin y la investigncién; cuando se pone a prue- ba una modalidad de intervencién considerada innova- dora, la evaluacién, en tanto ineluye un proceso riguro- $0 y’ sistematico de recolecién de informacién para emitirjuicos y recomendaciones, sirve ademés para probar la efiacia dela intervencién innovadora, compa- rindola con otras formas tadicionales de intervene en 1 mismo problema. Pongamos como ejemplo los pro- yectos que desarollan modalidades de complements- «ion escolar con un abordsjeIidico e integral, inclusivo del seguimiento del rendimiento del nif en la escuela, en articulaci6n con maestros o maestas, en lugar del anterior modo de apoyo escolar con clases enfocadas ex- clusivamente a “ayudar a hacer los deberes". La evalua- cién de proyectos con los dos abordsjesy la compara segrin el paradigma dominante-silas accones jecutadas habian producido ls efectos deseados 0 buscaos Fsto llev6 a la elaboracion de disefios de evaluacion bastante sfisticados con el fin de reproducir condiciones “experimentales” 0 “cuas experimentals" que permitic- ran determinar si se produjeron cambios en la situacién problematica inicial que motivé la intervencin (proyec- {0.0 programa social) ysi esos cambios se deberon alas acciones desplegadas. No desconocemos la necesidad de contar con elementos de juicio acerca de los impactos de estrategias 0 cursos de acid de uso dfundido, pero lo cierto es que estos disefios requieren personal técnica- mente capacitado para llevarlos a cabo, por lo que suelen converttse en evaluaciones externas, con escasa 0 nla intervencin de los integrantes de los programas 0 pro- yectos; por otra part, producen informacisn que puede ser titil en ciertos nivles decisorios (por ejemplo, para ”(Olga Nirenberg Jste Brawerman, Vita Ruiz decidir ta comtinuidad «me de determinadas Kneas de proyecto) pero tal ver menos para quienes estin direc- tamente involuerados en la gestin, Otro camino difundido, dentro de exe modelo de pla- nifescién vertical 0 “de linea recta”, const en conipa- rar, también en la ima etapa de eecucin o incluso a posterioc, as metas previamenteesablecdas eon las que se habian efecvamentealeanzado, complementando esta comparaci con tna explicaion (0 justificacin ex px) dela diserepanciasencontradas. Este camino suponia que lo “planficado” debia twaducine casi mecinicamente en acciones sn tener en evena el contextoorganizaconal y las racionalidades de los dversosactoresen su cjecucin. En la actaidad, con el amplio desarolo de ls me- todologias de planifcacin estat y/o partcipatva (que fueron dsplarando lentamente, ain no del todo, a los modelos vertcale), se reeonoce que el proceso de planficaci/programacin no respondeauna racial dad lineal, que los actore involucrados en la gestion y ‘jecucin reineerpretan pernanentement los objetivos buscados através de su acionar, en siness, qu todo el proceso de a gest sociales signado por grandes do- sis de incertidumbre, en gran parte como produto de la ratualera del contextoen que se desarrolla Esa inceridumbre es también producto de fa propia natualeza dl desarrollo tericoy de las tecnologia uti lzadas en las discpinas sociales yen el campo de la ac- cién social, en comparacién con las ciencias exactas 0 na- turalesy sus campos de aplieain, como la ingenieria 0 Ia elecernics. Vale deci en fs ciencis sociales no hay tna Gniea escuela v un parudigua dominante de forma excluyente, como ocureen un determinado period his 0 Para qu a conluacn? {rico con la fsicao Ia biologi, sino que coexisten di- versas corrientes, en algunos casos contradictorias entre si-paradigmas rivales (Khun, 1970)- en otros con die rentes enfoques o énfasis (caso de las teorias del apren- dizaje y las metodologias para la lectoescritura en psico- pedagogia, o las diferentes corrientes en metodologias, para la planificacién participaiva, las diferentes escuelas de la psicologia social y la infuencia de ells en la deter- ‘minaci6n de las téenicas ms efcaces para las dinémicas ‘grupale). Por ende, no existencerteras acerca de cules son los requerimientos minimos para la correcta aplica- cid de las diferentes corrientes te6ricas, a evaluacién puede verse entonces como una res- puesta ala necesidad de reducir esa ineertidumbre en ca- da uno de los momentos de l accién, para reconocer si Jos esfuerzos estén “correctamente” encaminados. Es de- cir que se requiere una retroalimentacién continua en la ‘mplementacin para ir corrigiendo sobre la marcha los cursos de accin teniendo en cuenta las euestiones que preocupan a los involuerados en la ejecucién (tanto los «jecutores como los destinataios). Esenel sentido recién apuntado que la evaluacin so- cial xe distingue de otro tipo de evaluaciones, por ejem- plo, de aquellas que se aplican a proyectos de construc cin o de infraestructura hay modelos de evaluacin que hhan sido trasladados directamente de los proyectos dein genieria 0 de obras a los proyectos o programas sociale, Jo cual generé muchas dificltades y resistencias por par~ tede quienes ls ejecutan, puesto que esos modelos, a ve- ces impuestos por algunas agencias de financiamiento, son poco adaprabes os escenaros comunitarios donde Jos proyectos sociales tienen lugar.Olga Nirenberg, Jette Braverman, Voeta Rai 1La evaluacién para la transforutacigns Sibien es cierto que cada vez mis frecuentemente se habla de evaluar los resultados de un proyecto 0 pro- sgrama, el funcionamiento de sus actividades -los pro- ‘cesos~y hasta el uso de sus recursos, también lo es que sigue siendo una actividad poco frecuente y en general bastante resistida. Aun mis, cuando finalmente se deci- de evaluar un programa, luego muy raramente se utili- zan sus resultados y recomendaciones para producir ‘cambios. CCreemos que la resistencia a la evaluacién, asi como las dificultades para incorporar las recomendaciones cevaluativas en la gestién, son cuestiones que tienen que ver con el fenémeno més general de la resistencia al ‘cambio; pues al fin yal cabo, a evaluacién implica eam- bio, tal como la planificacion y, en general, tal como la accién social: se formula e implementa un proyecto 0 programa para transformar una situacién que resulta in- satisfactoria y se evaltian Ia gestin y los resultados por- ue interesa, por un lado, apreciar si se cambié lo que se ddeseaba cambiar, es decir, para saber en qué medida me- jor la siuacién que se consider6 insatisfactoria a inicio de las acciones; y, por otro lado, para detectar qué fue lo ue coopers a ese logro y qué lo dificult, es decir, qué se hizo bien, qué se podria hacer mejor y qué se hizo ‘mal. Todo eso para poder aconsejar qué cambios intro- dacir 0 no en la accién posterior. Existe una tensidn entre la propensién al cambio y los impulsos a mantener la esabilidad de las cosas que nos rodean y la manera en que ellas funcionany lo primero brinda satisfaccidn a ls necesidades humanas de creatvi- Para qué la evaluacién? dd y de enfrentar desafios probando las prapias fuerza, mientras que lo segundo permite la idea de pertenencia, de seguridad y de continuidad. Esa tensién sucede tanto cn el plano individual o familiar como en lo microsocial y lo macrosocial (Sztompla, 1993). Como seres huma- hos, como sociedad, siempre han existido fuerzas o m= pulsos tendientes a cambiar los modos de relacionarnos, de mejorar nuestras instituciones, muestra formas org- nizativas, nuestras formas de expresién, Claro esté, como se dijo, que esas intencionalidades no necesariamente son dominantes, y suclen operar en. contra o a pesar de otros que tienen posturas opuestas 0 diferentes, y que prefieren mantener el statu quo, pues ello les brinda seguridades de alguna indole (afectivas, de prestigio, de influencia, econdmicas, etc). En el cam- po mis espectfico de las politicas sociales, esta lucha permanente del hombre por operar cambios en las rela- ciones sociales se manifiesta a través de actividades ten- dientes a mejorar la situacién de grupos desprotegidos, con mayores desventajas o que han sufrido algin tipo de catistrofe ‘Una forma ~no la viniea~ en que pueden operarse cambios sociales de manera no eruenta es a través del disefio de programas y proyectos que partan de realizar tun recorte y describir una realidad -diagnétio-, para luego identificar las disconformidades -problemas-, y de alli inferir qué queremos modificar ~ojetows-, lo cuales To mismo que pensar en las transformaciones que espe- ramos obtener ~resultades-, para lo que se requiere el di- serio de una estrategia para operat el cambio, que se tra- duce en un plan de trabajo actividades ubicado en el tiempo -cronograma- y asociado a los insumos ~recuras a(Olga Nirenberg, Jste Brawermen, Vita Riz buomanos, materiale y financeras- requeridos para llevar a cabo las acciones. La idea de cambio esti implicita desde el inicio del proyecto o programa que luego seri evaluado. Fl simple hecho de pensar en un proyecto especifco esti ponien- «do de manifiesto una necesidad de que algo eambie. Es- te proceso de transformacién esté asociado a la creativi- dad, ya que adems de querer modificar una realidad so- ial, institucional, personal, a partir de la generacién de lun programa, estamos buscando creativamente la alter- nativa de accién més efectiva para transformar esta rea lidad: es deci, nos interesa el cambio y eémo se opera ese cambio; ambas cuestiones estin relacionadas con el proceso creatvo, En tal sentido, un programa 0 proyecto social puede ser visto como la puesta a prueba de estrategias o metodolo- sias innovadoras de intervencién para la transformacin, las que si luego de evaluadas demuestran ser eficaces, po- din ser replicadas en otros contextos, en citcunstancias 0 condiciones similares, o bien con las adaptaciones que ‘convengan. Ademzs, en el mejor de los casos a modalidad de intervencin podré ser adoptada como estrategia de las politcas pablicas,en el nivel local o nacional, pars el eam- po social especifco. Fso seria un ejemplo de cambio social relevante y es uno de los impactos mas buscados por los {que conducen proyectos sociales, pero difclmente alean- zado; podemos arriesgar que para influir de ese modo en. las politias piblcas no slo deben evaluarse las acciones, sino adems deben difundise los resultados evaluativos, en luna estrategia de adooaaey 0 marketing socal més global. Es all donde se cruzan la acciones evaluativas con las de con ‘ceptualizacicn, sistematizacion y diseminacién, “ Pera qullaevaluacién? El propio proceso evaluativo implica transformacién. ‘Cuando se comienza a pensar en evaluar un programa en funcionamiento, 0 incluso en evaluat la factbilidad de realizacién de otro, en realidad estamos pensando que al- go cambie en la forma como se vienen haciendo las co- sas. De alguna manera esperamos que los resultados de la evaluacién nos brinden elementos para operar ciertas modificaciones en la estrategia o metodologia de inter- ‘vencién implementada Pero en este punto se produce el otro fendmeno: la posibiidad de cambiar fa forma en que se venia trabajan- do produce resistencias. Frecuentemente, el propésito rismo de la evaluacién, “evaluamos para cambiar”, ge- nera oposicin oal menos renuencia y entonces, siempre due se puede, se aplaza para otro momento la actividad evaluativa La posibilidad de cambio evoca con frecuencia el proceso mas alto en cuanto a transformacin se refiere, que es la revolucién, proceso en que dificlmente algo ‘quede en pie; el impulso hacia adelante que se genera es ‘tan arrollador que los viejos cimientos parecen caer de- Dido al impacto: Quizé sea esto lo que genere tanta re sistencia, sin tener en euenta que hay muchas posibilida des de operar transformaciones antes de llegar a una ‘uptura total. De hecho, a historia nos brinda ejemplos de esto constantemente; hay infinidad de cambios adap- tativos, parciales, que van transformando lentamente la sociedad, mientras que, por otra parte, las. grandes transformaciones son momentos muy especiales en el devenir histérco. ‘Si eto aicede cn el sbareativo plano de la historia po litico-social, no debe extrafarnos que una evaluacin 6Olga Nirenberg, Fete Braverman, Vista Ruiz que bien puede terminar en recomendaciones de corar cl desarrollo de un programa 0 un proyecto, ode introdia- cir ajustes que no convengan o sean traumsticos para al- sgunos individuos 0 grupos involucrados en él- produzca al menos resistencias y que sus resultados sean escasamen- te utilizados (muchas veces porque no son “politcamente viables”, aunque estén téenicamente fundamentados) Aprendiendo con la evaluacién y de ella ELimpacto que produce el hacerse cargo de las cuestio- nes que deben ser transformads suele interpretase como “errores cometios” y esto leva casi de inmediato a sentir «que nada de lo construido sive y que es necesario empezar dle nuevo. Sin embargo, la idea que hay por detrés de la evaluacién, en el sentido que le estamos imprimiendo, es integrar dentro de un nuevo esquema lo mejor de las es- ‘ructuras, las actividades y los recursos existentes en el pro- gama, modificando aquello que ya no resulta til, corree- to cficaz y aprendiendo de la experiencia realizada, La afirmacién anterior nos lleva a la cuestién del aprendizaje, que también tiene relacién con la resistencia, ala evaluaciin, No toda forma de aprendizaje -modalidad, pedagégica~ resulta “aceptable”, y por ende eficaz, para los que intervienen en el proceso de ensefianza-aprendiza- je. Cualquiera sabe que muchas de nuestras resistencias ante ciertas disciplnas tienen més que ver con fa forma en {que los profesores a transmitian en la escuela que com ea- ractersticas intrinsecas de Ia disciplina misma. El evalua- dor, tal como lo estainaseshaand aqui, sti muy lejoe de representar la figura del maestro tradicional, el que viene “ Para gu a evauacn? a “enseBiar, a transferir su saber alos otros, a los que es- tin haciendo las cosas en terreno, planteando con ellos ‘una relacin de tipo asimétrica y “vertical”, Lejos de esa figura se esti pensando en el rol del evaluador como faci- litador, con un papel importante en cuanto acompafa los ‘procesos,entrando y saliendo de ellos, conservando la po- sibiidad de una mirada con sufciente distancia aunque involuerada, desencadenando procesos de reflex6n, brin- dando una perspectva “preguntona” y rtica,involveran do a todos los actores posibles en espacios de reflexion conjunta y de debate a partir de preguntas, muchas veces ingenuas, otra veces rspidas.’ No debe olvdarse que ese evaluador también esti aprendiendo, también tiene su mente abierta a nuevas formas de actuar. Nose trata de un juez; e trata de alguien a a par, con el rasgo distintivo del “preguntén”, del cuestionador, que juega de vez en cuan- do de outsider, que se pone el gorro del abogado del dia bio, para provocary estimular Ia reflexién, a la vez que aprende junto eon los demas. No ensefia: provoca y esti- ‘ml el aprendizaje conjunto, Es relevante la eontribucién de la evaluacién a los procesos de aprendizaje instiucional, puesto que resulta Prioritario comprometer a quienes trabajan en los pro- yeetos o programas en un “proceso edueatvo programa do que produzca cambios” (Organizacién Panamericana de la Salud y Fundacién W. K. Kellog, 1998). 5. Stores, en digo con Fede alana, leexpiiba qu s- loaves de pogo spose prende. As a evalucin pede ser ‘i como un proceso deaprediae de silo “octe" (Ce Pai, Fat) #(Olga Nirenberg, Jstte Brawerman, Vilta Riz Es posible plantear algunos requisites para que una evaluacién aporte elementos en el citado sentido de aprendizaje institucional: * debe ser itl alas personas comprometidas en el pro- + debe ser viable es decir, realizable en un tiempo al al- cance de ella; + debe resptar los valores de las persona inwolucradas; * debe estar bien hecha, con procedimientos adecua- dos, de modo de proveer informacién confiabe a evaluacin es capacitadora e iluminadora pues busca en la teoria, la experiencia y el conocimiemto, las angumentaciones que mejor expliquen los resultados y facia el crecimiento, el desarrollo y el perfeecions- rmiento de los que intervienen en un proyecto El proceso de la evaluacién Reiteradas veces se dijo que entendemos la evaluacién como un proceso, como una funcién de la gerencia o un conjunto de actividades, siendo, por ende, programable, Es lo mismo que afirmar que requiere para su desarrollo un proceso o secuencia que le es propio, el cual se esque smatiza a continuacién. Programaciin de la evaluaci6n ‘+ definicién del sujeto-objeto de evaluacién, + establecimiento de la finalidad, + identificacién de las adioncia, * determinacién del nivel de anilisis, * Para qué la evanacién? + clasificacion de las dimensiones de ansisis, © definicin de las variables, * seleceién de los indicadores, © determinacién de las séoncas ¢instrumentas para la re~ coleccién de informacién, ‘© determinacion de la seewencia de actividades, * identificacién de responsable y actores participants, ‘+ establecimiento de la duraciin, frecuencia y perodicidad, ‘ estimacién de los recursos necesarios (bumanos y mate- riales, © presupuestacion. Bjein del etacin relevamiento de informacién mediante el desarrollo de las actividades y a aplcacién de las téenicas e instru mentos, sistematizacién,procesamientoy andi dela informacién, claboraién de informs (incluyendo conclsiones y reco~ smendacione), + devoluiém a las actoresy diveminacn de conclusions. Evaluacién dela ecaluacién (metaevaluacén) *anilisis de la utilidad de los hallazgos, * apreciacién sobre la viabildad del proceso evaluativo ¥¥ del uso de sus resultados, ‘+ juicio acerca de la pertinencia metodol6gica y ética, ‘andlisis de la confabilidad de los procesos y ballazgos. Si bien el proceso evaluativo se ha presentado esque- ticamente de forma aisada y lineal, debe interpretarse ‘qe forma parte de un proceso mayor que es el proceso administrativo de la gerencia y que como tal etroalimen- ”(Olga Nirenberg, Josette Brsworman, Veta Ruiz tala toma de decisones o se integra como componente evaluativo del diggndstico. La secuencia presentada slo procura mostrar ls logica del circuito evaluatvo, pero ‘805 pasos no son secuenciaes en los escenaros concre- tos sino que se producirin superposiciones y retrocesos ‘en medio de los avances. Nesta concepeidn es que la evaluacin deberia ser tun proces continuo que se involuere en la estén desde sa inicio, en el planteamiento del problema a resolver 0 eta- 1a diagndstica, durante los procesos de la acién y al nalzar periodos determinados, donde el éafisis puesto en los resultados 0 efectos. Sibien consideramos continua la evaluacién, de hecho sue requerir algunos cortes espcificos para determina- dos aspectos, como el estudio de cambios en conductas 0 acttudes, 0 situaciones poblacionales (de nutrcién, de empleo, de salud, de afabetizacién, ete) que deberin rmedirse o apreciarse de forma periddies, mediante en- cuestas, censos 0 estudios cuai experimentals, sein sean los casos. Asimismo, como aclararemos lego, a menudo ocurre que los evaluadores somos convocados para realizar nuestra trea s6lo en la etapa final, @ después que fnali- 16 el periodo de ejecucién de los programas o proyectos. En esos casos, leos de rechazar esas demandas, debernos ofrecer nvestas habilidads alos decisores para que en cl futuro puedan aprovechar mejor sus propiasexperien- cias, planteando las evaluaciones tempranamente, de ‘modo que les sea posible considera las alterativas dis- ponibles para omar decsionesfutrss 0 CAPITULO 2 Los tipos de evaluacién Laci, dps de mess propia ei, ‘aces a ere endresu parc e ‘em Eben eda ctenteme eb {Gut mor rarity el ern gu ce rs mae ov proprio ss ogi nd rn Jee yi pi pe wor {Pho K.Fevsaseso 1994) Existen muchas formas de evaluar y esto ha dado lu- gar a una profusa y posiblemente confusa terminologéa, acufiada en la literatura sobre el tema, que remite @dis- tinciones (a veces a oposiciones) entre modos, tipos, en- Foques o perspectivas de evaluacién, En su mayoria, surgen de Ia introduccién en la prictica de nuevos focos de interés y de los diferentes énfasis que los mismos evaluadores fueron dando al uso de la evaluacién. Mu- chas aparecen incluso para superar restriecioneso ls taciones con que se enfrentaron en el desarrollo de las ‘modalidades mais tradicionales. Sin embargo, como se veri, responden a diferentes necesidades y no son ex cluyentes. ‘Como producto de los intentos de sistematizar la ex- periencia en propuestas conceptuales y metodolégicas, se pueden encontrar innumerables elasficaciones. Algu- ‘nae hen tenido mucha difusién en la literatura cobee eve luacién y merecen una breve descripeién pues alertan sn(ge Nirenbrg, Foe Braxerman, Vile Ruiz acerca de la multiplicidad de facetas que pueden y deben ‘considerarse ala hora de concebir y disefiar un proceso de evaluaci6n. En este sentido, adquieren un valor p tico pues sirven para pensar, presentar y provocar nuevas ideas y tenia y para disponer de lstados de cuestiones a considerar y recordar. Los tipos més difundides suelen diferencis acuerdo con los siguientes crterios: e de ‘+ segain el momento en que se realza la evaluacién; ‘+ seqsin quiénes realizan, son responsables o intervie~ nen en la evaluacién; ‘+ segiin los propésitos y la indole de las decisiones que se espera tomar en el futuro en funcién de los resul- tados de Ia evaluacién; + segin los aspectos a evaluar del programa o proyecto. Algunos autores distinguen ademés entre evaluacion “informal” y “formal”. La primera se refiere a nuestras conductas cotidianas que nos llevan a emitir juicios so- bore utilidad, conveniencia, eficacia, compatibilidad de fotras personas, recursos, procesos o productos sobre la base de supuestos subjetivos e individuaes, juicios que nos sirven para elegir diferentes cursos de accién. Se la ccontrapone a la evaluacién “formal” o “en sentido es- tricto”, en tanto éta es piblica y las elecciones se basan en esfuerzos sstematcos de definir criterios explciter y obtener informacion precisa acerca de las alternativas. Nuestro concepto de evaluacién se refiere fundamental- mente a este tltimo tipo. a Los tips de eoaluacin Antes, durante o después: siempre hay que evaluar Una distincin clisca proveniente de la tradicién eco- nnomica y tasladada a las ciencias sociales es la que suele cefectuarse entre evaluacin ex ante y evaluacin ex por. ‘Como su nombre Io indica, la eoaluacién ex ante (a ve- ‘ces denominada también “de predecisin”, “de factibil dad” 0 “de pertinencia”) se emprende antes deiniciar un ‘programa o proyecto para tomar una decisin relativa a si debe implementarse o no. En. términos generales apunta a“comparar la eficaca ola rentabiidad econémi- ca de las diferentes acciones para aleanzar los objetivos deseados” (Pineault y Daveluy, 1987, cap. 6) Desde el punto de vista del proceso de intervencién. social se tata, en la fase de formulacién y disefio del proyecto, de establecer, ademiés de su rentabildad econ ‘mica, su pertinencia ~es decir, la adecuacién de las solu- ciones que propone a la realidad que se pretende mo ficar-, su coberencia interna en términos de adecuacién de recursos a objetivos y de éstos a metas y actividades, yy su fuctbilidad, 0 sea, la disponibilidad de los recursos requeridos y la existencia de condiciones para desarro- lla las acciones esperadas. Es el tipo de evaluacin que suelen realizar los orga- nismos financiadores ala hora de decidir aprobar un pro- yecto. Puede serv para mejorar su formulacin y tam- bign para seleecionar proyectos, por ejemplo, cuando se trata de un concurso, 1. Tmbin edenominabe “cro-benetiio" identi con a nc cic de annie economic par I vlc ea e PO pom 8ge Nirenberg, Jase Braverman, Vales Rui La evwluacién ex pastes la que se realza una vez con- cluida la ejecucion del proyecto. Aqui también se uilizan varios términos ~aungue no con un significado unfvoco— para hacer referencia @ diferentes momentos en los que se realiza, sea apenas concluida la fase de ejecucién (de fin de proyecto, a posteriori, terminal), sea varios aiios después que el proyecto o programa ha terminado.’ De todos modos, en general se concentra en los resultados: “obtenidos para evaluar en qué medida se aleanzaron los “objetivos previstos (situacién objetivo), cuiles han sido los efectos, buscados y no buscados, atribuibles al pro- yyeeto, sobre a situacién inicial que se pretendia modifi- ‘car; también procura identificar los factores que contri- buyeron a producir estos resultados. Merece destacarse aque un aspecto importante -a menudo descuidado- de esas evaluaciones es contar con una “linea de base”, o in- formacién diagnéstica de la situacin inicial, para poder contrastarla con la situacién final. Aunque acorde con las ‘metodologiascireulantes de planificacién/programacién, Ia formulacién de un proyecto o programa debe acompa- fiarse de un diagndstico, no es frecuente que éste se rea- lice con la mirada puesta en el proceso evaluative, y por ende dificlmente incorpora la informacién pertinente para poder apreciar los cambios producidlos después de su finalizacin, Lo dicho muestra que, pese al camino ya 2a algunos eran riz sgunos fs dest de Ia concn de un popecto se Sonomina "de mpaco™ (rase po em plo, Banco Interameican de Desrola w/), Sn emargo entendenes {fe ls lactn de pact pede relearn tren en moments in ‘Shed exten poss secres dela ocrens ¢medano pln de ler else capri I pac, Les tips de evalua recorrido, todavia resulta dificil encontrar traducida en hhechos la estrecha relacién que se requeriria entre la programacidn y la evaluacién, En las evaluaciones ex pot, el foco esté colocado en la ficacia, la efectividad y la eficiencia de un proyecto 0 ‘programa, conceptos que retomaremos y explicaremos ‘en otro punto de este capitulo (véanse las pags. 69 a 71), ero es necesario destacar que apuntan fundamental- mente a obtener elementos stiles para decidir si convie- ne seguir implementando esta linea de proyectos y, en caso afirmativo, qué aspectos pueden mejorarse en fut 13s formulaciones. 'A partir del énfasis en la evaluaci6n como instrumen- to de gestién estrechamente ligado a las distintas fases de la planificacién, se introdujo una nueva diferencia ‘én relativa al tipo de evaluacién que se realiza durante la ejecucién del proyecto, denominada de muy diversas imaneras: de progresoo proces, de gestién, concurrente,con- comitante, intermedia, de operacin, et. Su objetivo bisico cs evaluar en qué medida se va cumpliendo el proyecto ‘o programa de acuerdo con la propuesta inicial, es decir, si se orienta segiin la direccionalidad deseable. Genera informacién sobre los procesos, las actividades y los productos, y Ios compara con las metas formuladas y las {que se van reformulando a lo largo del proceso de im- plementacién. Se realiza de forma periddica de modo de detectar oportunamente las debilidades y los obsticulos, asi como las fortalezas y las oportunidades. De este mo- do proporciona elementos para la toma de decisiones {que permiten reforzar o reorientar acciones y corregir sepactos de la gostién, aumentando ast las posihilidades de llegar a resultados favorables. ssOlga Nirenberg, Jette Braverman, Viet Ruiz Aunque se lo distingue, también el seguimiento 0 mo- itor se refiere a a evaluacin que se realiza durante la cjecucin de un proyecto. Ha sido definido como [tel examen continuo o price que fect a wdinstacin, todos sus nivelesjerirguicos, de a manera en que sees ecu ‘and una acvdad. Con ello se busenaseurar qe la entre de insumos, los calendars de eat, ls prdetosesperadon se conformen a metas establecdsy qe ota cones qu son nce ‘arias prgresen de acuerdo con el plan tazado (ONU, 184), Es parte de la funcién gerencial y responsabilidad del personal cargo de la ejecueién, y en este sentido cons- tituye una tipiea actividad de evaluacién interna dentro del marco de un programa o proyecto. En general, las actividades de monitoreo que hemos conocido se cen- tran en la implementacién de un sistema de informacién para verificar el logro de las metas e identifcar desvios. Este énfusis en la recoleccién sistemtiea de informacio- nes tiles para el funcionamiento de programas ha lv do erréneamente a diferenciar el monitoreo de la evalua- cién propiamente dicha. En efecto, la existencia de un sistema de informacién no implica necesariamente que existaevaluacin y, viceversa, puede hacerse una evalua- cién sin la existencia previa de dicho sistema ya que pue- de recogerse informacién en el momento del corte ev Inativo. Pero de qué sirve un sistema de informacién si no se lo utiliza para juzgar la adecuacién de los procesos de ejecucion y proveer elementos de jucio para la intro- duccién de ajustes y correcciones oportunas? También 2. Loe dos trminos on equivalents, pes nonitoes” ba so lcd neralete dl ingles monn. 56 Les tips de evalua hemos lefdo o escuchado decir que el punto donde radi ala diferencia entre “evaluaci6n” y “monitoreo” es que este iltimo provee informacion para la gerencia.. gy aca so la evaluacién no lo hace? Quiere darse a entender que cel monitoreo prende luces de advertencia y/o riesgo en cl gerenciamiento social del dia tras dia, para generar ac~ ciones correctivas inmediatas, del mismo modo que los rmonitores con el paciente internado en las terapias in- tensivas¢ intermedias; pero es necesario advertir que, en los proyectos sociales, Ia metifora del paciente monito- rizado no es del todo afortunada, ya que es imposible la recoleccién de informacién de forma continua o ininte- srumpida que permita prender luces de emergencia; s6- lo es posible recoger alguna informacién de modo dis- continuo, con cierta periodicidad (a lo sumo mensual, por lo general trimestral) Esa informacién recogida con periodicidad frecuente suele ser del tipo cuantitativo (de ejecucién presupuestaria, de cobertura, de cantidad de prestaciones o servicios brindados), pero raramente in- ‘luye aspectos de calidad o procedimentales, ya que és tos requieren periodicidades mayores. Se dice también que el monitoreo adecuadamente coneeptualizado y puesto en prictica es un [e]praodimientoempleado para compro la efectivdad yef- ‘lene del proceso de ejecueién de un proyecto, mediante Ia lenses dels sapectos imiantes yo ventjosos que cal ‘nina resomendindo medidas correctva para optimiza lo r= fultados deseados (Banco Intersmaricano de Deseo, s/. Se puede apreciar, segin esta definicién, la ausencia de diferencias entre el concepto de monitareo y al do cevaluacin. 7(Olga Nirenberg, Jste Brasoormen, Vita Ruiz Conjnganda el verhe evaluar: gnos evaluamos o nos evalian? En fancién de quién realza la evaluacin, se han di- ferenciado dos grandes categorfas, la evaluacién externa y la evaluacién interna, aunque actualmente también se ha roto esta dicotomfa para inclir la evaluacién mixta, a autoevaluacin y la evaluacién parteipatva Se llama evaluacén externa a la que realizan evalua dores que no pertenecen ala organizacién ejecutora del programa o proyecto que se eva, recurrigndose ge- neralmente a investigadores 0 consultores independien- tes, departamentos universitarios y, a veces, incluso a cexpertos internacionales. Es posible que la evaluacién ‘externa se realice por decisién del propio equipo res- ponsable del proyecto, programa u organizacién, pero también ocurre que se realiza por decisién de la agencia financiadora o del organismo del cual depende jerarqui- ‘amente el ejecutor; lo cierto es que esas variantes ten- ddrin influencias en las modalidades y orientaciones eva- luatvas. La evaluacin interna sla que llevan a cabo personas ‘grupos pertenecientes a la insitucién gestora del pro- yeeto, no involuerados directamente en su ejecucin; en ‘cambio, la atoevaluacén serfa aquellarealizada por los propios actores a cargo de la ejecucién del prayecto. Es- ta diferenciacin en realidad adquiere sentido en el mar- co de organizaciones de cierto tamaio, relativamente complejas, en las que puede exstir una persona/equi- po/unidad especifica de evaluacién, cuasi externa es de- ir, por fuera del drea de ejecucion del proyecto. En or- sanizaciones més pequefas, con estructuras indiferen- * Los tp de culacion ciadas, una evaluaci6n interna seria cquivalente « una autoevaluacién. La evaluacén partcipativa aparece como una categoria sumamente difusa, pues no es claro a a participacién de quignes se refiere, pero apuntaria ~y en este sentido apa- rece como modelo ideal~ a designar aquella evaluacién aque involuera a los destinatarios y/u otros actores de los proyectos en los distintos momentos del proceso evalua tivo (es decit, no s6lo como fuente de informacién sino ademas con protagonismo en su disefo, en la ejecucién, ‘en el anilisis de los resultados y en la formulacién de ‘conclusiones y recomendaciones). En la mayoria de los libros sobre evaluacién que he- ‘mos consultado hay discusiones acerca de las ventajas y desventajas de cada modslidad: “la organizacién ideal seria aquella que se evaliia a sf misma” (Wildavsky, 1972), y nadie mejor que su personal para conocer y comprender los objetivos, la metodologia, los destinata- rios y la dinémica cotidiana de las actividades, en summa para captar la racionalidad interna del proyecto. Fl he- cho de que los propios actores realicen la evaluacién ha- ce més viable la posterior utilizaci6n de los hallazgos cevaluativos y Ia adopcién de medidas correctivas reco- ‘mendadas. Pero su principal obsticulo deriva de una ba- ja garantia de objetividad al ser juez y parte del proceso cevaluativo: sus valores, intereses y compromisos perso- rales atentarian contra una apreciacién imparcial e in- dependiente del programa o proyecto. Por el contrario, se supone que el evaluador externo no tiene intereses creados -supuesto que casi nunca es del todo correcto-, suele traer experiencia en el tema, puede volear recursos y conocimientos inexistentes en a 9Olga Nirenberg Jette Braverman, Vales Ruiz ‘organizacion y es mayor garancia de objedvidad. Sin em- Dargo, sus debilidades estarian en las tensiones entre cevaluador y evaluado, que pueden incluso generar difi- ceultades en el acceso @ la informacin, en las restrccio- ns para captar los factores en juego y a racionalidad in- tera del proyecto y en las probables resistencias de su personal a aceptar resultados que podrian euestionar sus ‘objetivos, metas y lineas de accién. Por otra parte, en nuestra concepeién, el evaluador 0 ‘equipo de evalusdores externos contratadostraen, ademas de sus propias orientaciones y preferencias ideol6gicas y teérieas, compromisos con quienes los eontratan y ello puede incdir sobre la supuesta “objtividad” desu labo.* La solucién saloménica propuesta en algunos casos es la evaluacin mixta, conformando un “equipo” consti- tuido por evaluadores externos e internos con momen tos de trabajo conjunto y momentos de trabajo indepen dient ‘Owra forma de preguntar acerca del tema de quign sobre todo en el caso de organizaciones 0 progra- ‘mas de cierta complejidad (eon diversos departamentos 0 subsedes 0 localizaciones) es zen qué nivel evaluamos? En al sentido sila evaluacin esa nivel central suele ha- blarse de control de getin; en los niveles intermedios se hace énfasis en la supervsiin y si se realiza en el nivel ‘operativo, donde se hacen conereta las aeciones(presta~ cin de bienes o servicios) en relacidn con la gente (los beneficiarios o usuarios o clientes), se habla de evaluacién 4. Para un mayor doarollo de ee tema, we leapt 3 dl re: sent bo. Las tipa de conan operatoa, muy ligada al propio trabajo de los equipos tée~ nicos actuantes (por ejemplo, los grupos operativos de rmejoramiento de calidad o de auditoria médica que lle van a cabo los grupos profesionales en los establecimien- tos de salud). La cuestién de quin evalGa en realidad Ileva implici- tw el problema de la resistencia ala propia prictica de la ‘evaluacin y ls dificultades para utilizar sus resultados. [No es inusual que se leven 2 cabo evaluaciones riguro- ‘sas -sean internas o externas, de procesos o terminales, en uno 0 en otro nivel de la organizacién, programa 0 proyecto~ cuya implementacién y desarrollo han sido aceptados por la organizacién pero cuyas recomendacio- nes son escasemente tenidas en cuenta luego por los pro- pios responsables y ejecutores de proyectos. Su compro~ ‘miso personal y emocional con las metas, la poblacién destinataria y otros aspectos especificos de la organiza cién se puede erigir en una barrera para la aceptaci6n de ‘cambios en Ia orientaci6n de su accionar. En sintesis, co- ‘mo ya se vio en el primer capitulo, existen contradiccio- nes entre los propésitos de la evaluacién y la logica de fancionamiento de las organizaciones. Este tema, recu- rrente en la revisién de las experiencias, nos recuerda ‘que la programacién de una evaluacién debe incorporar acuerdos y negociaciones entre todos los involucrados en. el proceso, sobre todo en torno a sus propésitos ya su di sefio. También es necesario contemplar Ia introduccién dde mecanismos que permitan compartir sus diferentes ‘tapas, ineluyendo el anliss y la interpretacin de la in- formacién y la formulacin de las recomendaciones. Sé- lo ast se podrd hablar genuinamente de evaluacién parti ipativa,Olga Nirenberg, Jste Brawerman, Vidleta Ruiz ‘Los mileiples propésitos de Ia evaluacién ‘Una distincin ya elisca y muy difundida es la que sue hacerse entre evaluacién formation y cvaluain su- ‘mativa ode resumen. La primera se refer al ipo de eva- luacién que se emprende con el propésito de mejorar ‘una intervencién en un momento determinado y para un srupo especfio de personas, particularmente aquellas involucradas en su ejeucién. Busea proporcionatinfor- macin dil para ayudar al programa a mejorar su gestion yy contribuye a la toma de decisiones acerea de su desa- rrollo¢ implementacién (modifiacin, revision, ajustes, tc) Brinda informacién a medida que avanza el progra~ ma el proyecto, y se refiere al eumplimiento de metas intermedias ya los problemas de implementacin.Sirve fundamentalmente al personal del programa ‘Un ejemplo de evaluacin formativa es la evaluacin curricular en el rea educativa, de donde proviene por ‘otra parte esta nocién (Seriven, 1967). Uslizando téeni- cas tales como seguimiento de su aplicacién mediante pruebas de aprendizaje y juicio de expertos, se obtiene informacién que permite evaluar la adecuacién de los contenidos eurrculares alas condiciones de enseianra- aprendizaje yas poder realizar los ajustes necesrios. a evaluacién “de resumen” se emprende con el pro- pésito de obtener un juiio global sobre el valor de algu- 5. wacin r sds de inglés monte yp rec peo afta, ps en stlan invlser icone de sh © cumin, are mejor wads que UNICEF hae det ino ‘even meen conots una reap dela te de un conju ‘de exones(rograma, proyecto) sess desire (UNICEF, 199, a Ls po de oluacion za intervencién 0 accién humana (proyecto, programa, politica, servicio). Debe producir informacién acerea de su efectvidad y de las condiciones en las que puede ser ‘fica en otras situaciones, momentos © lugares. Se em- plea frecuentemente para decidir qué programas 0 ac- cones merecen una nueva inversin o la obtencién de fondos adicionales. Lieva por lo tanto a decisiones rela- tivas a la continuacin, finlizacin, expansién de los programas o proyectos y responde principalmente a las, necesidades de quienes los formulan o los financian. En particular, contribuye a suministrar elementos de juicio sobre la replicabilidad de una determinada intervencién en diferentes contextos, ampliando de este modo el aba- nico de sus potenciales usuarios. En el caso presentado anteriormente acerca de la aplicacién del curriculo ela- Dorado y mejorado, se emprenderia una evaluacién “de resumen” con el propésito de determinar si es efectivo para mejorar las capacidades de los alurnnos o para in- troducie cambios en sus acttudes hacia el aprendizaje. EL juicio evaluativo en este caso sirve para decidir la conti- rnuacién del programa y la generalizacién de su aplica- cin a otros establecimientos escoares. Sin embargo, sise tiene en cuenta la intima relacion entre los procesos de gestién y el impacto obtenido, puede decirse que muchas evaluaciones sirven a ambos propésitos. En nuestro ejemplo, la evaluacién formativa, del curiculollevaré de hecho a decisiones acerca de su aplicabilidad, mientras que la de resumen puede contri- buir a nuevas revisiones y ajustes para aumentar su efi- ‘St bien en la prtctica suelen usar distintos tipos de i formacién y criterios de evaluacién, en nuestra opinion, a(Olga Nirenberg, Fst Braverman, Vita Ruiz el valor de esta dstincién reside en un Hamada de aten- id a la necesidad de realizar evaluaciones durante to- ‘do el ciclo vital de un proyecto. En realidad, como se ha afirmado en el primer capitulo, el propésito de la eva- luacién es contribuir a un aprendizaje que impulse el ‘cambio o la aplicacién de medidas correctivas. Desde es- ta perspectiva, toda evaluacién cumple una funcién for- mativa, Otra distincién también tradicional en la literatura sobre el tema es la que se establece entre evaluacién des- criptiva y explication (Suchman, 1967). La primera se re- fere alos estudios que tienen por objetivo pronunciarse respecto del éxito o fracaso de un programa a partir de la descripcién cuantitativa o cualtativa de sus actividades, sus procesos sus resultados y de su comparacién con al- sin objetivo, meta o estindar preestablecido. ‘La segunda se propone identifcar los factores que ex- plican situaciones de éxito 0 fracaso de los abjetivos de tun programa. Construye esquemas interpretativos de la rmultiplicidad de causas e interdependencia de efectos a partir de marcos conceptuales y te6ricos preexistentes 0 bien de la formulacién de hipétess a veriica Entendemos que se trata de una distinci6n artificial “Tada evaluacién debe descrbir (ello posiblemente cons- tituya su primera etapa metodolégica), pero su disefio debe considerar también la identficacion de los factores «que intervienen para explicar los logrosy los fracasos. Por ‘otra parte, como ya dijimos, toda intervencién social es ‘una estrategia destinada a producir cambios en un con- texto determinado. Implica una serie de hipétesis acerea dle los resultados esperados que se uaduceit en ly forms laci6n de objetivos; por ejemplo, si el abjetiva de un pro- “ es tips de evalacin yecto es producir una mejora en las condiciones de vida de un grupo 0 una comunidad mediante la puesta en ‘marcha de un microemprendimiento, existe una hipéte- sis subyacente de que esta accién seri efectiva para pro- dlucir cambios en la situacién de empleo y en el nivel de ingresos del grupo destinatario, La evaluacién, en iltima instancia, busca verficar o desechar tal hipétesis através de la deseripcién de los resultados alcanzados y explicar las condiciones en las que se verifica,o en caso contratio identificar los factores ~tanto del contexto 0 mundo ex- terior significativo como de su gestién- que dificultan u ‘obstaculizan los logros previstos. Fenacis soiin temas: zqué evahuamos? Una distincion refevante se basaen los aspectos 0 fa- cetas de un programa o proyecto que se quiere estui ‘yjuzgar. Desde esta perspectiva exsten innumerables i= pologias pero, en general, responden a tres grandes eri- terios lasificatorios. El primer eriterio se basa en las etapas del ciclo de un programa o proyecto: en este caso se diferencian los as- pectos vinculados a su dive y coneptualizacin (evalua cin de necesidades, evaluacién de contexto,evaluacién del diseio y programacién), aquellos vinculados a su de- sarrll o implementacén estructura, organizaciOn,recur- sos humanos, materiales y econémicos, procedimientos, actividades, etc.) y aquellos vinculados a sus resultados (efectos, impactos, rendimiento, ete.) Esta clasficacién précticamente coincide con la que distingue los momen- tos de la evaluacién. Sélo difiere en que pone el acento aOlga Nirenberg Jute Braverman, Violeta Ruiz fen el qué -lot enntenidas- y no en el eusndo los mo- ‘mentos- se eval. El segundo crterio alude més bien a los componentes relevantes de los programas. En este eje las clasificacio- nes mas df undidas son: evaluaciones de insumos, proce- 50s y productos; de estructura, procesos y resultados 0 efectos; de procesos y de impactos. La exuluacion de insumas tiene por objeto deseribir y analizar los recursos humanos, materiales y financieros ‘con que cuenta un programa; la forma en que dichos re- cursos son procesados de acuerdo con criterios de rele- vvancia, fucbilidad y economia en su uso y las estrategias| de obtencién de insumos destinados a implementar di- chas estrategias. La evaluacn de procesasestudia los me- dios procesales (actividades, procedimientos, prestacio- ‘nes) que se utilizan para llevar a cabo un programa, tanto ‘en su disefio como en el modo como éste se implementa ‘Se rata de emit un juicio acerea de la eapacidad y las es ‘tategias de procesamiento de insumos que tiene el siste- ‘ma, Sitve para elegir cursos alternativos de accién para la ‘operacionalizacién, ejecucién y el control del proyecto, La evaluacon de productos estuia el logro de metas pro- puestas que se expresan en términos de productos espera- dos. Emite un juicio sobre los resultados obtenidos en términos de productividad, concepto que vincula os pro- dductos aleanzados 2 los insumos utilizados para el desa- rrollo de las actividades. Esta clasificacin proviene del ‘campo de la economia, de las evaluaciones de emprendi- 'mientos produetivos y de obras fsicas. La clasficacién en estructras, process y resultados (0 ‘feun) proviene del campo de la salud (Donabedian, 1990) e incorpora una terminologia mis adecuada ala in- “ Lor tips de evalua dole de los proyectos sociales. Le nocién de extuctars alude aqui la combinacin de los recursos y a su organi- zacién para la presaién y el desarollo de determinados servicios y actividades (procesos) con el objeto de alean- zar ciertos resultados. Por otra parte, est clasficacién vincla la evaluacin al planifiacién/programaciéa. En |i metodologia moderna de planificacin se plantean ob jetivos en términos de resultados, procesos yestructurs, en el entendimiento de que los resultados se obtienen si se desarollan los procesos programados, los que asu vez se podirin realizar en la medida en que se disponga de las estructuras necesaras La evaluacin retoma evs compo- nents y se evahian estructaras, procesosy resultados, en tuna secuenca inversaa lade la planifeacin. La clasfiacinrelatva a evalua de proces y evalua cién de impacts s ray wslzada en el campo de los proyee- tos sociales. En este marco terminolégico, la primera aponta a determina el valor del desempefio actu del proyeet, es deci, el grado en que va cumpliendo con as actividades previstas,aleanzando los resultados esperados dentro de los plazos y con los recursos programados, y procuraidenilicar as eausas de los problemas que van surgiendo de modo de corregryrevistr oportunamente la ‘marcha del proyecto. La evaluacién de impactos pone éo- fasisen los resultados logrados en los destnatarios, los compara con los esperados y procura encontrar ls causas de las diferencias. Muchas veces esas eausas se encontra- in con claridad a partir de la evaluacin de los procesos realizados; otras veces tenran ms que ver con fietores conextuales que con los proyectos mismos. ‘La mulipliedad de denominaciones para compo- nentes similares de los proyectos merece aqui un parra- eOlga Nirenberg, Jaste Braverman, Voeta Raz fo aparte, en particular las que se referen a sus resulta dos. “Productos”, “efectos”, “impactos” son términos que pueden englobarse dentro del concepto més general de resultados aunque no son utilizados siempre de forma equivalente ni univoca. Los matices que suelen encon- trarse remien en iltima instancia a distints tipos de re- sultados o distintos momentos del ciclo de un proyecto en que éstos pueden verificarse, asi como a sus diferen- tes imbitos 0 espacios de repercusin. Los objtivos del programa o proyecto constitayen la contracara de los e- sultados y se los suele denominar también con distintos srados de generalidad (Ginalidad, propésito w objetivo general, objetivos especiicos, objetivos intermedios, tc). Podemos ilustrar estos matices mediante un ejem- plo sencillo. Tomemos un proyecto de eapacitacién tc. nica de jévenes no escolarizados de bajos recursos im plementado con el objetivo de que obtengan una ripida salida laboral para contribuir a mejorar las condiciones de vida de sus familias. Se suele denominar “productos” 2 los resultados coneretos de las actividades, en este cx- 50, los cursos realizados y los jovenes capacitados. Los efectos (buscados o programados) se vinculan alos obje- tivos del proyeeto, en este caso: la insercién ocupacional de los jovenes eapacitados. También pueden referise a ‘otros resultados, previstos © no, como el aumento de fa autoestima de los j6venes capactados, la mayor integra- cin familiar en sus hogares, etc. El impacto se vincula a los objetivos mas generales del proyecto y se refire alos ‘cambios que se persiguen (a veces no formulados expli- citamente) y que podirin verficarse en las condiciones de vida de la poblacién; en el ejemplo podrian ser impac- tos el mejoramiento del ingreso familiar, la reducein de “ Les tips de evaluacin Ja dlincuenciajuveil, entre otos. Fe necesario efalar que la evaluacign de impacto busea identifear aquellos cambios atribuibles a Ia acién del proyecto, despejando otros factors que podria haber imervenido* Finalmente, el eer criterio de clasificacién pone el acento en ciertos atibutos de los programas o de sus componentes a pertnencia, la idoneidad o suficiencia, Inelicacia, la efectvidad, el rendimiento, la rentabildad, Ja productividad, la eficienci, ete,” conceptos que no siempre son univocos pero que eventan con an con- senso al menos en cuanto « su significado general La pertinenca se refiere ala adeeuacién de un progra~ ma proyecto (ode alguno de sus componente) para st- tisfacer necesdades y demandas 0 para resolver I situa~

You might also like

• Her Body and Other Parties: Stories

  

  From Everand

  Her Body and Other Parties: Stories

  Carmen Maria Machado

  Rating: 4 out of 5 stars

  4/5 (822)
• The Sympathizer: A Novel (Pulitzer Prize for Fiction)

  

  From Everand

  The Sympathizer: A Novel (Pulitzer Prize for Fiction)

  Viet Thanh Nguyen

  Rating: 4.5 out of 5 stars

  4.5/5 (122)
• A Man Called Ove: A Novel

  

  From Everand

  A Man Called Ove: A Novel

  Fredrik Backman

  Rating: 4.5 out of 5 stars

  4.5/5 (4610)
• • Magazines
  • Podcasts
  • Sheet music
• A Heartbreaking Work Of Staggering Genius: A Memoir Based on a True Story

  

  From Everand

  A Heartbreaking Work Of Staggering Genius: A Memoir Based on a True Story

  Dave Eggers

  Rating: 3.5 out of 5 stars

  3.5/5 (231)
• Rise of ISIS: A Threat We Can't Ignore

  

  From Everand

  Rise of ISIS: A Threat We Can't Ignore

  Jay Sekulow

  Rating: 3.5 out of 5 stars

  3.5/5 (137)
• Team of Rivals: The Political Genius of Abraham Lincoln

  

  From Everand

  Team of Rivals: The Political Genius of Abraham Lincoln

  Doris Kearns Goodwin

  Rating: 4.5 out of 5 stars

  4.5/5 (234)
• Sing, Unburied, Sing: A Novel

  

  From Everand

  Sing, Unburied, Sing: A Novel

  Jesmyn Ward

  Rating: 4 out of 5 stars

  4/5 (1104)
• On Fire: The (Burning) Case for a Green New Deal

  

  From Everand

  On Fire: The (Burning) Case for a Green New Deal

  Naomi Klein

  Rating: 4 out of 5 stars

  4/5 (74)
• The Perks of Being a Wallflower

  

  From Everand

  The Perks of Being a Wallflower

  Stephen Chbosky

  Rating: 4.5 out of 5 stars

  4.5/5 (2104)
• Fear: Trump in the White House

  

  From Everand

  Fear: Trump in the White House

  Bob Woodward

  Rating: 3.5 out of 5 stars

  3.5/5 (738)
• The Yellow House: A Memoir (2019 National Book Award Winner)

  

  From Everand

  The Yellow House: A Memoir (2019 National Book Award Winner)

  Sarah M. Broom

  Rating: 4 out of 5 stars

  4/5 (98)
• Brooklyn: A Novel

  

  From Everand

  Brooklyn: A Novel

  Colm Tóibín

  Rating: 3.5 out of 5 stars

  3.5/5 (1947)
• Devil in the Grove: Thurgood Marshall, the Groveland Boys, and the Dawn of a New America

  

  From Everand

  Devil in the Grove: Thurgood Marshall, the Groveland Boys, and the Dawn of a New America

  Gilbert King

  Rating: 4.5 out of 5 stars

  4.5/5 (266)
• Yes Please

  

  From Everand

  Yes Please

  Amy Poehler

  Rating: 4 out of 5 stars

  4/5 (1898)
• Shoe Dog: A Memoir by the Creator of Nike

  

  From Everand

  Shoe Dog: A Memoir by the Creator of Nike

  Phil Knight

  Rating: 4.5 out of 5 stars

  4.5/5 (540)
• The Unwinding: An Inner History of the New America

  

  From Everand

  The Unwinding: An Inner History of the New America

  George Packer

  Rating: 4 out of 5 stars

  4/5 (45)
• Bad Feminist: Essays

  

  From Everand

  Bad Feminist: Essays

  Roxane Gay

  Rating: 4 out of 5 stars

  4/5 (1018)
• A Tree Grows in Brooklyn

  

  From Everand

  A Tree Grows in Brooklyn

  Betty Smith

  Rating: 4.5 out of 5 stars

  4.5/5 (1929)
• John Adams

  

  From Everand

  John Adams

  David McCullough

  Rating: 4.5 out of 5 stars

  4.5/5 (2409)
• The World Is Flat 3.0: A Brief History of the Twenty-first Century

  

  From Everand

  The World Is Flat 3.0: A Brief History of the Twenty-first Century

  Thomas L. Friedman

  Rating: 3.5 out of 5 stars

  3.5/5 (2259)
• Manhattan Beach: A Novel

  

  From Everand

  Manhattan Beach: A Novel

  Jennifer Egan

  Rating: 3.5 out of 5 stars

  3.5/5 (792)
• Wolf Hall: A Novel

  

  From Everand

  Wolf Hall: A Novel

  Hilary Mantel

  Rating: 4 out of 5 stars

  4/5 (3811)
• The Emperor of All Maladies: A Biography of Cancer

  

  From Everand

  The Emperor of All Maladies: A Biography of Cancer

  Siddhartha Mukherjee

  Rating: 4.5 out of 5 stars

  4.5/5 (271)
• Hidden Figures: The American Dream and the Untold Story of the Black Women Mathematicians Who Helped Win the Space Race

  

  From Everand

  Hidden Figures: The American Dream and the Untold Story of the Black Women Mathematicians Who Helped Win the Space Race

  Margot Lee Shetterly

  Rating: 4 out of 5 stars

  4/5 (897)
• The Woman in Cabin 10

  

  From Everand

  The Woman in Cabin 10

  Ruth Ware

  Rating: 3.5 out of 5 stars

  3.5/5 (2521)
• Grit: The Power of Passion and Perseverance

  

  From Everand

  Grit: The Power of Passion and Perseverance

  Angela Duckworth

  Rating: 4 out of 5 stars

  4/5 (590)
• The Outsider: A Novel

  

  From Everand

  The Outsider: A Novel

  Stephen King

  Rating: 4 out of 5 stars

  4/5 (1850)
• Elon Musk: Tesla, SpaceX, and the Quest for a Fantastic Future

  

  From Everand

  Elon Musk: Tesla, SpaceX, and the Quest for a Fantastic Future

  Ashlee Vance

  Rating: 4.5 out of 5 stars

  4.5/5 (474)
• The Light Between Oceans: A Novel

  

  From Everand

  The Light Between Oceans: A Novel

  M.L. Stedman

  Rating: 4.5 out of 5 stars

  4.5/5 (789)
• The Art of Racing in the Rain: A Novel

  

  From Everand

  The Art of Racing in the Rain: A Novel

  Garth Stein

  Rating: 4 out of 5 stars

  4/5 (4203)
• The Little Book of Hygge: Danish Secrets to Happy Living

  

  From Everand

  The Little Book of Hygge: Danish Secrets to Happy Living

  Meik Wiking

  Rating: 3.5 out of 5 stars

  3.5/5 (401)
• The Glass Castle: A Memoir

  

  From Everand

  The Glass Castle: A Memoir

  Jeannette Walls

  Rating: 4.5 out of 5 stars

  4.5/5 (1716)
• Principles: Life and Work

  

  From Everand

  Principles: Life and Work

  Ray Dalio

  Rating: 4 out of 5 stars

  4/5 (608)
• The Subtle Art of Not Giving a F*ck: A Counterintuitive Approach to Living a Good Life

  

  From Everand

  The Subtle Art of Not Giving a F*ck: A Counterintuitive Approach to Living a Good Life

  Mark Manson

  Rating: 4 out of 5 stars

  4/5 (5811)
• Angela's Ashes: A Memoir

  

  From Everand

  Angela's Ashes: A Memoir

  Frank McCourt

  Rating: 4.5 out of 5 stars

  4.5/5 (441)
• The Hard Thing About Hard Things: Building a Business When There Are No Easy Answers

  

  From Everand

  The Hard Thing About Hard Things: Building a Business When There Are No Easy Answers

  Ben Horowitz

  Rating: 4.5 out of 5 stars

  4.5/5 (348)
• The Constant Gardener: A Novel

  

  From Everand

  The Constant Gardener: A Novel

  John le Carré

  Rating: 3.5 out of 5 stars

  3.5/5 (104)
• Little Women

  

  From Everand

  Little Women

  Louisa May Alcott

  Rating: 4 out of 5 stars

  4/5 (104)
• Never Split the Difference: Negotiating As If Your Life Depended On It

  

  From Everand

  Never Split the Difference: Negotiating As If Your Life Depended On It

  Chris Voss

  Rating: 4.5 out of 5 stars

  4.5/5 (844)
• The Gifts of Imperfection: Let Go of Who You Think You're Supposed to Be and Embrace Who You Are

  

  From Everand

  The Gifts of Imperfection: Let Go of Who You Think You're Supposed to Be and Embrace Who You Are

  Brené Brown

  Rating: 4 out of 5 stars

  4/5 (1092)
• Karl Marx. Bramando Gigantescas Maldiciones - Paul Johnson (V)

  

  Document35 pages

  Karl Marx. Bramando Gigantescas Maldiciones - Paul Johnson (V)

  Sonia Casas Arellanes

  100% (1)
• Steve Jobs

  

  From Everand

  Steve Jobs

  Walter Isaacson

  Rating: 4.5 out of 5 stars

  4.5/5 (807)
• Marx Karl Heroes Del Destierro

  

  Document94 pages

  Marx Karl Heroes Del Destierro

  Sonia Casas Arellanes

  100% (2)
• 07 El Envenenamiento de Los Nativos

  

  Document4 pages

  07 El Envenenamiento de Los Nativos

  Sonia Casas Arellanes

  No ratings yet
• Colección Socialismo y Libertad

  

  Document5 pages

  Colección Socialismo y Libertad

  Sonia Casas Arellanes

  No ratings yet
• Cómo Utiliza La Burguesía A Los Renegados Por V

  

  Document6 pages

  Cómo Utiliza La Burguesía A Los Renegados Por V

  Sonia Casas Arellanes

  No ratings yet
• Tae870129f98af100201608

  

  Document1 page

  Tae870129f98af100201608

  Sonia Casas Arellanes

  No ratings yet