Scribd Logo
Upload

Welcome to Scribd!

  • Texto Nirenberg

    Uploaded by

    Macarena Muñoz Fredes
    2 views112 pages

    Copyright

    © © All Rights Reserved

    Available Formats

    PDF or read online from Scribd

    Did you find this document useful?

    Is this content inappropriate?

    Report this Document

    Copyright:

    © All Rights Reserved
    Download as PDF or read online from Scribd
    Flag for inappropriate content
    2 views112 pages

    Texto Nirenberg

    Uploaded by

    Macarena Muñoz Fredes

    Copyright:

    © All Rights Reserved
    Download as PDF or read online from Scribd
    Flag for inappropriate content
    of 112
    i | "4 UNAM, 117330 @ POSGRADO INGENIERIA j a TRAMAS SOCIALES Directora de coleccién Irene Gaiman 1. Cecilia Moise Prevencny pian 2. G. Cardarelly M. Rosenfeld Las partipaciones del pobreza 3. Hugo A. Miguen sw de satan prioatous 4. Francisco Morales Calatayud Inroducin le pivloga de le aud 5. Enrique Saforcada La plein sanitaria om las nuevas prspectoas sel sald pba 6. Susana Huberman Coma fermen ler capactadars 7.Silvia Sehlemenson (comp,) Leery eri en context scales complejas 8.0. Nirenberg, J. Brawerman y V. Ruiz Boaluar poral rensformaciin EVALUAR PARA LA TRANSFORMACION Innovaciones en la evaluacion de programas y proyectos sociales OLGA NIRENBERG JOSETTE BRAWERMAN VIOLETA RUIZ e PAIDOS Buenos Aires Bareeiona ‘México, Cabin de Gate Mace aon dear: ramen e Paige de C1918) de vn Gis a ein, 2000 ‘Sate ges eae et se © 200 de toda i cones tert! ase SAC Defene 9,Bien ies ‘sl: alder com ar ‘Eicon Pai been Marans Cub 92 Becelona dori Mesa 8 Rubén Dario 18 Mesa DE ‘Ques hecho dept que rene ey 1.788 Inpro elt Arges, ne Argentina ‘Stage del ero 88% Lan en eer de 2000 LAS AUTORAS (Olga Nirenberg Es socidloga (Universidad Nacional de Buenos Aires UBA.}, con posgrados en Planificacin Social y en Si Ind Pablica. Es directora ejecutiva del Centro de Apo- yo al Desarrollo Local (CEADEL) y coordinadora del rea de evaluacién del Programa de Atencién a Nifios y Adolescentes en Riesgo (ProAme, Secretaria de Desa- rrollo Social/BID). Trabaja como consultora en evalua- ci6n para otros programas nacionales de la Secretaria de Desarrollo Social y en el Programa Materno Infa til y Nutricién (PROMIN, del Ministerio de Jud/BIRF), y para programas internacionales, en espe- ‘ial el Programa Regional de Salud Integral del Adoles- cente de la OPS-Washington DC y el Programa UNI de la Fundacién W. K. Kellogg. Josette Brawerman Es sociéloga (UBA), con estudios de posgrado en Pla- nificacion Soctl. Ha sido consultora del Centro Intera- ‘mericano de Desarrollo Social de la OFA y de UNICEF G(2).117330 " Olga Nirenberg, Fete Braverman, Veta Ruts Argentina. En la ematical es miembro del equipo téeni- ‘co de CEADEL y consultora del area de evaluacién del Programa Materno Infantil y Nutrcién (PROMIN, Mi- nisterio de Salud/BIRF) y del Programa de Atencién a Ni fios y Adolescentes en Riesgo (ProAme, Secretaria de De- sarrollo Socia/BID). Violeta A. Ruiz Es sociéloga (UBA), con estudios en Programacién Social. En 1997 recibié el Premio Adeba por el trabajo presentado sobre la evaluacién del Programa Matemo Infantil del Ministerio de Salud. Se desempedé como consultora en programas sociales dependientes de distin- tus dreas de gobierno y Organizaciones de la Sociedad Civil (OSC). Ha coordinado y colaborado en evaluacio- nes de programas para la Direccién Nacional de Gasto Piiblico Social del Ministerio de Economia, CEADEL, ‘UNICEF Argentina y programas dependientes de la Se~ cretatia de Desarrollo Social de la Nacién, INDICE Brslog, Lap Har os TntrodUeei60 nnn oe Capitulo 1: Para qué la evaluacién? Tntroduciéndonos en tem La evaluacién como momento ‘func dela gerencia TIntentando una deinici [Evaluacin e investgacin: bartantessimilinades yalgunas diferencias sn ‘Cambios en os estils de evaluacién La evaluacin pars I transformacin Aprendiendo com la evauacin y de ella FE] proceso de la evalacion Capitulo 2: Los tipos de evaluacién ... vw SE Antes, durante o después: siempre hay que evar... 53 CConjugando el verbo evalua: cnos evaluamos 0 nos cevaldan? 58 Los miliples propésitos de la evaluaciin e ° Olga Nirenberg, Jasette Braserman, Veta Rus Enfasissegin temas: qué evaluamon? Los distints objetos posibes de evaluacin: ctipos o nveles de ani? Para evaluar las evaluaciones La multidimensionalidad de la evaloacin ip Lo sors mets Brlacn coma yee ‘Un debate histérico. : ‘Eralacin cuanto calc Berane cen . ‘Une tei cnt el igor madi esr oodincn Capitulo 4 Las técnicas de evalvacién, ‘Acerendonos alas técncas . Los diferentes tipos de téenias 2Cimo decidir qué éenica utilizar? 2Y sobre los instrumentos? Capitulo 5: El disesio de un modelo evaluativo ‘Por qué un modelo? Los atrbutos deseables de un modelo evaluativo [Las partes que integran un modelo evalutiva are por parte Las dimensiones del modelo evalativo.. Abriendo el abunico de ls dimensiones Seleccionando y definiendo indicadores Las técnica ls fuentes on [as preguntas orientadoras {La matrz snesis del modelo evaluative EL inserumento valorativo: tun modo de cuansficar lo cvaitativo. 0 | Boaluar por le tronsformacion 6s Capitulo 6: La aplicacién del modelo evaluative ya diseminacion de los resultados n “Transferencia del modelo evaluative y sjvstes 5 Los énisiso focos en los distintos momentos. 7 Inclusion de ajastes La partcipacign de los stores La formulacin de juicios valorativos 7 fandamentados y de recomendaciones La devolucin de los hallazgos evaluativos m El informe de evaacion “Tlleres para el acuerdo con Tos a€t0FeS wn as El resumen eect en = eh La difusion de los hallazgos. 96 Anexos. ‘Matrz sintess de un modelo evaluative. Insteumento de valoricién.. Bibliografia n 169 169 170 3 7 181 183, 188 189 190 191 12 205 27 PROLOGO El titulo del libro Boaluar para la transformacién ade- Janta la intencién de las autoras, fruto de su aquilatada experiencia en la formulacién y evaluacién de programas, sociales. Y esta intencién se resume, a nuestro juicio, en lapropuesta de una reflexién profunda del significado de Ia evaluacién como elemento clave en la programacién de las polticas sociales. Es frecuente, en los anilisis de esta problemtica, ‘confundir la actividad de evaluacién ~con los supuestos de racionalidad implicitos en ella con la de programa ‘cin, Atsibuir a Ia programacién ~entendida como la asignacién de recursos ex ante un carter racional en todos los casos induce a error. La programacién, como metodologia de asignacién de cualquier tipo de recurso, en ha sociedad, puede ser racional 0 irracional tanto en. objetivos como en métodlos, yes de suma importanciate- ner en claro este punto al abordar este tema, especial- ‘mente en la evahuacién de programas. En este ahajo, Nirenherg, Brawerman y Ruiz hacen ‘un minucioso andlisis del significado de la evaluacién en B Olga Nirenberg, ostte Brawerman, Vise Ruiz la programacién, partiendo del entendimiento claro y simple (pero pocas veces incorporado en los textos) de ue Ia evaluaci6n no es una parte inicial o final del pro- ceso de creacidn u operacién de un proyecto 0 programa social, sino que se trata de un elemento constitutivo © separable del mismo. Fs el nicleo motor de la racional dad de la que debiera estar dotado todo proyecto dest- nado a modificar una realidad social, desde el comienzo hhasta mas allé de su finalizaci6n, desde las ideas iniciales {que guian al programador en su disefio hasta el momen- to en que, cumplidos los objetivos, es necesario reflexio- nar tanto sobre los efectos de lo propuesta y actuado co- ‘mo sobre las consecuencias ~deseadas y no deseadas~ de los procesos que se han puesto en marcha, En este sentido, en todo el texto hay un explicito recha- 20 pensar la evaluacién como un momento aislado, parcial y confinado en el tiempo, reafirmando el pape del “apren- dizaje” que éta brinda como panto de partda y de legada, ide prueba abierta y permanente base de nuevas propuestas 1 gestiones superadoras en la politica y en la gests social Un aniliss apresurado podria llevar a confundir esta cconcepcién de la evaluacién con la racionalidad que We- ber! define como propia de la modernidad y del capita- lismo, racionalidad instrumental u operativa en la que f- ries, medios y condiciones son analizados por el actor y esto le permite elegir las conductas que lo llevarén, con los medios disponibles, a aleanzar los fines “racional- nente seleccionados”. A su vez, Mayntz,'profundizando. 1. Weber, Me: Hanoy dad, Misco, Fad de Cultura Bean 9 Mayne, Sug adminis pl, Mai Ain, 1998 " cesta caracterizacin, en su andlisis del sistema (modelo) politco-administratiwo modemo, redefine el problema de la racionadad instrumental en la gestion del subsis- tema administrativo, mostrando las variaciones que re- gistra ésta de acuerdo con la ampliacién y evolucién de sus funciones. En la etapa constictiva del Estado moder no, tanto en el absolutismo fandante como en el perfodo del Estado gendarme del liberalismo, el predominio de fanciones como las de recaudacién, orden externo ¢ in- temo hacen que domine una racionalidad burocritica, cay criterio de éxito se basa en el apego a la norma, dependientemente de los efectos que ella tenga La propia evolucién del Estado, en el posterior perio- do democritico de partcipacién, se acompaia de nuevas fanciones (obras pablicas, desarrollo econémico, politi- ‘as de bienestar social) y se corresponde con un nuevo ‘modelo de gestin, el de la planificacin, cuyos criterios de éxito (y racionalidad) se basan en el cumplimiento de metas” que sustituyen la racionalidad buroeritica. De este modo, para las autoras, coexisten en el seno del Es- tado dos tipos de racionalidad instrumental, con distin- tos argumentos Pese a esta distincién que surge de los paradigmas snormas-metas, la base de racionalidad sigue teniendo ca- racteristcas parciales, de tipo instrumental. Asi concebi- da, la racionalidad del planificador, aunque distinta de la. del burdcrata, se detiene en el momento en que aleanzé «objetivo propuestoen el plano proyecto. La exigencia como afirmamos~ es llegar ala meta, cumplir acabada- ‘mente con los fines del plan. En ambos casos, laraciona Fidad aparece como un elemento fragmentado, dada su definicin instrumental, es decir, parcial. i Olga Nirenberg, Jste Braverman, Vota Rai Esta concepcién limitada se contrapone con la racio- sualidad asociaa a la evaluacion, que consttuye el mode- lo de la propuesta contenida en este libro y que R. Gé- ‘mez’ (utilizando los criterios epistemolégicos de K. O. Apel) caracteriza como comprehensiva, en tanto discute 0 clucida fa propia racionalidad (yjusteza) de los fines que se persiguen. ‘La mera racionalidad instrumental, restringiday frag- ‘mentaria, est irremediablemente ligada a una concep- cin de la sociedad y su organizaci6n, y elimina la refle- xidn sobre las consecuencias de la accién, con un notorio empobrecimiento y limitacién en el andisis, tanto a ni- vel epistemolégico como de la propia concepcién de la sociedad, de su organizacién, de los “modos aceptados ‘como tacionales y para la accién social misma”. La propuesta evaluativa que se aborda en este texto ~en tanto elaborada como proceso que abarea y contiene todo el desarrollo del plan o proyecto, sometiendo a eri- ticasistemitica no slo los fines seleccionados y el ajuste de la operacion a ésts sino ademas, y fundamentalmen- te, los efectos deseados y no deseados de la implementa- cién, y aun el propio ejercicio de la evaluacién misma, mediante la *metaevaluaci6n”-, supera los limites de la raz6n instrumental y de la critica expuesta, Un elemento desticable de esta propuesta es el de la profunda asociacién que se establece en el texto entze eva- Iuacién y método cientfco, relacin estrechamente ligada a la concepeidn de racionalidad anteriormente expuesta. Sin embatgo, esta asociacin esté lejos de identificar am bas actividades, e jgnora sus diferencia, Recuperando la 5. Gee, R: Nesberaim ys, Buenos ies, Lg, 195 16 Pritegs disincién que Bunge hace enre ceca y enol a rogramacion-ovaluacién aparece firmemente encuadrada ‘en los cinones del método cientifico, respondiendo a sus cexigencias de prueba y verificacién, pero con identidad propia, en tanto accién prictica dirigida a la transforma- én, la operacion sobre la realidad soca Un aspecto sobresaliente del trabajo reside en el es- fuerzo didéetico con que se ha asumido la earea a lo lar- 4g0 de los seis capitulos que componen el libro. Desie el anilisis minucioso de la propia definicién de cevaluacién y sus implicancias, sus vinculaciones con el método cientifico, los eriterios de validacién y operacio- nalizacin, el andlisis de las wéenicas hasta la matriz. de cevaluacién, la metodologia expositiva elegida privilegia ‘en torios los temas tanto la desmitificacién de cuestiones aparentemente irreductibles (como es, por ejemplo, aparente antinomia entre lo cuantitativo 2x. Jo cualitat vo en investigacin social), como las definiciones senci- las y accesibles, tanto para quien se asoma por primera ver. estas cuestiones como para los especialistas intere- sados en otras perspectivas analiticas. El tratamiento de estos problemas resulta relevante en ‘nuestro pais, partcularmente en el émbito de ls politicas sociales, dado que éstas muestran -con escasas excepcio- ‘es- una generalizada orfandad tanto en la evaluacién co- mo en la formulacién y gestin de programas y proyectos. Results dblemeneparadco qu sto eur en a [Argentina la luz de su temprana vocacién en la formu lacién de programas sociales y de salud a partir de la dé- cada del cuarenta, ya que al mismo tiempo, y en sentido 4. Bang, Ms Quel ci, Bueno Aes Siglo XXL, 1940 v Olga Nirenberg, Fete Braverman, Veta Ruiz contrario, aun con distintas definiciones, en el resto de ‘América Latina, paises como Chile, Venezuela y Cuba, centre otros, han recurtido al modelo de la planificacién como método de enfocar su problemética socal Seguramente son miitiples los factores que explican la renuencia del sector pablico a incorporar la programa- cin (y la evaluacién) con estos eriteris de racionalidad en la gestion de los programas sociales, Entre ellos, cons- tituye un elemento de peso la prevalencia en el subsiste- ‘ma administrativo del Estado argentino de una “cultura cexcesivamente burocritica”, que se ha convertido en la crientaci6n cuasi universal de toda gestién de Estado, trascendiendo los periédicos cambios de gobierno e, incluso, la alternancia entre modalidades democriticas y autoritarias que se sucedieron en los iltimos cuarenta De este modo, en la formulacion y ejecucién de la po- litca social, aunque las acciones y los propésitos se eti- aueten con frecuencia con el nombre de “programas” y recurran en no pocos casos a la liturgia formal de la pro- pia programacién, sus criterios de ejecucién, racional dad y éxito seatienen alos cdnones estritos del proces ‘miento contable, sendo el principal, y a veces el tnico criterio de ejecucién, su epego al reglamento y las nor- ‘mas de contabilidad publica, Esta caracteristica negativa “administrativsta” que ti- fie la politica social argentina no puede desvincularse del propio accionar del subsistema politico en el marco del Estado. Esto se debe, a nuestro juicio, en parte, a uns fa- Tencia generalizada de dicho subsistema (el politico), el cual, ademas de carecer de informacién y condiciones téenicas que le permitan limitar y controlar eficazmente el poder real del subsistema administrativo, se ha volea- w Protege do crecientemente a utilizar las politicas sociales con un sentido fuertemente clientelistico, y para cuyo ¢jercicio Ja programacién y Ia evaluacién resultan supertfuas, Igual consideracién merece, a nuestro juicio, la gestion en las politicas sociales de un niimero importante de ONG, que han pasado a formar parte subsidiaria de la ‘cadena mencionada de acciones clientelares. El conjunto de estas consideraciones nos permite afir- ‘mar que sin duda la lectura de Evaluar para la transforma iin es includible, sobre todo para quienes asuman la ta- rea de la planificacién social, para todos los que desean, resolver las cuestiones que preocupan a Alicia (y no slo. a ella) acerca de dénde esti parada y eémo llegar al fin del camino. LeopoLbo HALPERIN agosto de 1999 » INTRODUCCION 1a imagen que nore cmrvi de e wiead o ‘ors re iene irs, or od ‘ay pos ere Td ean ads {mae at Us pbs ue nen inter em ‘Tc repomenct rede tm tte ore pee sms ar mine i cerry ron, 1 ue pen comb de reds dee Bexrocr Beste! En exte libro nos drgimos fundamentalmente a aquellos que desarrollan aeciones sociales, ya sea que for- rmulen o que eecuten programas o proyectos, tanto des- de organizaciones dela sociedad civil como desde distin tas areas de los diferentes niveles gubernamentales. Son ellos o elas quienes se habrén visto més de una ver en la urgente necesidad de evalvar sus acciones y as de otros, pero desprovstos de las concepciones y herramientas adecuadas para tal responsabilidad. Creemos que tam- bign por ser de utilidad para agencias de cooperacién o filantrépicas que apoyan proyectos y programas brin- dando financiamiento, asesoramiento y/o capactacién para temas de desarrollo socal ‘Uno de nuestros propésitos principales es el de des- ppegar el sentido de la evaluacién del puro control que ercen unos actoes sobre ots, para sitaro en el pla- 1, Bre, Bs Kes Ong fides Tetr Sif se Tt, rancor, Sova 1968, 2. 2 Olga Nirenberg, Jastte Brawerman, Violet Ruiz to del aprendizaje compartdo entre quienes partiipan de las gestiones de los programas o proyectos, de modo aque sean capaces de provocar las tansformaciones nece- saris en las stuacionesinstisfactorias yen los modos de actuar para su resolucién, Cuando decimos que nos importa la evaluacién para Ja wansformacién, hacemos referencia al menos a dos niveles en los que ls transformaciones deberfan produ cirse. Uno es el de contribuir a modifica ls situacio- res de adversidad,vulnerabilidad o inequidad en que se encuentran ciertos grupos pablacionales; como aclara~ remos posteriormente, todo proyecto 0 programa so- Gil se formula para cambiar stuaciones de ese tipo, la evaluacién debe mostrar en qué medida se prodjo el cambio deseable debido a qué factores. Otro es mos- tar de qué manera las acciones desplegadas para pro- duce ess transformaciones resulta 0 no las adecuadas, ¥’ qué cambios se aconsejan introducir en la forma de hacer ls cosas. De modo que principalmente estamos hablando de evaluacin para la accién transformadora ‘Compartimos el pensar de Krishnamurti (1998) acer~ ea de que no pods existr una transformacién del “or- den’ internacional ~del mundo si no hay tranforma- ciones en el sex humano, en su propio mundo interior, en sus concepciones, en sus formas de mirar lo que lo rodea 4, sobre todo en las formas de vineulase con los demas, hhumanos y con el ambiente. En tal sentido, puede ha- blarse también de la existencia de un pensamiento trans- formador. Si bien a fo largo del texto reiteramos que la evaha- considerada como una tecnologia socal, consiste bsicamente en ransformarinformacin en nuevo cono- Inradeion ‘imiento, entendemos ese mecanismo como instrumen- tal para a accidn orientada a transformar las situaciones de grupos humanos en condiciones desventajses. Es por 50 que, pese@ las similitudes, la evaluacién se distingue de la investgacion soca. No intentaremos aqui discutir otros enfoques ni eri- ticar otras formas de evaluar; mis bien tomamos los aportes que cada una de esas modalidades puede brin- dar, incluyéndolas en un esquema abarcativo, Siintenta- ‘emosaclarar algunas confusiones provenientes tanto de distintos usos lingisticos para nombrar las mismas eo- sts como de iguales términos para nombrar cosas distin ‘ts, como puede verse sobre todo en los capitulos 2 y 3, donde discutimos los diferentes tipos y abordajes de ‘evaluacin y desmitificamos algunas de las distinciones ‘tadicionaes. La mirada evaluativa que aqut proponemos es inte- _gradora, comprehensiva, con momentos de detalle y mo- mmentos de sintesis gestitia. Este libro no sirve como manual o receta para evaluar de forma universal todo tipo de proyecto o programa; en tal sentido no desarrollainstrumentos sino que procura transmitir Ia concepcién de cules son los procesos re~ queridos y las orientaciones acerea de las formas de en~ ‘ararlos, para disefiar evaluacionesdistintas para ls dife- rentes proyectos o programas donde los profesionales del campo social solemos hacer cada vez una nueva expe- ara cumplir con nuestro propésito dividimos el tex- to.en seis capitulo y dos anexos. Fl primer capitulo pretende dejar aclarada nuestra concepeién general acerca de la evaluacién y su utiidad 2 (Olga Nirenberg, Jesse Brera, Veta Rai como funcién de la gerencia, es decir, includ en la ges- ti6n socal El segundo capitulo hace una recorrida por las tipologias usuales de la evaluacién en la literatura consul- tad y, como ya advertimos, se abordan algunas diseusio- nes aclaratorias al respecto. En el tercer capitulo habla- ‘mos de los abordajes, de los falsos dilemas entre la cifras Y las palabras lo “cuanti” y lo “cual” que envolvieron durante afios a cuestén de la evaluacin y que ahora pa~ recieran ir superndose, aunque no del todo, concluyen~ do que es el rigor metodolgico lo que importa en las evaluaciones y que es s6lo mediante la subjetvidad de muchos diferentes que se puede resolver la subjeividad individual, aslada e idéntcaa si misma. El cuarto capitu- lo presenta una resefa de las ténicas a las cuales puede recurri la evaluacin para generar 0 recopilar y anaizar informacién, sin pretender con eso tratar la cuestion de forma exhaustiva pues es tal el caudal de téenicasexsten- tes que se equeritia un libro sélo para ese desarrollo sin ‘embargo, hemos includ algunas que nos parecieron no- vedosas y también discutimos algunas otras que ‘iltima- mente se levantaron al nivel de “métodos”, pero que con- tindan siendo herramienta simples y sles a disposicién de los evaluadores (como las relacionadas con “evahuacio- nes ripidas”o de rapid asesoment). Finalmente, los captulos quinto y sexto forman un solo blogue pero los hemos dvidido para dar un respiro alos eventuales leetores. En el quinto se deseriben las ca- racteristias y los pasos del proceso de diseio de un mo- delo evaluatvo, y en el sexto recorremos las fases de su aplicacén y de la diseminacin de los hallazgos, ls con- closiones y ls recomendaciones producto de la evahia-

    You might also like