Neoliberalismo y eficiencia de los programas sociales en Mxico

Myriam Irma Cardozo Brum*

Resumen Se analizan los cambios introducidos en las polticas sociales por el neoliberalismo y particularmente su preocupacin por la eficiencia, la cual se traduce en un marcado inters por evaluar los programas sociales en bsqueda de los mejores desempeos en trminos de costo-beneficio. Se revisan tambin las evaluaciones realizadas en 2002-2003 a la gestin de los programas de desarrollo social y se concluye que se ha tenido un avance significativo en la materia, pero que an subsisten problemas importantes por resolver para que las evaluaciones sean metodolgicamente confiables y tiles. Palabras clave: neoliberalismo, poltica social, Mxico, evaluacin y eficiencia. Abstract This paper analyzes the changes that were introduced into social policies by neoliberalism, and particularly said policies concern for effectiveness. In turn, such concern resulted in a heightened interest in reviewing social programs in hopes of securing the best performance possible in terms of cost-benefit. The paper also looks at the assessments that were carried out during the years 20022003 to review the management of social development programs. A conclusion was reached that significant improvements have been achieved on the matter, yet significant problems remain to be solved in order for the assessments to be methodologically reliable as well as useful. Keywords: neoliberalism, social policy, Mexico, assessment and effectiveness.
Recepcin del original: 26/01/05. Recepcin del artculo corregido: 29/08/05.

* Universidad Autnoma Metropolitana, Unidad Xochimilco, Mxico. Direccin electrnica: myriamcardozo@hotmail.com

170

Myriam Irma Cardozo Brum

l neoliberalismo introdujo modificaciones sustantivas en las polticas sociales, en particular una preocupacin por la eficiencia en la aplicacin de recursos que se traduce en un marcado inters por evaluar los programas sociales. Mxico dispone a la fecha de los informes correspondientes a las evaluaciones realizadas en los cuatro ltimos aos, de los cuales se analizan aqu los finalizados en 2003 y varios de los presentados en 2004 a la Secretara de Desarrollo Social,1 destacando sus aciertos y tambin sus omisiones y problemas tcnico-metodolgicos, algunos directamente ligados al enfoque de evaluacin impulsado. Ms all del grado de xito alcanzado por los programas, queda pendiente la discusin sobre la necesidad de crear un entorno econmico favorable a la creacin de empleos y la generacin de ingresos suficientes para la poblacin de los estratos ms bajos, pues resulta insostenible mantener permanentemente a la poblacin en pobreza extrema mediante este tipo de programas.
NEOLIBERALISMO Y TRANSFORMACIN DE LAS POLTICAS SOCIALES

INTRODUCCIN

Las polticas sociales tienen por objetivo explcito mejorar las condiciones de vida de la poblacin. Durante la vigencia del Estado de bienestar, modelo impulsado fundamentalmente en los pases desarrollados despus de la Segunda Guerra Mundial y replicado parcialmente en Amrica Latina, se trataron de resolver los ms diversos problemas del conjunto de la sociedad: desempleo, subempleo, bajos salarios, analfabetismo o escasa escolaridad, insuficiente capacitacin para el trabajo, hacinamiento en viviendas, carencia de servicios bsicos como agua potable, drenaje y energa elctrica, enfermedades y muertes evitables, inseguridad ciudadana, etctera. Esto implic la superacin de la situacin de igualdad formal de los ciudadanos ante la ley para transformarla en una igualdad real, en trminos de las condiciones sustantivas de vida y mayor cohesin social. Para eso, el Estado ampli su campo de accin y cre
1 Es importante resaltar la existencia de otras dependencias de la Administracin Pblica Federal que tambin coordinan programas sociales como las secretaras de Educacin Pblica, de Salud o de Agricultura, Ganadera, Desarrollo Rural, Pesca y Alimentacin. Sin embargo, slo la Secretara de Desarrollo Social ser objeto del estudio realizado en el presente artculo.

Poltica y Cultura, otoo 2005, nm. 24, pp. 169-186

Neoliberalismo y eficiencia de los programas sociales en Mxico

171

nuevas instituciones, transformando la accin gubernamental en el eje del modelo.2 De esta forma, las polticas sociales constituan mecanismos de redistribucin de recursos que trataban de compensar las desigualdades sociales guiadas por el criterio de equidad, al margen de los mecanismos de mercado, ofertando bienes y servicios en materia de salud, educacin, vivienda, alimentacin, transporte, etctera, disponibles en forma gratuita o a precios subsidiados, que permitan un acceso universal (al menos en el discurso) a todos los integrantes de la sociedad que lo requirieran. El Estado de bienestar asumi tambin entre sus funciones la ampliacin de los derechos sociales. stos permitieron la realizacin de importantes avances en la seguridad social: pensiones de retiro, seguros contra accidentes, enfermedades y discapacidades vinculadas al trabajo, proteccin contra el desempleo y atencin a la salud. En el periodo 1970-1980 se produjo la crisis fiscal del Estado, evidenciando la insuficiencia de los ingresos para solventar los gastos sociales y la contradiccin entre los procesos de acumulacin y legitimacin. Se identific como su causa una excesiva intervencin del gobierno en la economa y, como solucin al problema, las reformas de primera generacin o ajuste estructural,3 centradas en la reduccin del tamao del Estado en beneficio de la actividad privada y el mecanismo de mercado, propias de la denominada estrategia neoliberal. Los Estados de Amrica Latina priorizaron el objetivo de eficiencia, el establecimiento de prioridades claras, la reduccin de costos administrativos y el incremento de la productividad de la inversin, entre otros. 4 En la dcada de 1990, los procesos de globalizacin y liberalizacin de mercados no contribuyeron a disminuir la pobreza y la desigualdad, como planteaba su discurso. Amrica Latina sufri el surgimiento de nuevas disparidades e incertidumbres que se combinaron con cambios demogrficos, por lo que los Estados aplicaron reformas de segunda generacin.5 La bsqueda de mecanismos innovadores y ms eficientes que
2 Myriam Cardozo Brum, Las empresas y su responsabilidad en el campo social, Economa, Sociedad y Territorio , vol. IV, nm. 13, enero-junio, El Colegio Mexiquense, 2003. 3 Myriam Cardozo Brum, Actitud de las empresas frente a las condiciones de vida de la sociedad. Anlisis del caso mexicano, Revista Ciencias de Gobierno, ao 6, nm. 12, Venezuela, julio a diciembre de 2002. 4 Sara Gordon Rapoport, Pobreza y programas de poltica social en Mxico, Revista de Trabajo Social, nm. 23, Mxico, Escuela Nacional de Trabajo Social-UNAM, 1999. 5 Myriam Cardozo Brum, Evaluacin de polticas de desarrollo social, Poltica y Cultura, nm. 20, otoo, Mxico, UAM-X, 2003.

Poltica y Cultura, otoo 2005, nm. 24, pp. 169-186

172

Myriam Irma Cardozo Brum

haba conducido al abandono del universalismo propio de la poltica social del Estado de bienestar, oblig a los gobiernos a replantearse la necesidad de su intervencin, ahora limitada a la focalizacin (en el mbito de los territorios, grupos e individuos) de quienes han quedado al margen del mercado (pobreza extrema) para ofrecerles oportunidades en materia de educacin, salud, vivienda, etctera. La intencin eficientista de hacer ms con menos ha provocado tambin un marcado inters por la evaluacin de los programas que reciben recursos fiscales con el objetivo de seleccionar los ms eficientes y eliminar los improductivos. A pesar de la importancia de los mecanismos de descentralizacin, externalizacin y focalizacin implantados, Cohen manifiesta que no existe claridad sobre los beneficios de su aplicacin.6 Su hiptesis es que esto se debe al traslado acrtico de estrategias de intervencin que han sido exitosas en pases europeos industrializados que intentan avanzar en formas de organizacin y gestin posburocrticas, cuando Amrica Latina an est permeada por todos los vicios preburocrticos y no existen condiciones que permitan recrear y regular los escenarios de mercado para el buen funcionamiento de la externalizacin. El Banco Mundial tambin reconoce la falta de informacin sobre el impacto causado por los programas sociales en los pases en desarrollo. 7 La ideologa neoliberal aplicada por Reagan en Estados Unidos y por Thatcher en el Reino Unido, comenz a inspirar las reformas mexicanas durante el gobierno de Miguel de la Madrid y se agudiz en el periodo salinista. Se trataba de lograr de inmediato la firma del Tratado de Libre Comercio, controlar la inflacin alcanzada en el sexenio previo e imponer la disciplina fiscal; al mismo tiempo que, en el largo plazo, se buscaba que la gran burguesa, que el estatismo mantuvo por tanto tiempo dependiente y dbil, se convirtiera en la clase estratgica, aunque se volviera una burguesa trasnacional. 8 Con el rtulo de liberalismo so6 Ernesto Cohen, Reforma del Estado, modernizacin administrativa y evaluacin del desempeo de la gestin, Los desafos de la reforma del Estado en los programas sociales: tres estudios de caso, Chile, CEPAL (Serie Polticas Sociales, nm. 45), 2001. Con base en un trabajo realizado en la Comisin Econmica para Amrica Latina (CEPAL), en 1998, el autor plantea que los beneficios reales en trminos de impacto y eficiencia derivados de la introduccin de las dos primeras estrategias citadas en cinco programas sociales de la regin latinoamericana, seran marginales o incluso nulos, cuando no se implementan correctamente. 7 Banco Mundial, La pobreza en Mxico: una evaluacin de las condiciones, las tendencias y la estrategia del gobierno, Mxico, Banco Mundial, 2004. 8 Lorenzo Meyer, Liberalismo autoritario. Las contradicciones del sistema poltico mexicano, Mxico, Ocano, 1995.

Poltica y Cultura, otoo 2005, nm. 24, pp. 169-186

Neoliberalismo y eficiencia de los programas sociales en Mxico

173

cial y ante la pobreza y desigualdad crecientes, tuvo que ser acompaada del Programa Nacional de Solidaridad (Pronasol). Los procesos de evaluacin de los programas sociales, si bien existen antecedentes aislados, comenzaron en forma sistemtica en 1997 con su aplicacin al Programa de Educacin, Salud y Alimentacin (Progresa) y fueron generalizados a todos los programas gubernamentales desde 2001. Considerando que los programas sociales se caracterizan por requerir del mediano y el largo plazos para alcanzar sus objetivos redistributivos, por ser afectados por mltiples variables contextuales, una gran variedad de actores participantes con intereses en conflicto y una fuerte atribucin de importancia a la participacin social, a la transparencia y la responsabilidad de la gestin, al menos en el discurso, 9 su especificidad debe tenerse en cuenta en su evaluacin. A continuacin se revisa la forma en que dicha evaluacin se ha llevado a cabo en el caso de los programas mexicanos de lucha contra la pobreza.
ANLISIS DE LAS EVALUACIONES DE PROGRAMAS SOCIALES10

En este apartado central del artculo se procede al anlisis del contenido del conjunto de informes de evaluacin de los 31 programas sociales que la Secretara de Desarrollo Social (Sedesol) tuvo a su cargo durante el 2002 y fueron evaluados en el 2003, 11 as como algunas modificaciones identificadas en las evaluaciones realizadas en el siguiente ao. Se empieza analizando las fuentes de informacin y las tcnicas de tratamiento de datos empleadas para luego revisar los aspectos incluidos y excluidos en los informes. Los Trminos de Referencia sealan, en forma general, los mtodos de recoleccin y tratamiento de datos que en todos los casos revisados incluyen trabajo de gabinete, con base en la informacin secundaria disponible y trabajo emprico, debiendo emplear anlisis costo-beneficio, costo-eficacia, etctera. Casi la totalidad de las 31 evaluaciones revisadas incluyeron, entre sus fuentes de informacin, documentos y bases de
Myriam Cardozo Brum, Gerencia pblica y participacin social, Acta Sociolgica, nms. 28-29, enero-agosto, Mxico, Facultad de Ciencias Polticas y Sociales- UNAM, 2000. 10 En este apartado se sintetizan los resultados presentados en Myriam Cardozo Brum, La evaluacin de polticas y programas sociales en Mxico. 1998-2004, tesis para obtener el grado de doctora en Ciencias Polticas y Sociales-UNAM, 2005. 11 Sedesol (2003), Informes de evaluacin de programas sociales, disco compacto entregado por el Instituto Federal de Acceso a la Informacin Pblica ( IFAI).
9

Poltica y Cultura, otoo 2005, nm. 24, pp. 169-186

174

Myriam Irma Cardozo Brum

datos estadsticos, y aplicaron encuestas y entrevistas, con pleno cumplimiento de los lineamientos normativos revisados. Respecto de la informacin secundaria entregada por las autoridades de los programas, casi la mitad de los evaluadores manifiestan diversos problemas: insuficiencia, poca confiabilidad, mala calidad y falta de oportunidad. En el caso de las entrevistas, stas se dirigen a informantes-clave (funcionarios y, en menor medida, miembros de las comunidades de los beneficiarios), mediante una seleccin dirigida especialmente a quienes disponen de informacin privilegiada. Por el contrario, en el caso de las encuestas con pretensiones de representatividad (como sucede en la mayora de la evaluaciones), stas requieren de la correcta determinacin del tamao muestral y la composicin de la misma, de manera que todos los individuos tengan igual probabilidad de ser seleccionados mediante la aplicacin sistemtica de algn mtodo de muestreo (aleatorio simple, aleatorio estratificado, por conglomerados, etctera). Cabe sealar que, si bien en determinadas condiciones no se toma en cuenta el tamao del universo de estudio para la determinacin del correspondiente a la muestra, el listado del mismo facilita la composicin aleatoria de sta. Sin embargo, dicha informacin no se encuentra disponible en la mayora de los casos. Esta situacin se agrava debido a la ausencia casi total de exposicin del mtodo empleado en su determinacin. Slo siete de los programas analizados disponen de la cuantificacin de su poblacin objetivo, misma que, en varios casos, coincide aproximadamente con la estimacin realizada por Sedesol de 19 225 833 habitantes en las 263 regiones prioritarias definidas, lo que muestra que no ha sido calculada especficamente para el programa en cuestin. En la tercera parte de las evaluaciones no se presenta informacin completa sobre el tamao muestral y slo en dos es posible conocer el porcentaje de beneficiarios que fue encuestado y as contar con una idea aproximada de su rango de representatividad, el cual resulta sumamente bajo, variando entre dos y seis encuestados por cada 100 000 personas. Concluyendo sobre este aspecto, puede afirmarse que el fundamento metodolgico de lo que se reporta en los informes, sobre la base de la aplicacin de encuestas, resulta de una debilidad muy grande. En cuanto al tratamiento de la informacin, prcticamente todos los programas combinan el anlisis cuantitativo y el cualitativo, por lo que slo pueden plantearse diferencias de nfasis. nicamente se incluyen tres informes donde el trabajo es fuertemente descriptivo, pero se limita a ordenar los datos en cuadros y grficas, en lugar de ser analtico. Son tambin muy pocos los que intentan aplicar algunos mtodos especficos,
Poltica y Cultura, otoo 2005, nm. 24, pp. 169-186

Neoliberalismo y eficiencia de los programas sociales en Mxico

175

los que en varios casos no resultan claros o definitivamente presentan problemas en la seleccin de la informacin utilizada en el clculo. En resumen, se evidencia un nfasis en la aplicacin de entrevistas y encuestas de representatividad pocas veces fundamentada, que se complementa con un tratamiento medianamente aceptable de los datos recogidos.12 Los Trminos de Referencia de 2002 solicitaron la inclusin del anlisis de: 1) los costos y gastos de operacin y el cumplimiento de metas financieras, 2) el apego a la normatividad del programa, 3) el anlisis global y desglosado de la cobertura y su variacin respecto del ao anterior, 4) el cumplimiento de las metas fsicas, 5) la determinacin de beneficios econmicos y sociales provocados por el programa, 6) la satisfaccin de los beneficiarios, 7) los escenarios prospectivos, y 8) la opinin sobre la permanencia o finalizacin del programa, conclusiones y recomendaciones. Estos ocho aspectos fueron cubiertos en distintos grados por los 31 informes de evaluacin. En cambio no solicitaron el estudio de: 1) la pertinencia y el diseo del programa, 2) la disposicin de recursos no financieros, 3) los procesos de gestin operativa, 4) los resultados no vinculados a la programacin de metas, 5) el impacto logrado por el programa en la solucin del problema que le dio origen, 6) la participacin social, 7) el seguimiento de las recomendaciones de evaluaciones previas, y 8) la emisin de un juicio valorativo sistemticamente fundamentado sobre la gestin del programa y sus logros.13 A continuacin se revisan detalladamente todos los aspectos que deberan formar parte del contenido del informe de evaluacin, incluyendo tanto los solicitados como los no solicitados por los Trminos de Referencia. Los mismos se analizan siguiendo una secuencia lgica de inclusin en dicho informe. Pertinencia y diseo del programa Los Trminos de Referencia no solicitaban el anlisis de los elementos de este apartado, con lo cual estaran suponiendo que los programas estn bien diseados, por lo que slo vala la pena evaluar sus resultados e impactos. Dada la crtica situacin socioeconmica de casi 20 mi12 Myriam Cardozo Brum, Procesos de evaluacin y participacin social en el marco de la gerencia pblica necesaria para Amrica Latina, Revista Venezolana de Gerencia, ao 10, nm. 29, enero-marzo, Venezuela, Universidad del Zulia, 2005. 13 Ibidem.

Poltica y Cultura, otoo 2005, nm. 24, pp. 169-186

176

Myriam Irma Cardozo Brum

llones de pobres extremos y otros 30 millones de pobres moderados, es de esperar que cualquier programa dirigido a esta poblacin tendr algn grado de pertinencia; sin embargo, en los informes de evaluacin se encuentran pocas referencias especficas al respecto. En relacin con las necesidades comprobadas que justifican la existencia del programa, se analiza el tamao de la poblacin afectada y la magnitud de los problemas que la aquejan nicamente en 14 casos. Slo seis informes describen las caractersticas de la poblacin beneficiada y nueve analizan la congruencia del programa con el Plan Nacional de Desarrollo (PND) (2001) y el Programa Nacional de Desarrollo Social (2001). Correspondera luego analizar si el programa incluye un buen diseo de objetivos, pero, por lo general, los informes se limitan a enunciarlos. A veces, su definicin resulta tan general e indiscutible como contribuir al logro de mejores condiciones de vida para los beneficiarios o aumentar las oportunidades de empleo e ingreso, por lo que, probablemente, los evaluadores no consideran relevante su anlisis. En estos casos resultara conveniente avanzar hacia el estudio de objetivos ms operativos. Luego sera necesario analizar la congruencia entre las estrategias aplicadas y los objetivos previos, y finalmente, sera relevante verificar si el diseo de las Reglas de Operacin respeta la filosofa, los objetivos y las estrategias del programa. En resumen, hay referencias concretas a esta parte del diseo del programa en slo siete informes. Adems, el anlisis de coherencia entre objetivos y necesidades se ve limitado por la insuficiente identificacin de las ltimas. En cuanto a la congruencia entre las estrategias aplicadas y los objetivos previos, nuevamente slo la mitad de los informes la consideran explcitamente. En conclusin, se hace muy poca evaluacin del diseo de los programas,14 salvo en el aspecto de su focalizacin, que si bien slo es solicitado explcitamente por el programa de Abasto Social de Leche, constituye la principal estrategia aplicada a los programas de superacin de la pobreza. En torno a la citada focalizacin, son los mecanismos de identificacin y recertificacin de beneficiarios los que ms se revisan (15 informes), aunque a menudo, ms que analizar su diseo, se verifica su cumplimiento. En 13 casos se describen las caractersticas de la poblacin atendida para verificar sus mrgenes de pobreza; sin embargo, esto no resulta suficiente porque tampoco garantiza que los atendidos sean los ms pobres o que toda la poblacin objetivo tenga la asistencia nece14

2003.

Dicho diseo comenz a ser solicitado por los Trminos de Referencia a partir de

Poltica y Cultura, otoo 2005, nm. 24, pp. 169-186

Neoliberalismo y eficiencia de los programas sociales en Mxico

177

saria. Algo muy similar sucede con los casos en que slo se verifica la pertenencia a zonas de alta y muy alta marginacin. En una tercera parte de los informes se intenta, con mayor o menor precisin, calcular el ndice de focalizacin y los errores de inclusin y exclusin. Recursos utilizados por el programa Los costos y gastos de operacin y el cumplimiento de metas financieras son solicitados en los Trminos de Referencia, por lo que en todos los informes de evaluacin se encuentra alguna referencia total o parcial al tema. Un anlisis completo del punto debera hacer alusin al gasto total programado y al ejercido, su evolucin en los ltimos aos y su distribucin por tipo de apoyo, estados, etctera, as como su monto promedio por beneficiario y poblacin objetivo. Sin embargo, no todos estos elementos se solicitan, por lo que muchos informes incluyen informacin parcial al respecto. En menor grado que los insumos financieros, pero de importancia relevante para el funcionamiento del programa, es el resto de los recursos disponibles, que tampoco es solicitado a los evaluadores y se incluye en pocos casos. Se hace referencia a los tradicionales recursos humanos y materiales, as como los menos tradicionales, vinculados a la informacin y la capacidad gerencial. Anlisis de procesos Los Trminos de Referencia tampoco mencionan explcitamente este anlisis, por lo que los procesos desarrollados quedan ocultos en una caja negra cuya revisin no parece interesar en aspectos como la productividad, calidad y eficiencia con que los insumos son transformados en productos o servicios. A pesar de su limitada solicitud, todos los evaluadores incluyen referencias a los mismos. En su revisin detallada destacan las referencias a los procesos de difusin y promocin del programa y sus convocatorias; recepcin de recursos, marcada por una fuerte insistencia en sus retrasos (12 casos); requisitos y formalidades del proceso de solicitud y dictamen; seleccin y recertificacin de proyectos y beneficiarios, altas y bajas de los padrones; control y generacin de informacin institucional, as como coordinacin con otras instancias. Ms all del nmero limitado y diverso de procesos que se analizan en cada evaluacin, puede considerarse que se realiza una revisin acepPoltica y Cultura, otoo 2005, nm. 24, pp. 169-186

178

Myriam Irma Cardozo Brum

table, incluyendo la discusin de los principales problemas identificados. Este anlisis podra homogeneizarse, para facilitar comparaciones, mediante un guin de aspectos a considerar, sin perder de vista las particularidades de cada programa evaluado. Aunque con amplitud muy diversa, cumplen en revisar el apego de los procesos a las Reglas de Operacin que regulan los programas y su transparencia, si bien existe mucha dificultad para su verificacin, lo que slo puede hacerse en funcin de las percepciones de la muestra seleccionada o mediante el estudio de expedientes. Con base en los ltimos, es posible revisar aleatoriamente los resultados de dichos procesos, pero no los procesos mismos en que se tomaron las decisiones. En muchos casos, la informacin disponible es insuficiente y, prcticamente, se requerira haber actuado como observador en los procesos para poder fundamentar plenamente un juicio al respecto. Resulta ms factible la verificacin de los requisitos de elegibilidad exigidos entre los beneficiarios encuestados. Medicin de cobertura El anlisis de la cobertura, su variacin respecto del ao anterior y su desglose por tipo de apoyo otorgado, por entidad federativa y por ncleo de poblacin o tipo de empresa, son solicitados por los Trminos de Referencia. Se trata de una expectativa bastante ambiciosa, que requiere disponer de buenas fuentes de informacin institucional, ya que el evaluador slo puede verificar la cobertura en los lugares seleccionados para la realizacin de trabajo de campo. Si el dato no existe, el evaluador no puede obtenerlo porque ste requiere de un trabajo censal. En casi todas las evaluaciones se incluye la cantidad de poblacin atendida como clculo de la cobertura, aun cuando lo ms importante es su porcentaje, que relaciona la poblacin anterior con la poblacin objetivo total, siempre y cuando la primera forme parte de la ltima, ya que se dan casos en que se atiende a personas con caractersticas diferentes a las definidas por el programa. Como ya vimos, es muy comn que el dato relativo al tamao de poblacin objetivo no est disponible, lo que impide contar con informacin suficiente para valorar el esfuerzo que an resta por hacer. En resumen, 27 de las 31 evaluaciones hacen alguna medicin de cobertura. Resultan muy pocos los casos (5) en que se calcula el porcentaje de cobertura, que es realmente el dato til; la razn puede estar en que los Trminos de Referencia no especifican el tipo de medicin de
Poltica y Cultura, otoo 2005, nm. 24, pp. 169-186

Neoliberalismo y eficiencia de los programas sociales en Mxico

179

cobertura esperado. En los 15 casos en que se revisa la poblacin atendida, existe la posibilidad de que sta coincida slo parcialmente con la poblacin objetivo, lo que slo una de las evaluaciones revisa. La distribucin y la evolucin de la cobertura tambin son muy poco consideradas (8 y 5 casos respectivamente). De esta forma, puede afirmarse que el rango de cumplimiento de los informes en relacin con lo solicitado es bastante bajo, lo que, en algunos casos, es responsabilidad del evaluador, pero en muchos se debe a la insuficiente informacin institucional. Resultados alcanzados Los Trminos de Referencia solicitan el resultado de la evaluacin en campo del cumplimiento de las metas fsicas; sin embargo, el diseo de stas resulta tan limitado y parcial que todos los informes incluyen otros elementos adicionales. El anlisis de los informes de evaluacin muestra en este apartado: Una descripcin del nmero de servicios brindados, en casi todos los casos (28); un anlisis de la eficacia alcanzada en el logro de objetivos, en una amplia mayora de los programas evaluados (24); se estudia la distribucin de las acciones realizadas por regiones o estados en pocos casos (8); se analiza la evolucin del nmero de acciones realizadas (7 casos), y se resalta el anlisis de la equidad de gnero (6 evaluaciones).

En general, hay un tratamiento suficiente de los servicios brindados y el cumplimiento de metas, con pocas excepciones. Son muy pocos los que profundizan en el anlisis de su evolucin y distribucin. Un buen nmero de casos (9) analiza crticamente tanto la informacin que se solicita como los indicadores propuestos para su sistematizacin. Excepcionalmente se perciben confusiones conceptuales como la presentacin de resultados bajo el ttulo de impactos, o errores en la manera de calcular la eficacia y el costo-efectividad. Impactos provocados En trminos de impactos, los Trminos de Referencia solicitan analizar los beneficios econmicos y sociales que resultan de la aplicacin de los
Poltica y Cultura, otoo 2005, nm. 24, pp. 169-186

180

Myriam Irma Cardozo Brum

recursos asignados a cada programa; no se refieren al anlisis del efecto logrado en la solucin del problema encarado por el programa, que corresponde estrictamente al impacto. Tambin requieren el costo-beneficio de los recursos asignados al programa, en funcin de los costos y gastos unitarios en que se incurre para operar el programa. La descripcin de los beneficios econmicos y sociales se cubre, con diferente grado de detalle, en casi todos los programas, si bien algunas evaluaciones los confunden con los resultados (nmero de acciones, proyectos, becas, etctera). Pero lo que provoca dificultades es el intento por identificar y medir realmente los impactos, y el anlisis costobeneficio que algunos intentan sin realizar una aplicacin correcta del mtodo. En conclusin, se cuenta con un esfuerzo muy variado por realizar algo ms que una mera descripcin de beneficios econmicos y sociales, que las dos terceras partes de las evaluaciones intentan mediante mediciones de impacto, con distinto grado de objetividad. 15 Sin embargo, en este trabajo no se considera realista pretender su medicin anual. Participacin y satisfaccin social La participacin social y ciudadana es una de las estrategias privilegiadas por el PND; no obstante, los Trminos de Referencia slo la solicitan expresamente en dos de los programas evaluados. A pesar de esto, casi la mitad de los informes mencionan la ausencia de participacin o los bajos ndices alcanzados por la misma: En la gestin de los programas hay referencias a aportaciones de dinero o trabajo, pero stas son mnimas en lo que atae a la participacin en la toma de decisiones. En casi todos los programas se cuenta con una limitada participacin de los beneficiarios, y en algunos casos de otros actores sociales, pero slo en calidad de informantes, mediante la respuesta a encuestas y entrevistas.
15

De manera independiente a la realizacin de las evaluaciones externas, la Sedesol realiza estimaciones de la evolucin de la pobreza por medio del Comit Tcnico para la Medicin de la Pobreza; sin embargo, tampoco sta es una medicin de impacto de programa alguno, ya que las modificaciones reportadas pueden ser explicadas en funcin de un conjunto de factores: la reducida inflacin, las remesas del exterior, las transferencias de varios programas sociales entre los que destaca Oportunidades, etctera.
Poltica y Cultura, otoo 2005, nm. 24, pp. 169-186

Neoliberalismo y eficiencia de los programas sociales en Mxico

181

No hay ninguna referencia en el anlisis a la participacin social y ciudadana, ni una valoracin de los procesos, resultados e impactos de los programas.

La situacin anterior fue confirmada por los diversos actores entrevistados.16 Ante esta falta de participacin de los beneficiarios en la toma de decisiones y los procedimientos de evaluacin, surgi la inquietud de investigar si alguna organizacin de la sociedad civil (tambin promovida en el discurso de los planes y programas gubernamentales) participaba en los procesos de evaluacin gubernamental. Ninguna de las 15 organizaciones y consultoras especializadas en ellas que fueron entrevistadas haba tenido relacin alguna con los procesos de evaluacin anual externa de los programas gubernamentales en estudio. Slo se localizaron dos: una que haba sido contratada para realizar otro tipo de evaluacin a un programa gubernamental, y otra que realiz una evaluacin independiente al Progresa, dentro de la campaa El Banco Mundial en la Mira de las Mujeres. En conclusin, puede afirmarse que la participacin de los beneficiarios y las organizaciones de la sociedad civil es mnima en el contexto de la gestin y evaluacin de programas sociales.17 Escenarios prospectivos El requerimiento de su presentacin es recogido en diversos Trminos de Referencia; sin embargo, son muy pocas las evaluaciones que los intentan: Cuatro evaluaciones incluyen el diseo de un escenario tendencial y otro alternativo; tres informes organizan otros tipos de escenarios; cuatro presentan tendencias o previsiones mnimas, sin construir escenarios, y tres presentan argumentaciones, no muy convincentes, de por qu no se incluyeron.

Dichas entrevistas fueron aplicadas al Director de Metodologa de Evaluacin de la Sedesol, evaluadores, miembros de la SHCP y SFP y del Poder Legislativo. 17 Myriam Cardozo Brum, ibidem.
16

Poltica y Cultura, otoo 2005, nm. 24, pp. 169-186

182

Myriam Irma Cardozo Brum

Como puede percibirse, ste constituye el aspecto menos cubierto de todos los solicitados y hace suponer que, o bien los evaluadores no tuvieron tiempo suficiente para realizarlo, ya que es el ltimo paso del proceso solicitado, o bien hay muy poca expertise desarrollada en el tema. Seguimiento de recomendaciones Este aspecto no solicitado permitira dar continuidad a los trabajos realizados, as como detectar la utilidad prctica de las recomendaciones efectuadas. Se aclara que siete de los programas revisados comenzaron a funcionar en 2002, y otros dos dan la impresin de no haber sido evaluados previamente, aunque esto no se menciona. En consecuencia, en estos casos, el punto carece de sentido. De los 22 programas restantes, su cumplimiento se verifica slo en 12 informes. Esto deja 10 programas que, a pesar de tener antecedentes de evaluacin previa, no refieren si sus resultados se han utilizado, presentndose como un esfuerzo aislado. Valoracin global del programa Toda evaluacin supone, para ser considerada como tal, la elaboracin final de un juicio valorativo, sistemticamente fundamentado, sobre la gestin del programa y sus logros. Los Trminos de Referencia solicitan al respecto: opinin sobre la permanencia o conclusin del programa, conclusiones y recomendaciones. Once trabajos cumplen plenamente con este juicio valorativo explcito y lo acompaan de recomendaciones para su continuacin, y 17 casos se limitan a realizar recomendaciones que, implcita o explcitamente, suponen la continuidad del programa. En los dos restantes no se incluye juicio valorativo ni recomendaciones. En conclusin, siendo rigurosos, slo la tercera parte de los trabajos cumplen con este requisito indispensable para ser consideradas verdaderas evaluaciones y existen tres casos absolutamente insuficientes en materia de conclusiones. Algunos cambios identificados en las nuevas evaluaciones realizadas Salvo los casos de Oportunidades Productivas, Atencin a Jornaleros Agrcolas e Iniciativa Ciudadana 3 1, que presentaron importantes incrementos de costos probablemente debidos a que se integraron con
Poltica y Cultura, otoo 2005, nm. 24, pp. 169-186

Neoliberalismo y eficiencia de los programas sociales en Mxico

183

algunos de los 14 programas desaparecidos en 2003, ninguna de las evaluaciones de las que se dispone de informacin en 2002 y 2003 increment sus costos en la forma en que lo hizo Oportunidades, incluso algunas los disminuyeron (vase cuadro). Los incrementos alcanzados por Abasto Social de Leche y por Abasto Rural se justifican adems por la aplicacin de tcnicas adicionales de recoleccin de informacin (nuevos grupos focales, etctera). En consecuencia, mientras la gran mayora de las evaluaciones nacionales (debido a sus limitados recursos) emplean slo tcnicas de encuesta aplicadas a una muestra de beneficiarios con mnima representatividad, entrevistas a funcionarios, observacin directa y clculo de algunos indicadores socioeconmicos, Progresa-Oportunidades ha contado con recursos suficientes para ser evaluado mediante un diseo experimental. No obstante, su definicin de escuelas, centros de salud y municipios incorporados al programa requiere de una urgente reconceptualizacin para que sus resultados sean crebles.18 Adems, es imprescindible que la evaluacin cualitativa que estos programas han empleado en forma complementaria sea integrada por Oportunidades al anlisis efectuado por temas (salud, educacin, etc.), en lugar de mantenerla por separado. Si los pequeos programas no justifican que se cuente con recursos suficientes (financieros, de informacin, etctera) para alcanzar el modelo ideal de Sedesol (experimentacin), resulta imprescindible que su normatividad especifique requerimientos diferentes y viables.19 Eso no significa que la evaluacin se haga mal, sino que sea menos ambiciosa en sus pretensiones. Sin pretender que los tres informes entregados en 2004 que fueron revisados20 sean representativos de todas las evaluaciones realizadas, stos muestran una peligrosa tendencia a la disminucin de la calidad del trabajo efectuado.
18 Se recuerda que basta con que una escuela cuente con un nio becado para que se considere integrada al programa; basta con que un municipio cuente con una localidad apoyada para que suceda otro tanto, etc. (vase informes de evaluacin 2002 y 2003). 19 En el caso de los pases en desarrollo, la OCDE (1995) considera que el trabajo debe focalizarse hacia la seleccin de indicadores-clave en lugar de intentar una excesiva cobertura de los aspectos del programa, sin tener claridad sobre sus interrelaciones y posibilidades de uso. 20 Dichos casos fueron: Oportunidades, Microrregiones y Desarrollo de las Culturas Indgenas. Fueron seleccionados tratando de considerar situaciones diferentes con base en aspectos como: monto de su presupuesto ejercido, cobertura poblacional del programa, administracin directa o sectorizada, recursos empleados por su evaluacin, nmero de organizaciones que lo han evaluado, tcnicas de evaluacin empleadas, calidad de su trabajo, etctera.

Poltica y Cultura, otoo 2005, nm. 24, pp. 169-186

Myriam Irma Cardozo Brum 184 Evolucin de los costos de las evaluaciones de programas 2002-2003

Programas

Costo de la evaluacin 2002 (miles de pesos) 28 881.89 1 150.00 498.00 2 080.00 1 132.81 150.00 i 221.00 700.00 ii 655.30 568.40 970.01 848.58 2 001.10 2 926.38 Sagarpa 576.26 800.00 725.00 44 884.73
SCT

Costo de la evaluacin 2003 (miles de pesos) 46 265.18 1 483.85iii 518.71 2 503.96iv 670.00 919.43 v

Porcentaje de incremento de costos 60.19 28.96 4.16 20.33 -40.86 -14.14 vii

1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14.

Derechos humanos Oportunidades Abasto social de leche Programa tortilla Abasto rural Compras, crditos, concursos y asistencia tcnica Coinversin social Investigacin des. loc. Capacitacin fortalecimiento de la sociedad civil Fortalecimiento institucional gestin social municipal Identidad jurdica Regiones por zonas de alta marginacin e indgena Microrregiones Atencin jornaleros agrcolas Empleo temporal (incluye emergencias)

1 580.00vi

-28.68viii

1 495.00 1 827.70 979.76 Sagarpa 967.50 862.50 1 538.24 61 611.83

SCT

76.17 -43.03ix

15. Iniciativa ciudadana 16. Jvenes por Mxico 17. Oportunidades productivas
TOTALES

67.89 7.81 112.17 37.27

Fuente: elaboracin propia a partir de informacin aportada por el IFAI. Notas: i Si bien la cifra que se nos entreg oficialmente es la que se consigna, tanto la responsable de la evaluacin como la funcionaria del programa, ambas entrevistadas, manifestaron que el costo fue muy diferente ($600 000.00), monto que se considera ms confiable. ii Incluye el costo de los programas 8 y 9. iii Se consigna la cifra aportada por el programa; la de Sedesol fue de $1 300 000.00. iv Idem anterior; Sedesol report $2 262 000.00. v Incluye el costo de los programas 6 a 9. vi Incluye el costo de los programas 10 a 12. vii Para calcular este porcentaje se sumaron los costos de la evaluacin de los programas 6 a 9 en 2002. viii Para calcular este porcentaje se sumaron los costos de la evaluacin de los programas 10 a 12 en 2002. ix Este porcentaje se obtuvo a partir de la suma del costo de la evaluacin segn la SCT y la Sagarpa en 2002 y 2003.
Poltica y Cultura, otoo 2005, nm. 24, pp. 169-186

Neoliberalismo y eficiencia de los programas sociales en Mxico

185

En relacin con el impacto de las evaluaciones en el rediseo de programas, la Direccin General de Evaluacin de la Sedesol menciona un avance importante: en coordinacin con la SFP se ha comenzado a exigir a los responsables de los programas que planeen cmo implementar las sugerencias recibidas de los evaluadores o justifiquen por escrito las razones de su imposibilidad, y posteriormente, que informen de las acciones realizadas y resultados obtenidos.
REFLEXIONES FINALES

Cabe entonces preguntarse por qu, a medida que los equipos ganan en experiencia, no se est logrando mejorar la calidad. Adems de los recursos financieros disponibles, habra que estudiar, por un lado, el grado de desarrollo del capital humano alcanzado en la materia; en segundo lugar, los mecanismos de seleccin entre las propuestas recibidas en las convocatorias para ver hasta qu punto garantizan la calidad del proyecto ganador; y por ltimo, la generacin de incentivos suficientes por parte del sistema de evaluacin organizado para que dicho equipo emplee al mximo el conocimiento adquirido. En torno al primero, parece indiscutible que se ha realizado un aprendizaje, aunque ste podra no ser tan significativo como sera deseable, ya que: 1) no existen mayores recomendaciones fundamentadas por parte de la Direccin de Evaluacin de la Sedesol, la SHCP , la SFP , la Cmara de Diputados, o reuniones de discusin entre evaluadores y con los beneficiarios, que permitan la retroalimentacin de los procesos, 2) en el interior de los equipos se ha sustituido a investigadores especialistas en el tema y con amplia experiencia, por otros que carecen de algunos de esos dos requisitos o de ambos, 3) los evaluadores externos desconocen los resultados a que llega la Auditora Superior de la Federacin cuando sta audita el desempeo del programa, mismos que podran enriquecer su trabajo, y 4) tampoco se cuenta con programas universitarios que contribuyan a esta formacin de evaluadores. Respecto de los mecanismos de seleccin, existen varios aspectos que podran estar limitando los avances en calidad: 1) la escasa difusin de convocatorias y el empleo de algunos mecanismos de adjudicacin directa que limitan una mayor competencia tcnica entre los equipos disponibles, 2) la obligacin impuesta por la Ley de Adquisiciones de contratar al equipo que, cumpliendo a priori con los requerimientos, ofrezca el precio ms bajo, lo que no permite tomar en consideracin
Poltica y Cultura, otoo 2005, nm. 24, pp. 169-186

186

Myriam Irma Cardozo Brum

expectativas de calidad, y 3) la cuestionada capacidad de las comisiones formadas ad hoc para seleccionar mediante licitacin a los candidatos participantes. Finalmente, en cuanto a los incentivos para no utilizar a fondo el aprendizaje logrado, las razones podran ser tambin diversas: 1) un cierto esclerosamiento de los equipos de trabajo que comienzan a aplicar en forma mecnica los mismos procedimientos a programas diferentes, 2) una tendencia de los mismos a acumular evaluaciones, para realizar economas de escala que se traduzcan en mayor rentabilidad, con el consecuente riesgo de no atenderlas todas en la forma deseable, y 3) la percepcin de que los informes son muy poco utilizados, por lo que esto deja de ser un aliciente para realizar un buen trabajo. Si bien el Banco Mundial considera que Mxico ha sido pionero en la aplicacin de evaluaciones de impacto del Progresa, las que permitieron al gobierno mexicano contar con evidencias de su xito y fomentaron la creacin de programas similares en otros pases de Amrica Latina (Honduras y Nicaragua con diseos experimentales, y Colombia y Brasil con cuasiexperimentos), consideramos que en la actualidad subsiste una diversidad de problemas que no es posible soslayar. Los recursos institucionales (presupuestales y de informacin) presentan limitaciones importantes para el desarrollo de trabajos de calidad y un mercado de evaluaciones an en formacin, contando con una oferta, tambin restringida, de capacidades especializadas en el tema. A esto se agregan imprecisiones y ausencias por parte de la demanda (Bases y Trminos de Referencia). En este contexto, y salvo pocas excepciones, se desarrollan evaluaciones con base en la aplicacin de instrumentos a muestras de representatividad desconocida, se cubren parcialmente los aspectos solicitados y otros de reconocida relevancia para arribar a conclusiones bien fundamentadas, y se emiten pocos juicios explcitos de valoracin del programa analizado. Es importante destacar que el juicio anterior no se dirige exclusivamente a la calidad del trabajo de los evaluadores, sino a la alcanzada por el informe final presentado, misma que depende del conjunto de factores esbozados en el prrafo anterior, algunos de los cuales son de responsabilidad gubernamental. En suma, encontramos que, por el momento, existe poca contribucin de las evaluaciones al incremento de la eficiencia de los programas sociales que preocupan al neoliberalismo, aunada al desinters de este modelo de promover la participacin social y los enfoques cualitativos que permitan realizar de manera exhaustiva el estudio de los problemas.
Poltica y Cultura, otoo 2005, nm. 24, pp. 169-186