Parte 1: Introducción al programa a evaluar. Descripción del programa.

Descripción de la(s) variable(s) de interés: En base a la(s) que se diseñará la

evaluación.

El problema que será analizado consiste en el escaso nivel de acceso a la educación que
poseen los presos argentinos. Según el último informe del Sistema Nacional de Estadísticas sobre
Ejecución de la Pena (Sneep, 2017), publicado por el Ministerio de Justicia y Derechos Humanos
de la Nación, el 48% de los presos de todo el país no participa de ningún programa educativo
dentro de las cárceles. A su vez, dichas cifras arrojan que alrededor del 50% de la población
carcelaria no ha terminado la escuela y el 60% de estos ni siquiera logró completar sus estudios
primarios.

Esta situación dificulta aún más el tiempo que atraviesan los presos en las cárceles, dado
que aquellos que terminan su condena y son liberados se ven imposibilitados de encontrar una
salida laboral debido, no sólo a sus antecedentes penales, sino también a la falta de estudios. Esto
trae como consecuencia que las tasas de reincidencia aumenten (alrededor del 60% de los presos
reinciden según las estadísticas).

En síntesis, en la Argentina la prisión está directamente ligada a dos problemáticas

sociales: la pobreza y el analfabetismo. En ese sentido, puede observarse cómo el sistema
carcelario local denota una crisis profunda signada, entre otras cosas, por la vulneración del
derecho a la educación de las personas presas. Resulta sumamente relevante por ende, para el
conjunto del sistema penitenciario nacional, revertir la situación educativa en las cárceles con el
fin de lograr que los presos puedan concluir sus estudios y así lograr una mejor inserción dentro
de la sociedad una vez terminadas sus condenas.

Por lo tanto, la intervención será a través del ya desarrollado programa UBA XXII,
creado en 1986 a través de un convenio firmado entre el Servicio Penitenciario Federal y la
Universidad de Buenos Aires. Este programa tiene como objetivo brindar educación universitaria
en las cárceles. Su núcleo funciona en el Centro Universitario Devoto (CUD), un anexo de la
UBA en la ex Unidad 2 de Villa Devoto, y a su vez posee presencia en la cárcel federal de
Ezeiza. En el marco del programa, los presos tienen la opción de elegir entre cinco carreras
universitarias: Contador Público, Derecho, Letras, Psicología y Sociología. También existen
talleres y actividades educativas complementarias.

La población objetivo a estudiar son los presidiarios del Establecimiento Penitenciario

de Devoto que participan en programas educativos a nivel universitario como grupo tratamiento
y los presidiarios del Establecimiento Penitenciario de Marcos Paz que no participan en
programas educativos universitarios como grupo control. El objetivo es entender si la
participación al Programa de UBA XXII incide, a largo plazo, en la tasa de reincidencia de los
presidiarios.

Los resultados esperados serían que la tasa de reincidencia de los participantes en el

programa UBA XXII sea menor a la tasa de reincidencia de aquellos presos que no participan de
dicho programa.

Entre los supuestos que nos planteamos se hallan:

● El de la disponibilidad de recursos por parte del Estado Nacional para

llevar a cabo el programa a fin de que la evaluación de impacto pueda ser realizada con la
mayor fidelidad posible
● La motivación por parte del conjunto de presos en estudiar una carrera
universitaria y dedicarle a la misma tiempo y esfuerzo necesario
● Que habrá disponibilidad de profesores para impartir todas las clases
necesarias a cada carrera
● Que las autoridades de los respectivos penales brinden todas las
facilidades para poder desarrollar el programa
● Disponibilidad de recursos materiales para el desarrollo de las clases
● Que existan bases de información actualizadas y confiables acerca del
contexto socio-económico de cada uno de los presos
● Garantizar que todos los presos posean las mismas posibilidades de acceso
a la educación

Por último, respecto a los factores externos creemos que uno importante puede llegar a
ser el del recorte al presupuesto educativo debido a un eventual ajuste en el gasto público
nacional por razones de la macroeconomía argentina. Otro podría ser el crecimiento repentino en
las tasas de detención (potenciado, en general, por el aumento en las desigualdades sociales) lo
que haría que los efectos del programa se “diluyan” de cierta manera.

Las variables de interés son:

● Variable independiente:
○ Tasa de Reincidencia
● Variables dependientes:
○ Nivel de Instrucción antes de ingresar al establecimiento
penitenciario
○ Situación Laboral al ingresar al establecimiento penitenciario
○ Nivel Educativo al ingresar a la cárcel
○ Tipo de delito cometio
○ Participación en UBA XXII
 La elección de estas variables dependientes se deben a la alta causalidad que provocan en
la variable independiente. Se considera que estas variables son importantes al conformar los
grupos tratamientos y control ya que son factores que influyen al momento de cumplir la
condena y reinsertarse en el mercado laboral.

Mayores niveles de participación en el Programa UBA XXII se traducirá en una mejor

postura ante el mercado laboral una vez recuperada la libertad. Al tener mejores oportunidades
en dicho mercado laboral y una consecuente mejor calidad del trabajo, se reducirá
inmediatamente la tasa de reincidencia, al no tener que recurrir a cometer delitos para la
supervivencia cotidiana.

Parte 2: Medición de impacto: descripción de la metodología para una

audiencia no técnica.

El matching es una técnica estadística de coincidencia que intenta explicar el

impacto de un tratamiento, política o intervención entre un grupo tratado (tratamiento) y
un grupo no tratado (control). Este método se basa en características observables para
poder construir un grupo de control y se puede aplicar siempre y cuando exista un grupo
que no haya participado del programa en cuestión. Entre los supuestos que utiliza esta
metodología se hallan los siguientes dos:

● Selección basada en características observables: implica que al controlar

por características observables, no existen diferencias no observadas entre los grupos de
tratamiento y de control. En otras palabras, el resto de las características (tanto
observables como no) están balanceadas entre ambos grupos y no existe ningún otro
factor además del tratamiento que afecte el resultado.
● Soporte común: implica que para todos los sub-grupos con características
observables iguales, existen tanto tratados como no tratados.

De esta forma, si se cumplen los supuestos de identificación previamente

descritos, se puede usar como contrafáctico a aquellas personas que comparten las
características observables.
 Para poder construir el grupo de control, la técnica de matching selecciona, por
cada individuo tratado, un individuo ( o unidad) sin tratamiento con características
similares.

Se elige esta técnica para poder comparar la población presidiaria de Devoto y

de Marcos Paz. En este caso, el grupo de tratamiento sería el de la población presidiaria
de Devoto que participa del programa mientras que el grupo de control vendría a ser el
de los presos del penal de Marcos Paz que no participan del Programa UBA XXII.
Teniendo en cuenta características observables similares como el nivel de instrucción al
ingresar a la cárcel, el nivel educativo, tipo de delito cometido y la situación laboral, se
analizarán ambos grupos con el fin de evaluar el impacto de la participación en el
Programa UBA XXII en la tasa de reincidencia a largo plazo.

Como las variables a analizar son muchas, se puede volver dificultoso encontrar
una pareja para cada una de las personas del grupo de tratamiento. Por esta razón, es que
se utiliza lo que se denomina “Propensity score matching”. Este método ya no se
necesita matchear cada persona del grupo de tratamiento con aquella del grupo de
control en base a las características de observadas. En cambio,en este caso, se tiene en
cuenta la probabilidad o propensión a ser parte del tratamiento.

Se debe, por lo tanto, definir un índice de propensión a participar del programa

basado en características observables. En el caso descrito, se ha utilizado un modelo
probit para calcular dicho índice. Los valores varían entre 0 y 1 y se asignan en base a
las características observadas y su influencia en la probabilidad de participar del
programa.

Posteriormente, se implementó un matching basado en el índice de propensión

estimado. Dado que este método no es realmente un método de asignación aleatoria,
sino que intenta imitarlo, pertenece a la categoría de los métodos cuasi experimentales.

La diferencia de los resultados (Y) entre el grupo de tratamiento y el de control

constituye el impacto estimado del programa.
 Parte 3: Planificación del tamaño muestral

Para determinar el tamaño mínimo de la muestra es necesario llevar adelante cálculos de

potencia. Los mismos, permiten valorar si los datos existentes son suficientes para ejecutar la
evaluación de impacto y así detectar diferencias significativas en los resultados entre los grupos
de tratamiento y control. Es decir, que las evaluaciones tienen mucha potencia si existe poco
riesgo de que no se detecten los impactos reales del programa, es decir, de cometer un error de
tipo II. Además, los cálculos de potencia nos permiten evitar la recolección de poca o demasiada
información.

Para poder realizarlos, es necesario tener en cuenta si el programa crea conglomerados,

cuál es el indicador de resultados (la reincidencia en este caso), cuál es el nivel mínimo de
impacto que justifica la intervención, cuál es el nivel de potencia razonable para realizar la
evaluación y cuáles es la media y la varianza de los indicadores de resultado en la línea de base.

En resumen, al momento de planificar el tamaño muestral para una evaluación de

impacto es importante tener en cuenta dos factores: el margen de error y el nivel de confianza.

Estos tres conceptos (tamaño de la muestra, margen de error y nivel de confianza) están
estrechamente ligados. Al querer obtener un determinado margen de error y nivel de confianza es
necesario un tamaño de muestra mínimo correspondiente. Al modificar alguno de estos tres
parámetros, altera los otros. Es decir, reducir el margen de error obliga a aumentar el tamaño de
la muestra; al aumentar el nivel de confianza también obliga a aumentar el tamaño de la muestra;
si aumenta el tamaño de la muestra, se puede reducir el margen de error o aumentar el nivel de
confianza.

Por lo tanto, los cálculos de potencia permiten ajustar el tamaño de la muestra para
detectar el efecto mínimo deseado. Para que una evaluación identifique un impacto moderado,
será necesario que las estimaciones de cualquier diferencia en los resultados medios entre los
grupos de tratamiento y de comparación sean muy precisas, lo que requiere una muestra grande.
En cambio, para las intervenciones que solo se considera que valen la pena si generan grandes
cambios en los indicadores del resultado, las muestras para evaluar impacto serán más pequeñas.
No obstante, el efecto mínimo detectable debe fijarse de manera conservadora, ya que es poco
probable que se detecte cualquier impacto inferior al efecto mínimo deseado.

Parte 4: Potenciales problemas de implementación y conclusiones

Uno de los problemas de esta metodología de evaluación (matching) es que no permite

controlar por las variables no observables. Si hay algo que no está en los datos o que es difícil de
medir, como la motivación de los presos a la participación, que influye en el resultados, se
encuentra el problema de sesgo de selección. Esto amenaza la validez interna, al no poder excluir
explicaciones alternativas al resultado. Al no contemplan dichas variables no observables, para
poder tener un grupo de comparación válido, es necesario que no haya caracetrísticas no
observables; al no poder demostrarlo se cae en la suposición de la inexistencia de dichas
características no observables.

El problema de validez interna puede provenir de distintas fuentes, como rasgos y

habilidades de los presidiarios de la población objetivo (motivaciones, inteligencia, personalidad,
etc.), o también por la pérdida de sujetos. Esto último se refiere no sólo al posible fallecimiento
de sujetos de la población presidiaria, sino al abandono de alguno de ellos del Programa UBA
XXII.

Por su parte, se encuentra el inconveniente de la validez externa, que se refiere a que los
resultados de una intervención puedan ser generalizados a otros sujetos, poblaciones y lugares.
Una posible amenaza a la validez externa es el sesgo de selección, que se explicó en el primer
párrafo, seleccionando sujetos que cuenten con atributos especiales que no se encasillen en
características no observables. El factor situacional también se puede considerar una amenaza a
la validez externa, ya que no se puede comprobar si el ambiente influye en los resultados. En
otro contexto o ambiente, la población estudiada podría comportarse de otra forma, por ende, no
podríamos generalizar los resultados.
 Además del problema mencionado, otra complejidad con la que cuenta esta técnica es
que se requieren grandes bases de datos con grandes muestras. Muchas veces se usa esta técnica
cuando no se pueden usar otras, ya que no se cuentan con datos de línea base, es decir, con datos
previo a la intervención. Ante esta ausencia de datos, se selecciona el propensity score matching
para generar una situación contrafáctica y subsanar la ausencia de los datos ex-ante.

La maldición de las dimensiones es otro conflicto que conlleva esta metodología, que es
resuelta por el Propensity Score Matching. La llamada “maldición de las dimensiones” se refiere
a la dificultad que lleva el querer tener en cuenta todas las características posibles en un sistema.
Al creer que es mejor tener mayor cantidad de datos, se cae en un desperdicio de tiempo al
buscar variables que quizás no son útiles para la evaluación de impacto. A medida que aumenta
el número de dimensiones o características que se quieren “matchear”, es más difícil identificar
una pareja para cada una de las unidades del grupo de tratamiento.

Para que el pareamiento de la puntuación produzca estimaciones que tengan validez

externa, debe lograrse un pareamiento de cada unidad de tratamiento o inscrita con una unidad
no inscrita. Puede suceder que no se pueda encontrar una unidad no inscrita que tenga
puntuación similar. Por eso se dice en términos técnicos que puede haber una “falta de rango
común” entre las puntuaciones de la propensión del grupo de inscritos (grupo tratamiento) y del
conjunto de no inscritos (grupo control).

A modo de conclusión es importante destacar que es ideal que las metodologías de

evaluación de un programa se diseñen previamente a la implementación de la intervención, ya
que una vez implementado, resulta difícil recabar ciertos datos y procedimientos.
 ANEXO
Cálculo del Propensity score en Stata
pscore uba delito instruccin situacionlaboral capacitacion, pscore(pun) blockid(bloque)
comsup
****************************************************
Algorithm to estimate the propensity score
****************************************************
The treatment is uba

uba | Freq. Percent Cum.

------------+-----------------------------------
0| 3,573 92.90 92.90
1| 273 7.10 100.00
------------+-----------------------------------
Total | 3,846 100.00

Estimation of the propensity score

Iteration 0: log likelihood = -985.24466

Iteration 1: log likelihood = -763.798
Iteration 2: log likelihood = -740.85326
Iteration 3: log likelihood = -739.81841
Iteration 4: log likelihood = -739.81203
Iteration 5: log likelihood = -739.81203

Probit regression Number of obs = 3846

LR chi2(4) = 490.87
Prob > chi2 = 0.0000
Log likelihood = -739.81203 Pseudo R2 = 0.2491

------------------------------------------------------------------------------
uba | Coef. Std. Err. z P>|z| [95% Conf. Interval]
-------------+----------------------------------------------------------------
delito | .0121067 .0054599 2.22 0.027 .0014055 .0228078
 instruccin | .448832 .0255039 17.60 0.000 .3988453 .4988186
situacionl~l | -.0304365 .039737 -0.77 0.444 -.1083196 .0474466
capacitacion | -.2233971 .0412664 -5.41 0.000 -.3042778 -.1425165
_cons | -2.953955 .1836173 -16.09 0.000 -3.313838 -2.594072
------------------------------------------------------------------------------
Note: the common support option has been selected
The region of common support is [.07225649, .72991431]
Description of the estimated propensity score
in region of common support

Estimated propensity score

-------------------------------------------------------------
Percentiles Smallest
1% .0722565 .0722565
5% .0846521 .0722565
10% .0985781 .0722565 Obs 1322
25% .1188537 .0722565 Sum of Wgt. 1322

50% .169198 Mean .1787159

Largest Std. Dev. .0913787
75% .2170988 .6934424
90% .2504517 .6934424 Variance .0083501
95% .2504517 .7184596 Skewness 2.552611
99% .6265539 .7299143 Kurtosis 12.83286

******************************************************
Step 1: Identification of the optimal number of blocks
Use option detail if you want more detailed output
******************************************************
The final number of blocks is 5
This number of blocks ensures that the mean propensity score is not different for treated
and controls in each blocks
 **********************************************************
Step 2: Test of balancing property of the propensity score
Use option detail if you want more detailed output
**********************************************************
The balancing property is satisfied
This table shows the inferior bound, the number of treated and the number of controls for
each block

Inferior |
of block | uba
of pscore | 0 1| Total
-----------+----------------------+----------
.072 | 739 168 | 907
.2 | 250 102 | 352
.3 | 19 0 | 19
.4 | 27 2 | 29
.6 | 14 1 | 15
-----------+----------------------+----------
Total | 1,049 273 | 1,322

Note: the common support option has been selected