La

Experimentación
en las
políticas
públicas
Estado del arte y
elementos para su impulso
en España
 La
Experimentación
en las
políticas
públicas
septiembre 2022

EQUIPO RED2RED EQUIPO COTEC

José Moisés Martín Carreter Aleix Pons

Director R2R y experto de Los 100 de Director del departamento de Economía
Cotec y Financiación de la Innovación

Lucía Alonso Blasco Josep Bosch

Consultora Área internacional R2R Analista

Luis Miguel Morales Caballero

Consultor Área Innovación de Políticas
Públicas R2R

Anabel Suso Araico

Directora del Área de Innovación de Polí-
ticas Públicas R2R
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Ín 00. Resumen ejecutivo 7

DI
01. presentación 11

02. INTRODUCCIÓN A LA EXPERIMEN-

TACIÓN EN POLÍTICAS PÚBLICa 13

CE 2.1. Qué es un experimento en

política pública y por qué
experimentar 14

2.1.1. Orígenes históricos de la experimentación

pública16

2.1.2. La experimentación pública y las políticas

públicas conductuales17

2.2. Modalidades de experimentación

pública 17

2.2.1. Experimentos aleatorizados18

2.2.2. Diseños cuasiexperimentales19

2.3. La escala de las evidencias 21

2.4. Fases de un modelo de

experimentación pública 22

2.4.1. Selección y diseño del experimento22

2.4.2. Ejecución24

2.4.3. Análisis de resultados25

2.5. La aplicación de resultados de

la experimentación pública 26

2.6. La experimentación en la
práctica 25

4
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

6.2. Experimentos autonómicos 76

6.3. Experimentos locales 79

03. EXPERIMENTACIÓN PÚBLICA A
NIVEL INTERNACIONAL 28 6.4. La colaboración con el
sector privado como motor de la
3.1. Quién lo hace 29 innovación 85

3.2. Cuándo y dónde se está haciendo 6.5. Dificultades para el desarrollo

experimentación pública 33 de la experimentación en la
Administración pública 96
3.3. A qué nivel territorial se hace 36
07. ESTUDIOS DE CASO EN ESPAÑA 99
3.4. Qué es lo que se está haciendo 41
7.1. Evaluación del programa Habitat –
3.5. Cuánto duran 49 modelo Housing First 100

3.6. En qué sectores 49 7.2. Proyecto piloto B-MINCOME 104

3.7. Elementos facilitadores de la 7.3. Proyecto piloto Menttores 107

experimentación 52
08. CONCLUSIONES Y RECOMEN-
04. ESTUDIOS DE CASO INTERNACIO- DACIONES PARA EL IMPULSO DE LA
NALES 54 EXPERIMENTACIÓN EN ESPAÑA 111

4.1. Mejorar la factura de la luz 55 8.1. Conclusiones 112

4.2. La ampliación de servicios de 8.2. Recomendaciones para el impulso

guarderías infantiles y sus efectos de la experimentación 113
en la participación laboral 57
09. ANEXOS 118
05. MARCO PARA LA EXPERIMENTA-
CIÓN EN LAS POLÍTICAS PÚBLICAS Anexo 1 Casos por sectores (experiencias interna-
EN ESPAÑA 61 cionales)119

5.1. Marco normativo e institucional 62 Anexo 2 Tabla resumen de casos (experiencias inter-
nacionales)138
5.1.1. Selección y diseño del experimento62
Anexo 3 Bibliografía141
5.1.2. Ejecución66
Anexo 4 Listado de instituciones y personas entre-
5.2. Marco estratégico 69 vistadas142

06. EXPERIENCIAS DE EXPERIMENTA- Gráficos e ilustraciones

CIÓN PÚBLICA EN ESPAÑA 73
Gráfico 1 Factores que afectan el rendimiento esco-
6.1. Experimentos de la Administración lar15
General del Estado 74

5
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Gráfico 2 Distribución aleatoria del programa de

apoyo al rendimiento escolar15

Gráfico 3 Evolución de evaluaciones de impacto de

desarrollo internacional34

Ilustración 1 Países con un mayor número de instancias

que incorporan las ciencias del comportamiento35

Ilustración 2 Marco normativo en evaluación de

políticas públicas64

Ilustración 3 Marco normativo e institucional en

evaluación de políticas públicas67

6
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

resu
men
eje
cuti
vo

00.
7

La experimentación pública es un método de
investigación que permite conocer, basándo-
se en la evidencia, los previsibles resultados
de una política pública en un contexto social,
económico y cultural determinado; constituye,
por tanto, una herramienta fundamental para
la evaluación y generación de políticas públi-
cas. Su objetivo es establecer una relación
causal entre una intervención y sus resulta-
dos, controlando las condiciones externas,
para lo que se debe contar con un escenario
contrafactual, donde se compara la evolución
del «grupo de tratamiento» —al que se aplica
la intervención— con el «grupo de control» —al
que no se aplica la intervención—. Para que
se pueda realizar esta comparación es esen-
cial desarrollar una adecuada selección de
ambos grupos, que, en condiciones ideales,
debería ser desarrollada de manera aleatoria.
La mayor parte de los experimentos aleatori-
zados que se realizan son RCT o Randomized
Control Trials.
El recurso a la experimentación pública no
es nuevo; los programas de experimenta-
ción lograron un notable impulso en los
años noventa, particularmente en el ámbito
de la evaluación en la cooperación inter-
nacional para el desarrollo, y han crecido
de manera exponencial potenciados por
Gobiernos a diferente escala (desde el nivel
nacional al local) y organizaciones interna-
cionales e instituciones, como el Labora-
torio de Acción contra la Pobreza (J-PAL),
empleándose en una amplia variedad de
ámbitos y en diferentes momentos del ciclo
de las políticas públicas, desde su diseño
hasta su evaluación. Asimismo, el auge de
la experimentación pública debe entenderse
siempre en paralelo con la construcción de
las políticas públicas conductuales, que
han sido frecuentemente consideradas a la
hora de diseñar las políticas con las que se
experimenta.
8
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
Aun así, existen diferencias relevantes entre
países, siendo mayor su evolución en los paí-
ses anglosajones. El desarrollo de la experi-
mentación pública varía según la cultura de la
evaluación de cada país y las experiencias en
experimentación desarrolladas en la Adminis-
tración pública, así como según la integración
de este tipo de actuaciones en diferentes
fases del ciclo de las políticas públicas. En
el caso de España, el desarrollo de la expe-
rimentación se ha producido fundamental-
mente en la última década, donde destacan
algunos ejemplos recientes, aislados, que se
circunscriben principalmente al ámbito de la
evaluación, y donde el avance de iniciativas
que incluyan enfoques de economía del com-
portamiento es una excepción.
Este menor desarrollo de la experimentación
en España está relacionado con una esca-
sa cultura del dato y de la evaluación en la
Administración, que se ha implantado más
recientemente y que aún es incipiente. En ese
sentido, tanto el desarrollo normativo como
el institucional y estratégico en materia de
evaluación de las políticas públicas han evo-
lucionado en los últimos años, dando cabida
a un mayor uso de la experimentación, sobre
todo por parte de determinados organismos
públicos. Entre ellos, destaca la labor de
Ivàlua en Cataluña, el impulso para fomentar
estas prácticas por parte de la Unión Europea
y, más recientemente, las iniciativas de expe-
rimentación vinculadas con el ingreso mínimo
vital desarrolladas por el Ministerio de Inclu-
sión, aprovechando la financiación de los fon-
dos europeos Next Generation. No obstante,
es importante señalar que algunas entidades
del tercer sector, así como algunos organis-
mos privados de investigación, han jugado un
papel relevante en el desarrollo reciente de
este tipo de experimentos en diversos ámbi-
tos de las políticas públicas.
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
La mejora del conocimiento respecto a este
tipo de metodologías por parte de los de-
cisores públicos y el precedente o efecto
demostrativo de los resultados de «hacer»
experimentación son dos elementos funda-
mentales que contribuyen al desarrollo y a la
institucionalización de la experimentación en
las políticas públicas.
El uso extendido de la experimentación,
aunque a priori es un gasto adicional en las
políticas, a largo plazo supone un ahorro para
la Administración, que puede identificar qué
políticas son una inversión eficaz y cuáles son
ineficaces para lograr el resultado deseado.
Por lo tanto, este estudio muestra que aún
queda mucho margen para incrementar el
desarrollo de la experimentación en políticas
públicas en España, siguiendo la estela de
lo que sucede en los países de nuestro en-
torno. En este sentido, es fundamental que
los organismos o instituciones públicas con
responsabilidad en materia de evaluación de
las políticas públicas, es decir, la AIReF o la
nueva AEVAL, impulsen el desarrollo e im-
plantación de la experimentación como una
herramienta más que considerar en el ciclo de
las políticas públicas, estableciendo objetivos
en esta dirección y asumiendo responsabili-
dades directas.
Para lograr este desarrollo de la experimenta-
ción, las principales recomendaciones son:
1. Comenzar por fomentar la experimentación
pública en el diseño de pequeñas interven-
ciones, como una forma de generar referen-
tes demostrativos de la eficacia de introducir
estas metodologías en las políticas públicas.
2. Incluir metodologías experimentales
innovadoras en el diseño de las intervencio-
nes que atraigan fuentes de financiación
especializadas, por ejemplo, en intervencio-
nes financiadas por la UE, con el objetivo de
que este tipo de experimentos no se den de
manera aislada y sin acompañamiento.
3. Fomentar la generación y establecimien-
to de «fondos de experimentación», en los
que el requisito para su financiación sea
que las intervenciones financiadas necesa-
riamente incluyan un enfoque experimental.
Un ejemplo de ello son las evaluaciones
experimentales realizadas en el programa
Horizonte 2020 de la Comisión Europea,
que ha financiado mediante la subvención
INNOSUP-06 a agencias de innovación para
que realicen proyectos experimentales eva-
luados por RCT (dos de ellos en España).
4. Facilitar por parte de la Administración el
acceso a datos masivos para el desarrollo
de actuaciones de experimentación, para
lo cual se requiere una mayor apertura y
voluntad política en esta dirección por parte
de la Administración pública.
5. Flexibilizar determinados procedimien-
tos administrativos que pueden suponer un
obstáculo para el desarrollo de este tipo de
metodologías, así como los plazos para el
diseño de las políticas públicas, dado que
los tiempos requeridos para visualizar el im-
pacto de una intervención son más amplios.
6. Fortalecer una mayor conexión entre las
entidades que desarrollan habitualmente
este tipo de metodologías (como son las
universidades, los centros de investigación
y las empresas especializadas) y la Admi-
nistración pública.
7. Desarrollar actuaciones de formación,
sensibilización y concienciación entre el
personal técnico de las Administraciones
públicas acerca de este tipo de metodo-
logías, las oportunidades que ofrecen y
sus implicaciones. Ejemplos de ello son el
trabajo de Ivàlua en Cataluña o el IGL de
Nesta en Europa.
8. Generar una base de evidencias deri-
vada de experimentos que se realicen en
el país, que fomenten el intercambio de
9
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

conocimientos y la transparencia de los

resultados.

9. Favorecer el desarrollo de actuaciones

relacionadas con la economía del com-
portamiento, comenzando por incluir
enfoques conductuales en las intervencio-
nes públicas que sean pertinentes, con el
asesoramiento de instituciones privadas
y académicas en España o creando una
unidad dentro de la AGE que asesore en la
materia.

10. Desarrollar desde la Administración,

como ha hecho el Gobierno finlandés, có-
digos éticos para el desarrollo de la experi-
mentación pública.

11. Tras la aprobación de la reforma de la

Ley de la Ciencia en septiembre de 2022,
en cuyo artículo 2.f se incluye el compromi-
so de “promover la innovación pública, en-
tendida como aquella innovación protago-
nizada por el sector público y, en particular,
la capacidad de experimentar en política
pública, diseñar intervenciones basadas en
evidencias – especialmente científicas-, re-
gular atendiendo al impacto normativo en
innovación, desarrollar bancos de pruebas
y desplegar una contratación pública com-
prometida con la incorporación de solucio-
nes innovadoras y de I+D”, el Ministerio de
Ciencia e Innovación (Micinn) debe definir
su rol en el impulso de la experimentación
de las políticas públicas: contribuyendo
a difundir y divulgar estas metodologías,
facilitando el contacto de grupos de inves-
tigación de ciencias sociales con capaci-
dades de experimentación y las diferentes
administraciones (transferencia de conoci-
miento entre ámbitos del sector público) y,
eventualmente, financiando un programa
de RTCs dentro del Plan nacional de I+D+I,
entre otras posibles funciones.

10
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Pre
senta
ción
del es
tudio

01.
11

Tal y como versa el título del informe, los
principales objetivos a los que responde su
desarrollo consisten en ofrecer una panorá-
mica global del marco público para la experi-
mentación en la Administración General del
Estado, las comunidades autónomas y los
municipios, así como recomendaciones para
su impulso en nuestro país. Es por ello por lo
que en él se desarrolla un exhaustivo análisis
del estado de situación y evolución de la expe-
rimentación en las políticas públicas, tanto en
el marco internacional como en el nacional, y
se apuntan una serie de pistas o recomenda-
ciones para impulsar su desarrollo en España.
El segundo capítulo está centrado en la
conceptualización de la experimentación
pública. Para ello, en primer lugar, se define la
experimentación en las políticas públicas y se
expone en qué consiste, tanto en el ámbito de
la evaluación como en el de las políticas públi-
cas conductuales. A continuación, se analizan
sus orígenes y desarrollo en el entorno inter-
nacional. Este capítulo explica, además, de
manera detallada, las diferentes modalidades
de experimentación pública, analizando sus
ventajas e inconvenientes; a ello se suma
una muestra de las principales escalas que
miden la calidad de la evidencia experimental.
Por último, se incorpora un recorrido por las
diversas fases de necesario desarrollo en la
puesta en marcha y aplicación de un modelo
de experimentación pública, incorporando de
manera constante ejemplos para ilustrar y
comprender mejor sus contenidos.
El tercer capítulo realiza un detallado análisis
histórico de la evolución de la experimen-
tación en políticas públicas en el marco
internacional. En él se mapean las institu-
ciones que realizan y apoyan este tipo de
intervenciones y se realiza una clasificación
de la experimentación atendiendo al ámbito
territorial de implementación, el momento en
el ciclo de políticas en que se desarrolla, los
objetivos de la experimentación, los colecti-
vos destinatarios y los ámbitos temáticos.
Derivado del análisis de estas experiencias, se
12
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
analizan los elementos que han facilitado la
experimentación en los diferentes contextos.
Todo el capítulo está trufado de breves fichas
de ejemplos de los casos de experimentación
que se consideran referentes; en el cuarto
capítulo se realizan una descripción y un
análisis más exhaustivos de dos de los casos
seleccionados.
El quinto capítulo recoge el marco normativo,
institucional y estratégico de España en el que
se produce el desarrollo de la evaluación y la
experimentación pública. A continuación, se
recogen las experiencias de experimentación
pública detectadas en España en los diferen-
tes niveles de la Administración pública (es-
tatal, autonómica y local), así como aquellas
desarrolladas en colaboración con iniciativas
de carácter privado, destacadas a través de
múltiples fichas de ejemplos. Todo el análisis
de fuentes secundarias, junto a la información
recabada a través de diversas entrevistas a
personas expertas del ámbito de la evalua-
ción, ha permitido detectar las principales
dificultades para el desarrollo de la experi-
mentación en la Administración pública en
España, que se exponen en el sexto capítulo.
En el séptimo capítulo se reflejan los resulta-
dos de tres estudios de caso de experimenta-
ción de políticas públicas que se consideran
un referente en nuestro país.
En el último capítulo se establecen las prin-
cipales conclusiones del estudio, junto con
las recomendaciones para el impulso de la
experimentación en las políticas públicas de
nuestro país.
Los anexos recogen una batería más amplia
de experiencias internacionales organiza-
das por ámbitos de intervención y un listado
global de estas, así como una relación de
todas las personas que han participado en
las entrevistas desarrolladas, sin las que este
estudio no hubiera sido posible y a las que
agradecemos encarecidamente su colabora-
ción.
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

INTRO
DUC
CIÓN A
LA EX
PERI
MEN
TACIÓN
EN PO
LÍTICAS
PÚBLI
CAS

02.
13

2.1. Qué es un experi-
mento en política pú-
blica y por qué experi-
mentar
De acuerdo con la Real Academia Española,
experimentar tiene diferentes acepciones; la
primera de ellas es «probar y examinar práctica-
mente las virtudes y propiedades de algo», y la
última, relacionada únicamente con las ciencias
naturales, «hacer operaciones destinadas a
descubrir, comprobar o demostrar determina-
dos fenómenos o principios científicos». En el
ámbito de las políticas públicas, experimentar
puede relacionarse con ambas acepciones,
ya que permite testar en la realidad fenóme-
nos o principios científicos que consideramos
que deben ser probados, y, más directamente,
examinar prácticamente las propiedades de una
política pública. De acuerdo con el Diccionario
abierto de sociología, un experimento es un
«procedimiento que suele utilizarse para con-
firmar la validez de una hipótesis comparando
los resultados de uno o más grupos con un
grupo de control en una medida determinada».
En otras palabras, se trata de un procedimien-
to de investigación destinado, a través de una
determinada metodología lo suficientemente
robusta, a contrastar con la realidad una o va-
rias hipótesis relevantes para el estudio. En este
caso, para la política pública. Los experimentos
nos permiten, por lo tanto, contestar a pregun-
tas como las siguientes:
• ¿Es efectiva la puesta en marcha de clases
de apoyo para estudiantes en desventaja?
• ¿Puede una renta mínima garantizada
desincentivar la búsqueda de empleo?
• ¿Cuál es la mejor manera de evitar embara-
zos no deseados en niñas y adolescentes?
En definitiva, en materia de política pública, un
experimento es un método de investigación que
permite conocer, basándose en la evidencia, los
previsibles resultados de una política pública en
un contexto social, económico y cultural deter-
minado.
14
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
El recurso a los experimentos en política pública
parte de varias fuentes, entre las cuales la prin-
cipal es el avance en las metodologías y técni-
cas de recogida, tratamiento e interpretación de
datos en el contexto social, haciendo de esta
manera posible realizar en condiciones reales
pruebas que con anterioridad solo se podían de-
sarrollar en condiciones de laboratorio. De esta
manera, un experimento de «laboratorio» conse-
guía aislar una relación causal controlando las
condiciones externas ajenas a la propia relación
causal. Estas condiciones de experimentación
son imposibles de replicar en el mundo real. Sin
embargo, el avance en los métodos de recogida
y tratamiento de datos nos permite establecer,
en el mundo real, unas condiciones similares,
a través de la aproximación estadística a las
relaciones causales y a los efectos externos.
La forma de lograr aislar la relación causal de
los efectos externos consiste sencillamente
en calcular los efectos externos en un grupo
de control —al que no se aplica la relación
causal— y descontar dichos efectos del efecto
total. Pondremos un ejemplo: supongamos
que queremos saber si un programa de apoyo
a estudiantes en desventaja es adecuado para
ellos. Podríamos calcular la mejora en las califi-
caciones pasado un tiempo, pero con ese mero
ejercicio no sabríamos si la causa de la mejoría
es, efectivamente, el programa. También podría
ocurrir que, pese al programa de apoyo, las
calificaciones siguieran siendo bajas. En condi-
ciones reales, es difícil precisar si el programa
tuvo un efecto en los estudiantes, pues puede
que una mejora en las instalaciones del colegio,
una renovación del programa pedagógico o
cualquier otra circunstancia ajena a la relación
causal que queremos probar hubiera afectado
notablemente a su rendimiento. La experimen-
tación pública resuelve este problema al plan-
tear una situación «contrafactual», en la que se
aísla el efecto del programa de apoyo de otros
factores que afectan a su rendimiento escolar.
En el gráfico 1 se muestra esta idea: nuestro
objetivo sería ser capaces de aislar el efecto del
programa de apoyo en el rendimiento escolar.
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
gráfico 1. factores que afectan el rendimiento escolar
Fuente: Elaboración propia
La mejor manera de aislar este efecto es a
través de la realización de un experimento de
política pública, en el que, dado que no tene-
mos la posibilidad de mantener a los estu-
diantes aislados del resto de las condiciones
educativas y sociales, realizamos un contrafac-
tual, esto es, evaluamos el rendimiento escolar
de quienes lo reciben comparado con el de
aquel alumnado que, partiendo de las mismas
condiciones educativas y sociales, no recibe el
apoyo. Al grupo que recibe el apoyo se le deno-
mina «grupo de tratamiento», y al grupo que
no recibe el apoyo se le denomina «grupo de
control». Cuanto más se parezcan los grupos,
en términos de condiciones sociales y educati-
vas, más robusta será la estimación del efecto
del programa de apoyo, y cuanto más grandes
sean ambos grupos, más fácil será eliminar el
ruido procedente de otras variaciones de sus
gráfico 2. Distribución aleatoria del programa de apoyo al
rendimiento escolar
Fuente: Elaboración propia
condiciones. Para ello, es esencial desarrollar
una adecuada selección de ambos grupos,
que, en condiciones ideales, debería ser alea-
toria. A este tipo de experimentación social
se le denomina Prueba de Control Aleatorio,
más comúnmente conocida por sus siglas
en inglés, RCT o Randomized Control Trials.
Siguiendo nuestro ejemplo, descrito esquemá-
ticamente en el gráfico 2, y partiendo de una
población de estudiantes con similares condi-
ciones educativas y sociales, desarrollaríamos
una distribución aleatoria entre los dos grupos
(tratamiento y control) y evaluaríamos los
resultados académicos de ambos grupos. Se
podría, en este caso, atribuir estadísticamente
la diferencia de rendimiento a aquello que dife-
rencia a ambos grupos, que es la participación
en un programa de apoyo educativo específico.
15

Este modelo de investigación ha sido amplia-
mente utilizado en los ensayos clínicos de
tratamientos, utilizando un grupo de trata-
miento y otro grupo de control al que se le
suministra un placebo, y forma parte de las
prácticas habituales de prueba de nuevos me-
dicamentos, vacunas y tratamientos médicos.
La realización de los RCT ha sido calificada
como el «estándar de oro» de la experimen-
tación social, y, como veremos a lo largo de
este informe, suponen una importante innova-
ción en el diseño y la realización de políticas
públicas. Sin embargo, no siempre es posible
alcanzar las condiciones necesarias para su
correcto desarrollo, de manera que una parte
importante de los experimentos tienden a su-
plir o a mitigar las numerosas dificultades que
ofrece el mundo real para aislar los efectos de
las políticas públicas.
El recurso a la experimentación en políticas
públicas es un mecanismo idóneo para averi-
guar, basándose en la evidencia, la efectividad
de estas, aisladas de otros efectos. Permite, de
esta manera, mejorar su impacto y también su
diseño, aprender de las políticas públicas de-
sarrolladas en otros contextos —aunque, como
veremos, con limitaciones— y proporcionar a
la ciudadanía un marco de acción público más
eficaz, transparente y con mayor generación
de valor a medio y largo plazo. También permi-
te modificar o corregir programas y evaluar su
continuidad y eficacia.
2.1.1. Orígenes históricos de
la experimentación pública
El recurso a la experimentación pública no es
nuevo. Desde la conformación de los Estados
modernos y la puesta en marcha de las políti-
cas públicas, los Gobiernos han desarrollado
sus políticas a través de ensayos y modelos
de prueba y error, pero no siempre apren-
diendo de ellos y con resultados no siempre
positivos.
Como se desarrollará de manera más detalla-
da en el siguiente capítulo, dedicado al análi-
16
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
sis de la evolución en la experimentación en
el mundo, el primer ámbito donde se desarro-
llaron experimentos de manera sistemática
fue la agricultura, con la prueba de diferentes
métodos y variedades de cultivo. A través
de centros de estudio y análisis, se ha ido
generando la metodología específica para la
puesta en marcha de experimentos en otras
áreas. De esta manera, en los años sesenta
y setenta del siglo XX, en Estados Unidos se
desarrollaron algunos de los experimentos
más notables, en áreas como el impuesto
negativo sobre la renta, los seguros de salud
y los programas de vivienda (Gueron, 2017).
Así, en 1975, el Gobierno federal desarrolló un
RCT de grandes proporciones para evaluar el
rendimiento y la efectividad del programa de
apoyo a las personas con problemas de in-
serción laboral, que supuso el programa más
amplio desarrollado hasta el momento.
Los programas de experimentación lograron
un notable impulso en los años noventa, par-
ticularmente en el ámbito de la cooperación
internacional para el desarrollo, con el Banco
Mundial como principal impulsor. En 2003, los
economistas Abhijit Vinayak Banerjee y Esther
Duflo pusieron en marcha el Laboratorio de
Acción contra la Pobreza (J-PAL) en el Ins-
tituto Tecnológico de Massachusetts (MIT),
que desde ese momento se consolidó como
un espacio de referencia en la elaboración de
metodologías y técnicas de puesta en marcha
de programas de experimentación social. En
2004, el Banco Mundial estableció el progra-
ma de evaluación de impacto en desarrollo.
A partir de ese momento, la experimentación
en políticas públicas se extendió, particular-
mente en el mundo anglosajón, a través de la
puesta en marcha de la Unidad de Estudios
Conductuales del Gobierno británico en 2010,
la creación en 2011 de la red What Works
Network y el lanzamiento en 2014 del Innova-
tion Growth Lab (Laboratorio de innovación
para el crecimiento). En 2016, los Gobiernos
de Canadá y Finlandia establecieron la expe-
rimentación pública como un objetivo políti-
co, y en 2017, la Comisión Europea lanzó un
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
programa de cuatro millones de euros para
promover la utilización de RCT en las agen-
cias de innovación. Para ese momento, la
agencia británica Nesta ya había desarrollado
metodologías específicas de experimenta-
ción pública basándose en RCT y el J-PAL
había desarrollado no solo publicaciones, sino
numerosos programas de formación acadé-
mica y ejecutiva, que se habrían replicado en
otras universidades a lo largo del planeta. En
2019, los dos fundadores del J-PAL recibirían
el Premio Nobel de Economía, de manera
compartida con Michael Kremer, otro de los
pioneros en el ámbito de la experimentación
pública. En 2021, el Nobel volvería a recaer
sobre expertos en experimentación, como
David Card, Joshua Angrist y Guido Imbens,
consolidando de esta manera la disciplina de
la economía experimental y los experimentos
como método válido de conocimiento de la
realidad social.
2.1.2. La experimentación
pública y las políticas
públicas conductuales
El auge de la experimentación pública debe
entenderse siempre en paralelo con la cons-
trucción de las políticas públicas conduc-
tuales. Entendemos las políticas públicas
conductuales como aquellas que tienen en
cuenta la reacción de la ciudadanía ante
determinados estímulos —nudges, en in-
glés— que pueden influir en la conducta de
las personas en una determinada dirección.
La aparición de las políticas públicas conduc-
tuales tiene su origen tanto en la psicología
como en la economía conductual, entendien-
do esta como la rama de la economía que
tiene en cuenta los sesgos y condicionantes
de las personas en la toma de decisiones. Los
descubrimientos recientes sobre el compor-
tamiento económico y social de las personas
nos llevan a pensar que su toma de decisio-
nes no siempre sigue los criterios de estricta
racionalidad, y que estos criterios pueden ser
influenciados a través de pequeños estímu-
los —los ya señalados nudges—, que permiten
modificar conductas en una dirección social-
mente deseable (Sunstein y Thaler, 2010). Un
ejemplo claro de este tipo de nudges es el
establecimiento del permiso de conducir por
puntos.
El desarrollo de esta disciplina también ha
significado grandes avances en la elaboración
de políticas públicas, al permitir evaluar la
reacción de la ciudadanía ante determinadas
decisiones públicas y medir sus efectos en
condiciones experimentales. De esta manera,
han proliferado los laboratorios de economía
conductual, donde, a través de experimentos
controlados, se han evaluado diferentes op-
ciones de política pública en ámbitos como la
salud pública, la política fiscal o el medio am-
biente, en muchos casos a través del apoyo
de las instituciones multilaterales de desarro-
llo. La extensión de este tipo de prácticas ha
generado la aparición de unidades conductua-
les en numerosos Gobiernos, así como una
extensa literatura académica sobre la econo-
mía y las políticas públicas conductuales.
2.2. Modalidades de ex-
perimentación pública
Como hemos señalado con anterioridad,
los RCT o controles de prueba aleatoria son
considerados el «estándar de oro» en materia
de experimentación pública. Sin embargo, y
como veremos, son costosos y complejos
de desarrollar, y no siempre se cumplen las
condiciones necesarias para su correcta eje-
cución. De esta manera, se han desarrollado
otras modalidades que, sin cumplir todos los
requisitos, ofrecen también evidencia sufi-
cientemente robusta. Así, clasificaremos los
experimentos de la siguiente manera:
• Experimentos aleatorizados:
o RCT.
o Pruebas múltiples.
17

o RCT ligeros.
o Test A/B.
o Pruebas aleatorias de clústeres.
• Pruebas cuasiexperimentales:
o Diseño de regresiones en discontinui-
dad.
o Propensity Score Matching.
o Diferencias en diferencias.
o Controles sintéticos.
2.2.1. Experimentos
aleatorizados
Los experimentos aleatorizados son aquellos
en los que intentamos determinar cuál es el
efecto causal de una medida o política pú-
blica en la realidad social. Para ello, como ya
hemos señalado, utilizamos, preferiblemente
de la misma población objetivo, un grupo de
tratamiento y un grupo de control, con las
mismas características socioeconómicas y
poblacionales, examinando cuál es el efec-
to de la medida en un plazo determinado, al
comparar la evolución de ambos grupos.
La fortaleza de estos experimentos recae
específicamente en la aleatoriedad en la
elección del grupo de control y del grupo de
tratamiento, evitando de esta manera lo que
se reconoce como el sesgo de selección; un
sesgo de selección sería, por ejemplo, que
un grupo estuviera formado por quienes han
solicitado una ayuda, y otro, por quienes no
la han solicitado. El hecho de haber solicita-
do la ayuda rompe la aleatoriedad de ambos
grupos y dificulta la atribución de causalidad,
ya que puede ser que quienes la han solicita-
do muestren más iniciativa que quienes no lo
han hecho, y que sea precisamente esa inicia-
tiva la que contamine los resultados.
18
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
Al evitar el sesgo de selección y decidir alea-
toriamente quién forma parte del grupo de
tratamiento y quién del grupo de control, se
mitigan los efectos de condiciones sociales
ajenas al experimento. Como veremos, la con-
formación aleatoria de los grupos de trata-
miento y control no siempre es posible, lo cual
nos llevaría a otro tipo de metodologías.
Dentro de las pruebas aleatorizadas, pode-
mos distinguir las siguientes:
RCT o controles de prueba aleatoria
Como ya hemos señalado, los RCT son el
estándar más alto en materia de experimen-
tación social. Se basan en la determinación
aleatoria de un grupo sobre el que se aplica
una serie de programas o políticas públicas
cuya eficacia se quiere comprobar. Los resul-
tados, pasado el tiempo, se comparan con los
resultados obtenidos en un grupo de control,
también elegido aleatoriamente en la pobla-
ción, atribuyendo las diferencias entre ambos
a la política pública aplicada. Es el modelo
básico de experimentación y, también, uno
de los más complejos de desarrollar por sus
numerosas implicaciones.
Controles de pruebas múltiples
Los controles de pruebas múltiples siguen
los mismos principios que en el caso de los
RCT básicos, pero en este caso la población
se divide en varios grupos de tratamiento,
aplicando sobre cada uno de ellos una política
pública diferente, de manera que se puedan
comparar los resultados entre estos grupos
y con el grupo de control. Los controles de
pruebas múltiples son eficaces para compa-
rar diferentes opciones de política pública,
pero su desarrollo es más complejo que el de
los RCT básicos.
RCT ligeros
Los RCT ligeros son test que prueban solo
algunos aspectos operacionales de un pro-
grama más amplio, sin entrar a valorar los
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
impactos últimos de este. Dado su alcance,
son más sencillos de desarrollar y permiten
obtener información más rápida sobre deter-
minados aspectos operativos.
Test A/B
Muy utilizados como experimentos en el
mundo del emprendimiento digital, los test
A/B prueban dos o más alternativas de un
servicio, diseño o mensaje. Normalmente, se
desarrollan a través de medios digitales; por
ejemplo, aleatorizando la entrada del públi-
co en un diseño de página web o en otro y
estudiando las reacciones de las personas
usuarias.
RCT de clústeres
Los RCT de clústeres permiten desarrollar
pruebas aleatorizadas en grupos de población
a los que no es posible llegar a través de un
tratamiento individualizado, por ejemplo, en
programas de fortalecimiento institucional
o en el establecimiento de políticas públicas
urbanas o territoriales. En estos casos, la
determinación aleatoria de los clústeres es la
que determina los grupos de control y trata-
miento. Normalmente, requieren muestras
más amplias que los RCT individualizados.
Laboratorios de comportamiento
Sin ser estrictamente una modalidad de ex-
perimentación aleatorizada, los laboratorios
de comportamiento —o unidades conduc-
tuales— se están convirtiendo en un espacio
muy utilizado para la elaboración de políticas
públicas experimentales. Los laboratorios
de comportamiento intentan reproducir, en
entornos controlados y aislados, las condicio-
nes de respuesta conductual de personas que
actúan como consumidoras o usuarias de
un determinado bien o servicio, evaluando su
reacción a pequeños «incentivos» (nudges) di-
señados para modificar las conductas de las
personas. Los criterios de selección de parti-
cipantes, desarrollo del experimento y análisis
de los resultados se asemejan al desarrollo de
pruebas aleatorizadas.
La extensión de los laboratorios de compor-
tamiento y la relación entre la validez de sus
resultados y su coste hacen que sean uno de
los modelos experimentales más utilizados
en el presente, al igual que las pruebas A/B,
particularmente en el sector privado y en el
emprendimiento digital, por su bajo coste
relativo. Sin embargo, comparado con el
desarrollo de RCT completos, la robustez de
sus resultados es menor, y su alcance, más
limitado.
2.2.2. Diseños
cuasiexperimentales
En muchas ocasiones, los diseños de experi-
mentos son difíciles de desarrollar, por condi-
cionantes económicos, sociales o políticos. En
esos casos, se puede recurrir a diseños cuasiex-
perimentales, o diseños que, sin ser experimen-
tos, pueden proporcionar resultados con niveles
de robustez adecuados para la generación de
evidencias.
Los diseños cuasiexperimentales no incluyen la
selección aleatorizada de los grupos de tra-
tamiento y control, de manera que se aplican
técnicas a posteriori para mitigar los sesgos de
selección. Como tales, son también ampliamen-
te utilizados y tienen una larga trayectoria en el
ámbito de las ciencias sociales, particularmen-
te a través de la econometría. Estos métodos
econométricos tienen su pilar básico en los
modelos de regresión, donde la selección de las
variables dependientes e independientes supo-
ne una de las tareas más relevantes, incluyendo
el uso de variables instrumentales. Avanzando
desde los modelos de regresión, veremos algu-
nas de las metodologías más utilizadas:
Regresiones en discontinuidad
Una regresión en discontinuidad es una técnica
econométrica que permite identificar el efecto
de una determinada política pública a partir de
19

un punto de «corte» en una población. De esta
manera, se evalúa el impacto de la medida entre
quienes caen a un lado del punto de corte (que
reciben la política pública) y quienes caen al
otro lado (que no la reciben). Como ejemplo, se
puede proponer evaluar el impacto en el rendi-
miento académico de una beca, examinando el
desempeño académico de quienes están cerca
del límite de elegibilidad económica, tanto a un
lado como a otro. Las regresiones en disconti-
nuidad parten de la idea de que los grupos que
están próximos a la «línea de corte» comparten
características similares y que, antes de existir
la política pública, tendrían resultados pareci-
dos. Una vez implementada la política, cuanto
mayor sea la diferencia (discontinuidad) de re-
sultados entre ambos grupos, más significativo
será el impacto de la política pública.
Propensity Score Matching
El PSM es una técnica econométrica que con-
siste en identificar un grupo de control partien-
do de las características del grupo de trata-
miento. La selección no es aleatoria, sino que
se basa en construir sintéticamente, partiendo
de las características del grupo de tratamiento,
un grupo de control que comparta cuantas más
características mejor. Esta metodología es útil
cuando no se pueden aleatorizar los grupos. En
ese caso, el investigador selecciona a un grupo
que comparta el mayor número de característi-
cas con el grupo de tratamiento, construyendo
así el contrafactual. El impacto de la política
pública será el que genere las diferencias entre
el grupo de tratamiento y el grupo de control.
Siguiendo con nuestro ejemplo anterior, en este
caso elegiríamos al alumnado que, sin tener la
beca académica, tiene las mismas condiciones
socioeconómicas, edad y formación previa que
el grupo de personas becadas, comparando su
rendimiento académico.
Diferencias en diferencias
La metodología de diferencias en diferencias
es una técnica econométrica que permite
identificar las diferentes evoluciones de una
20
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
variable antes y después del tratamiento
—política pública— respecto del grupo de
control. Siguiendo con nuestro ejemplo, si
los estudiantes becados mejoraron un 20 %
su rendimiento académico y los no becados
mejoraron un 5 %, la diferencia puede ser atri-
buible a la beca. En este caso, es esencial que
el grupo de control y el de tratamiento hayan
seguido una tendencia similar antes de poner
en marcha la política pública (supuesto de la
tendencia paralela).
Control sintético
El control sintético tiene como objetivo estable-
cer sintéticamente dos grupos —uno de trata-
miento y otro de control—, donde el grupo de
control se construye a partir de la ponderación
de las características del grupo de tratamiento.
El promedio ponderado de esas características
se considera el «grupo de control sintético».
Supongamos que, en nuestro ejemplo, los
estudiantes becados tienen un promedio de
12.000 € de renta al año. Construiremos un
«control sintético» a partir de la ponderación
de las rentas de los estudiantes no beca-
dos, de manera que un grupo tiene una renta
de 10.000 € y otro grupo tiene una renta de
25.000 €. El grupo de control sintético estará
formado por la ponderación entre ambas ren-
tas (en el ejemplo, el grupo que tiene una renta
de 10.000 € ponderará un 86 %, y el que tiene
una renta de 25.000 €, un 14 %). La diferencia
de resultados académicos entre el grupo de
tratamiento —los estudiantes becados— y el
control sintético —los resultados académicos
de los demás estudiantes ponderados por su
renta— nos dará el efecto de la política pública.
Las metodologías tanto aleatorizadas como
no aleatorizadas ofrecen, por lo tanto, di-
ferentes grados de robustez en materia de
medición del impacto de la política pública
prevista, y la evidencia que ofrecen no merece
la misma confianza. Para ello, es necesario
evaluar la calidad de dichas evidencias.
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

2.3. La escala de las

evidencias
Como señalábamos, el uso de diferentes
métodos de recogida de información supone
evidencia de diferentes niveles de calidad.
Por ello, es necesario establecer algún tipo de
gradación en la consistencia y la calidad de la
evidencia recogida, de manera que, cuanto ma-
yor sea su calidad, más consistentes serán las
expectativas de efecto que genere la política
pública experimentada.
Para facilitar la interpretación de la robustez de
la evidencia empírica, la agencia británica Nesta
ha elaborado una «escala» de la evidencia, de
manera que podamos hacernos una idea de la
calidad de nuestra experimentación. Así, Nesta
divide las categorías de la evidencia experimen-
tal en cinco niveles, donde el nivel 1 es el más
básico, y el 5, el más completo (Nesta, 2013):
• En el nivel 1, los decisores públicos tienen
la capacidad de describir la política pública,
explicar por qué es importante y hacerlo de
una manera lógica y convincente, a través
de una serie de razones.
• En el nivel 2, quienes deciden las políticas
públicas son capaces de mostrar datos que
señalan un cambio en la población objetivo,
pero no son capaces de confirmar que ese
cambio está producido por las políticas
públicas aplicadas.
• En el nivel 5, el más desarrollado, los de-
cisores públicos tienen además manuales,
sistemas y procedimientos que aseguran
la capacidad de replicar el experimento y
su capacidad de generar impactos.
En estos cinco niveles, el nivel mínimo acepta-
ble para emprender una política pública se sitúa
en el primer peldaño de la escalera, mientras
que la mayoría de las evidencias recogidas, en
la práctica, se situarían en el nivel 2, todavía en
los escalones más bajos. Los métodos expe-
rimentales y cuasiexperimentales comienzan
en el nivel 3, y el nivel 4, donde son una o más
evaluaciones independientes las que otorgan
la fortaleza de la evidencia, supone el máximo
nivel de experimentación. En el nivel 5, esas eva-
luaciones independientes son complementadas
con herramientas y mecanismos de control que
aseguran la replicabilidad y escalabilidad de los
experimentos desarrollados.
El estándar de evidencia de Nesta no es la
única escala de calidad de la evidencia, sino
que podemos identificar otros métodos de
valoración de la evidencia. En la siguiente tabla
aparecen otros métodos similares.

• En el nivel 3, los decisores públicos pue-

den demostrar la causalidad de los efectos
entre el grupo de tratamiento y el grupo de
control, aplicando diferentes metodologías.

• En el nivel 4, quienes determinan las

políticas públicas cuentan con una o más
evaluaciones independientes que replican y
confirman las conclusiones sobre los efec-
tos de una política pública. En este nivel de
evidencia, se puede explicar cuál es el grado
de efecto y cómo se produce dicho efecto
sobre la población.
21
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

niveles de evidencia experimental

BASGSAW PETTICREW Y ROBERTS

Nivel 5: Estudios de caso sin

Informes de casos
control

Nivel 4: Estudios sin aleatori-

Estudios transversales
zar, con controles históricos

Nivel 3: Estudios observacio-

Estudios de caso con control
nales sin aleatorizar

Nivel 2: Controles aleatoriza-

Estudios de cohorte
dos de pequeño tamaño

Nivel 1: Controles aleato-

rizados de gran tamaño y RCT con resultados no definitivos
robustez estadística

RCT con resultados definitivos

Análisis sistemáticos y metaanálisis

Fuente: Breckon (2020)

Podemos por lo tanto señalar que cuanto
mayor sea el grado de análisis, de aleatorie-
dad y el número de experimentos analizados,
mayor será la robustez de la evidencia em-
pírica recogida. De manera que, cuando esto
sea posible, es preferible una política pública
que esté soportada por evidencia recogida en
experimentos con réplicas múltiples, antes
que en un único experimento o estudio.
2.4. Fases de un modelo
de experimentación pú-
blica
Tras haber descrito algunos de los principales
modelos de experimentación pública, así como
las escalas sobre la calidad de la evidencia
recogida, pasaremos a describir brevemente
cuáles son las fases para la generación de
experimentación pública. Para ello, establece-
remos las siguientes fases:
• Selección y diseño del experimento.
• Ejecución.
• Análisis de resultados.
2.4.1. Selección y diseño del
experimento
La primera fase de un experimento es su selec-
ción y diseño. En ella deben establecerse los
objetivos y propósitos del experimento, inclu-
yendo qué es exactamente lo que se quiere
comprobar, a través de la determinación de
una teoría del cambio y la selección de unas
hipótesis para contrastar.
Entendemos por teoría del cambio el modelo
causal que presupone cómo una determinada
política pública va a generar cambios en la
realidad. En nuestro ejemplo de las clases de
apoyo, la teoría del cambio asociada nos lleva-
ría a establecer que un apoyo más específico
y personalizado permite aprovechar mejor las
capacidades individuales de las personas parti-
cipantes, apoyar sus lagunas educativas de un
modo más personalizado y mejorar sus com-
petencias y habilidades para el aprendizaje, de
manera que estos elementos llevan asociados
una mejoría en los resultados académicos.
En otras palabras, la teoría del cambio intenta
explicitar ex ante cómo funciona la política
pública.

22
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
Esta teoría del cambio está sujeta a diferentes
hipótesis, que son aquellas que queremos
contrastar con la realidad. Una hipótesis es
una suposición sobre la que se basa el funcio-
namiento de nuestra teoría del cambio. Como
tales, las hipótesis deben ser contrastables,
medibles y discretas. El carácter de contrastabi-
lidad —o falsabilidad, en filosofía de la ciencia—
supone que una hipótesis puede ser confirmada
o desmentida por la evidencia recogida. Si no lo
es, no puede ser considerada científica y llevará
a un diseño deficiente del experimento.
Supongamos que queremos comprobar nues-
tra teoría del cambio y llegamos a la hipótesis
de que aquel alumnado que se compromete
con un programa de mejora educativa será
bendecido por la diosa Fortuna y que esta
diosa hará que sus calificaciones académicas
sean mejores. En este caso, la hipótesis no se
puede contrastar —no sabemos cómo con-
firmar o rechazar la hipótesis de una deidad
favorecedora de los estudiantes que se lo
merezcan— y, por lo tanto, no sería válida para
la experimentación.
En segundo lugar, las hipótesis deben ser
medibles. De no ser así, será imposible analizar
el impacto de la política pública en términos
comparativos. Los avances en el tratamiento
de datos y en las métricas hacen que podamos
encontrar aproximaciones a prácticamente
cualquier variable, incluyendo autopercepcio-
nes personales. En nuestro caso, una hipótesis
que señale que el apoyo escolar hará que los
niños sean mejores estudiantes, en sí misma,
no es medible, pero utilizando las califica-
ciones académicas podemos establecer un
marco de medición. De la misma manera, no
podemos conocer el nivel de felicidad de una
población, pero las encuestas de autopercep-
ción nos darán resultados aproximados que sí
son medibles y comparables.
En tercer lugar, las hipótesis deben ser dis-
cretas, en el sentido de que deben estar aco-
tadas para ser correctamente interpretables.
Establecer como hipótesis que «el apoyo
escolar ayuda a tener mejores estudiantes» es
demasiado genérico y puede ser interpretado
de múltiples maneras. Deberíamos entonces
refinar la hipótesis hasta, por ejemplo, llegar
a una como la siguiente: «El establecimiento
de un programa de apoyo individualizado de
dos horas semanales por parte de un profesor
particular mejora el rendimiento académico de
los niños participantes».
Una vez establecida la teoría del cambio y sus
hipótesis, se deben determinar los objetivos
del experimento, esto es, qué hipótesis de las
contenidas en la teoría del cambio se deben
contrastar empíricamente. Para ello, es esen-
cial establecer adecuadamente las preguntas
que se quieren responder con el experimento.
Una vez determinados los objetivos —qué
preguntas se quieren contestar—, ha llegado
el momento de proceder a los diferentes ele-
mentos de diseño del experimento. En primer
lugar, se debe comprobar que se dispone de los
recursos financieros y técnicos necesarios para
su desarrollo. Se debe elegir cuál es el mejor
momento para el desarrollo del experimento
—durante la intervención, dos meses después
de la intervención, un año después— y proceder
a la identificación y selección de los grupos de
tratamiento y control.
Los grupos de tratamiento y control, en el
escenario ideal de desarrollo de un RCT, deben
ser elegidos sobre una población que compar-
ta las mismas características y contexto, de
manera que se eviten en lo posible los sesgos
de selección. Existen diferentes estrategias de
selección de los grupos (Glennerster y Takava-
rasha, 2013):
• Aleatorización sencilla o «lotería básica»:
Se sortea la participación en el programa
entre todas las personas que son elegibles
para este, y se conforma el grupo de control
con quienes no participan. Esta modalidad
es solo asumible cuando no participar en
el programa es aceptable para quienes se
quedan en el grupo de control.
23

• Aleatorización en el punto de corte: Se
eligen los grupos de tratamiento y control
entre quienes se encuentran alrededor del
punto de corte —por ejemplo, un criterio de
elegibilidad—, de manera que ambos grupos
compartan el resto de las características.
La dificultad de este método es que solo
mide los impactos del programa social
entre aquellas personas que están cerca del
punto de elegibilidad.
• Aleatorización en el proceso de entrada:
Se «sortea» el momento de entrada en el
programa y se utiliza como grupo de control
a aquellas personas que todavía no habrían
accedido a él. Este tipo de selecciones de
los grupos solo es factible cuando existe
tiempo suficiente para medir los impactos
del programa, ya que los sucesivos grupos
de control terminarían entrando a lo largo
del tiempo.
Cada una de estas estrategias tiene sus
ventajas e inconvenientes, pero en cualquier
caso deben estar sujetas a algunas condicio-
nes esenciales. Tanto el grupo de tratamiento
como el de control deben compartir las mis-
mas características y condicionantes. En la
medida en que ambos grupos compartan esas
características y contexto, el experimento será
lo suficientemente robusto en términos esta-
dísticos.
Por último, se deben analizar el tipo de infor-
mación que se desea conseguir y los métodos
de recolección. Estos pueden ser una encues-
ta, datos administrativos, resultados de test,
etcétera, dependiendo de las hipótesis que
queramos testar y de los indicadores que se
hayan elegido para el desarrollo del experimen-
to. En nuestro ejemplo sobre los programas de
apoyo escolar, el tipo de información que se
requiere son las calificaciones de los estudian-
tes, pero también se podrían medir efectos a
través de encuestas y entrevistas individuales.
24
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
2.4.2. Ejecución
Una vez diseñado el experimento, se avanza a
la fase de ejecución. Si se trata de una política
pública nueva, el momento de la ejecución
incluye la puesta en marcha del programa o
política pública dirigida al grupo de tratamien-
to, mientras que se mantienen los elementos
básicos en el grupo de control.
Llegado el momento, tal y como se ha estable-
cido en el diseño del experimento, se recoge
la información prevista para desarrollar la
comparación, de acuerdo con los indicadores
programados. Esto se puede hacer acudiendo
a los registros correspondientes, realizando
entrevistas y encuestas a ambos grupos y
procediendo a las mediciones pertinentes.
Durante esta fase de ejecución nos podemos
encontrar con diferentes problemas que deben
ser tenidos en cuenta, como, por ejemplo:
• Abandonos en el grupo de tratamiento:
Puede que algunos miembros del grupo de
tratamiento hayan abandonado el experi-
mento, por múltiples motivos. Estos aban-
donos deberían tenerse en cuenta.
• Grupo de control que ha iniciado un pro-
grama alternativo: Supongamos que quere-
mos hacer un experimento sobre el ingreso
mínimo vital y parte del grupo de control ha
comenzado a percibir una renta autonómica
o una ayuda municipal. Se debe tener en
cuenta este efecto a la hora de desarrollar la
comparativa entre ambos grupos.
• Contaminación del experimento: Las
personas que forman parte de los grupos
de control y de tratamiento comparten sus
sensaciones y percepciones sobre las polí-
ticas públicas desarrolladas, de manera que
«contaminan» sus comportamientos. Un es-
tudiante que no forma parte del experimen-
to de apoyo escolar puede verse impelido a
esforzarse más al ver que sus compañeros
de clase tienen clases de apoyo.
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
• Deseabilidad social: Los participantes
esconden comportamientos socialmente
indeseados y vulneran la integridad del ex-
perimento. Un porcentaje de los estudiantes
con apoyo escolar copian en los exámenes
y no lo declaran a la persona investigadora.
En este caso, el experimento sobredimen-
sionará el efecto del programa de apoyo
escolar, pero la razón es que el alumnado
está desarrollando una práctica que no es
deseable y la oculta en el proceso de inves-
tigación.
Todos estos elementos deben ser tenidos en
cuenta a la hora de ejecutar el experimento, de
manera que tanto el diseño como su ejecución
deben ser muy cuidadosos para evitar que
estos problemas comprometan su validez.
2.4.3. Análisis de resultados
Finalmente, una vez concluido el experimento,
se debe llegar a la fase de análisis de resulta-
dos y su comunicación.
Para el análisis de resultados, se suelen utilizar
herramientas de estimación estadística y eco-
nométrica que permitan determinar los efectos
de las políticas públicas testadas, incluyendo
la comparación entre diferentes alternativas,
en función de los resultados obtenidos. Las
herramientas de contraste de hipótesis llevan
asociadas un nivel de significatividad y un
margen de confianza, de manera que, a mayor
poder estadístico, mayor confianza podemos
mantener en el experimento.
Una vez analizados los resultados, estos de-
ben comunicarse para conformar la base de
toma de decisiones en el diseño de las políticas
públicas. Como veremos más adelante, y como
ya hemos visto en la escala de las evidencias,
la existencia de un único experimento puede
ser insuficiente para confirmar la validez de
una política pública. De esta manera, se puede
desarrollar una serie de buenas prácticas en el
momento de proceder a la comunicación de los
resultados (Medical Research Council, 2013):
• Es necesario involucrar a todas las partes
interesadas para garantizar la relevancia del
experimento.
• Es conveniente proporcionar la evidencia de
manera integrada.
• Se debe insistir en el contexto social, político
y cultural en el que se ha desarrollado el expe-
rimento, para evitar extrapolaciones inadecua-
das.
• Se debe tener particular cuidado en empa-
tizar con la audiencia a la que está dirigida la
comunicación.
• Se deben comunicar los resultados de una
manera sencilla, atractiva y transmisible.
En definitiva, la generación de evidencia, máxi-
me si va a estar dirigida a mejorar las políticas
públicas, debe ser adecuadamente comunica-
da para evitar malas interpretaciones y conclu-
siones que no se correspondan con el experi-
mento. Un buen ejemplo que se puede citar es
el del experimento desarrollado en Finlandia
con la renta básica. El objetivo era determinar
si una renta universal implicaba una mejoría en
la búsqueda de empleo frente a otros meca-
nismos de apoyo. El resultado del experimento
fue que los perceptores de la renta básica
tenían las mismas probabilidades de encontrar
un empleo que los perceptores de otros meca-
nismos de apoyo, y que, de manera adicional,
mejoraban en gran medida su calidad de vida.
Los medios de comunicación se hicieron eco
del experimento señalando que la renta bási-
ca había fracasado, sin matizar cuáles eran
la pregunta del experimento, sus objetivos, el
contexto en el que se había desarrollado y sus
resultados completos.
25

2.5. La aplicación de re-
sultados de la experi-
mentación pública
La realización de experimentos mejora la ca-
lidad de las políticas públicas al proporcionar
robustez empírica a la teoría del cambio aso-
ciada a ellas. Cuanto mayor sea esta robustez,
mayor será la fortaleza con la que se pueden
confirmar las hipótesis que acompañan a una
política pública, mitigando el riesgo de poner
en marcha políticas públicas no basadas en la
evidencia, con escasos efectos o mal diseña-
das.
Sin embargo, el uso de esta evidencia en el de-
sarrollo de políticas públicas no es automático,
pues hay aspectos que deben ser adecuada-
mente considerados. En primer lugar, se debe
tener en cuenta la validez externa de los experi-
mentos: una política pública desarrollada en un
determinado contexto puede no tener validez
fuera de ese contexto, por múltiples motivos.
Puede que el entorno regulatorio, sociocultural
o económico sea lo suficientemente diferente
como para invalidar la eficacia de una extrapo-
lación automática de los resultados. El progra-
ma de apoyo escolar que ha funcionado en
un país del norte de Europa puede no hacerlo
en un país del sur, de manera que, a la hora de
aplicar los resultados, estos condicionantes se
deben tener en cuenta.
Según Cartwright y Hardie (2012), hay tres
elementos que nos pueden hacer pensar que
un experimento desarrollado en un contexto
pueda ser válido en un contexto diferente:
• La política pública juega el mismo papel
en un sitio y en otro.
• Existen los mismos procesos de apoyo.
• Los resultados del RCT son robustos.
26
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
Por esta misma razón, la escala de las eviden-
cias propone fortalecer su validez favorecien-
do la replicabilidad de los experimentos, de
manera que las políticas públicas que estén
basadas en múltiples experimentos, en dife-
rentes contextos y con revisiones sistemáticas
y metaevaluaciones tendrán una base más
sólida que aquellas que están basadas en una
única prueba. Por ello, es necesario completar
las conclusiones de los experimentos con in-
formación proveniente de otros experimentos
similares, y realizar una valoración en conjunto
sobre la viabilidad y factibilidad de poner en
marcha una determinada política pública.
2.6. La experimentación
en la práctica
Con todo lo que se ha señalado, los experi-
mentos en políticas públicas suponen una
poderosa herramienta para el diseño, puesta
en marcha y promoción de políticas públicas
innovadoras basadas en la evidencia. Subsis-
ten, sin embargo, algunos elementos que, en
términos prácticos, son de importancia a la
hora de poner en marcha este tipo de iniciati-
vas.
En primer lugar, la necesidad de establecer los
adecuados marcos de referencia y colabora-
ción para la puesta en marcha de experimen-
tos públicos. Los experimentos públicos se
desarrollan en el mundo real y, por lo tanto, son
muchos los condicionantes que afectan a su
viabilidad. En muchos casos, la puesta en mar-
cha de experimentos puede verse facilitada por
el establecimiento de sandboxes, que permiten
entornos controlados para la experimentación
y la evaluación de los resultados.
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
El 'sandbox' regulatorio
como marco para la
experimentación
En muchas ocasiones, los experimentos no se
pueden desarrollar en condiciones regulatorias
y legales reales. Para ello, puede ser de utilidad
el establecimiento de un sandbox regulatorio
como marco en el que desarrollar los experi-
mentos.
De acuerdo con el informe «Regular el futuro»
de la Fundación COTEC:
El sistema sandbox permite conocer en
mayor profundidad los beneficios y riesgos
de un nuevo producto o modelo de negocio,
dando la posibilidad de afinar y ajustar las
innovaciones en un entorno de mercado.
De esta forma, se minimiza la inseguridad
jurídica y se ayuda a mejorar el acceso a
la inversión al ofrecer un marco seguro y
predecible a los proyectos de innovación. Al
mismo tiempo, facilita la colaboración entre
Administraciones, empresas y ciudadanos,
contribuyendo a modernizar el contexto
regulatorio de las actividades productivas y,
por encima de todo, asegurando la protec-
ción de los derechos de los ciudadanos.
De esta manera, los sandboxes pueden su-
poner entornos adecuados para el estableci-
miento de experimentos públicos, evitando las
dificultades regulatorias existentes.
Más allá de los problemas legales, existen
otros problemas que afectan al desarrollo de
los experimentos públicos, como por ejemplo
los problemas éticos. La ética de los experi-
mentos ha sido muy debatida, partiendo de la
idea de que se está experimentando con seres
humanos, y, por ejemplo, se está negando al
grupo de control una política o tratamiento al
que tendría derecho, o se desarrollan políticas
experimentales que terminan empeorando las
condiciones o calidad de vida de las personas
que forman parte del grupo de tratamiento.
Estos aspectos éticos son lo suficientemente
relevantes como para tenerlos en cuenta en el
diseño de las intervenciones. Algunas Admi-
nistraciones, como el Gobierno finlandés, han
establecido códigos éticos para el desarrollo
de la experimentación pública (Hopkins et al.,
2020).
Otro de los aspectos que se deben tener en
cuenta es el coste y el consumo de recursos
necesario para el desarrollo de un experimen-
to público. Los RCT suelen ser metodologías
caras de implementar, y vienen asociadas a
importantes inversiones en materia de ase-
soría, recursos humanos, capacidades de
recolección y tratamiento de datos, entre otros
conceptos. De esta manera, se debe dimensio-
nar adecuadamente el experimento que se va
a desarrollar en función de los recursos de los
que se dispone, siempre teniendo en cuenta
que el coste más alto es, en definitiva, el coste
de una política pública que no ha sido testada
y de la que no se conocen sus resultados ni su
impacto.
Finalmente, los experimentos como los RCT
nos explican si una política pública funciona o
no, y en qué grado, pero nos dicen poco sobre
por qué o cómo funciona en la realidad. Por
esta limitación, los experimentos basados en
la aleatorización suelen complementarse con
otros análisis cualitativos o de otro tipo, que
permiten conocer, con mayor amplitud, todos
los aspectos relacionados con dichas políticas
(es el caso de los análisis coste-beneficio, que
permiten medir la eficiencia de las intervencio-
nes de una política pública).
27
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

expe
rimen
tación
públi
ca a ni
vel
interna
cional

03.
28
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Este apartado presenta de manera general la
evolución de la experimentación en el mundo,
mapea las instituciones que realizan y apo-
yan este tipo de intervenciones y clasifica la
experimentación por diferentes tipos de uso;
en concreto, según el ámbito territorial en el
que se hayan implementado, el momento en
el ciclo de políticas, los objetivos de la experi-
mentación, los destinatarios y, por último, los
sectores temáticos. También se incluye una
sección sobre los elementos facilitadores de la
experimentación a partir del análisis anterior. A
lo largo de esta sección, la información pro-
porcionada se ilustra con ejemplos y al final se
realiza una descripción en detalle de dos de los
casos.
3.1. Quién lo hace
Existen numerosos Gobiernos, organizaciones
internacionales, organizaciones no guberna-
mentales, universidades y empresas privadas
en todo el mundo que realizan investigaciones
con métodos experimentales con el objetivo de
que las políticas públicas se basen en eviden-
cias. En otras palabras, a nivel internacional
hay un alto grado de institucionalización de
este tipo de prácticas, pero, al mismo tiempo,
una inmensa pluralidad en el tipo de institucio-
nes que las realizan.
Canadá, Dinamarca, Francia, Alemania, Países
Bajos, Singapur y Estados Unidos, comenzaron
a conformar sus propias unidades. Según la
OCDE en 2018 existían ya más de doscientas
instituciones en el mundo que incorporaban
enfoques de las ciencias del comportamiento
en sus políticas públicas1.
Sin embargo, la integración de la experimen-
tación pública en los Gobiernos presenta una
configuración institucional variada. En algu-
nos casos es centralizada, lo que significa que
se crea una unidad dentro del Gobierno que
promueve el uso de la evidencia (por ejemplo,
en Australia). En otros, es distribuida, de forma
que diferentes departamentos del Gobierno
desarrollan sus propios proyectos basados en
estos enfoques (por ejemplo, el MineduLAB de
Perú). Y el último caso es un modelo en red,
en el que cada ministerio tiene un equipo de
experimentación pública que trabaja de forma
coordinada (por ejemplo, en los Países Bajos).

A continuación, se realiza una breve descrip-

ción del tipo de instituciones que incorporan o
fomentan la experimentación en sus interven-
ciones, resaltado algunas de ellas.

Gobiernos

Al inicio de la década de 2010 un grupo reduci-

do de Gobiernos comenzó a aplicar las cien-
cias del comportamiento y al mismo tiempo
los ensayos controlados aleatorizados (RCT,
por sus siglas en inglés) en el diseño, imple-
mentación y evaluación de sus políticas. El
Reino Unido, con la creación del Behavioural In-
sights Team (BIT), lideró este movimiento, y no
mucho más tarde otros países, como Australia,
1. https://www.oecd.org/gov/regulatory-policy/behavioural-insights.html.

29
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

BETA2
BETA es la unidad del Gobierno central australiano que trabaja para aplicar la ciencia del com-
portamiento a las políticas públicas, vinculando investigaciones económicas, psicológicas y de la
ciencia del comportamiento para diseñar y realizar experimentos en su aplicación a las políticas
públicas.

minedulab

El Minedu en Perú impulsa la generación de evidencia oportuna y rigurosa que guíe la toma de
decisiones de política y apuesta por el MineduLAB desde el 2014. Este es el primer organismo
público en Latinoamérica que institucionaliza el uso de evidencia para el desarrollo de su sector.

behavioural insights network netherlands (bin nl)

El BIN NL es una colaboración entre los ministerios holandeses para la aplicación de aprendizajes
basados en la ciencia del comportamiento en el Gobierno de los Países Bajos.

Organizaciones
internacionales Asimismo, estas organizaciones cuentan con
un importante volumen de iniciativas de experi-
A nivel de organismos internacionales se mentación, y se enfocan en la diseminación de
emplea, promueve y financia la experimenta- conocimiento y aprendizajes mediante reposi-
ción pública desde el inicio de siglo. Algunas torios de publicaciones y otros recursos.
organizaciones han sido pioneras en fomentar
el uso de ensayos controlados aleatorizados
en países en vías de desarrollo. Por ejemplo,
desde 2010 aproximadamente dos tercios
de las evaluaciones del Banco Mundial son
experimentales (Bédécarrats, Guérin y Rou-
baud, 2015). También se está fomentando por
parte de organizaciones internacionales, como
la OCDE y la Comisión Europea, el uso de RCT
entre los países con menos experiencias en
este ámbito.

En cuanto a la aplicación de las ciencias del

comportamiento, también existen varias unida-
des dentro de organizaciones internacionales
dedicadas a su promoción, entendida como la
construcción de capacidades o el asesora-
miento y apoyo a Administraciones públicas.

2. En los títulos de las instituciones se encuentran los enlaces de sus páginas web.

30
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

unión europea
El Centro Común de Investigación más conocido, el JRC, es una Dirección General de la Comisión
Europea que se encarga de proporcionar asesoramiento científico y técnico a la Comisión y a los
Estados miembros de la UE en apoyo a sus políticas. Por ejemplo, en la unidad de behavioural in-
sights analizan y diseñan las políticas de la UE empleando el enfoque de las ciencias del compor-
tamiento. Asimismo, esta y otras instancias de la UE también apoyan el uso de las evaluaciones
de impacto experimentales y cuasiexperimentales, por ejemplo, en las subvenciones de Fondos
Europeos3.

banco mundial
El Banco Mundial es otro organismo internacional que ha sido pionero en fomentar y financiar la
experimentación pública, sobre todo las evaluaciones de impacto; por ejemplo, mediante la Deve-
lopment Impact Evaluation (DIME) y el Strategic Impact Evaluation Fund (SIEF). También tiene una
unidad especializada (la eMBeD, por sus siglas en inglés), que emplea la investigación basada en
el comportamiento para formular políticas de desarrollo más eficaces.

ocde
Desde 2013 la OCDE apoya a diversas instituciones públicas que están aplicando la experimenta-
ción para mejorar las políticas públicas. Cuentan con diversas publicaciones para fomentar este
tipo de procesos y también recogen las experiencias de los países en este ámbito. Dentro de la
OCDE, el Observatorio de Innovación del Sector Público (OPSI) también trabaja temas de experi-
mentación pública.

banco interamericano de desarrollo

Durante casi una década, el BID ha incorporado conocimientos sobre el comportamiento en
sus proyectos, en el diálogo con los países y en el diseño de políticas. El grupo de economía del
comportamiento es la unidad que se encarga de hacer estas investigaciones, capacitaciones y
asesoramientos.

Otras instituciones

Además de las instancias públicas, existen

numerosas ONG, fundaciones, entidades o em-
presas privadas que se dedican a realizar este
tipo de experimentos o a asesorar sobre cómo
desarrollarlos, acompañando a organismos
públicos. Este tipo de organizaciones están
siendo fundamentales a la hora de impulsar el
uso de este tipo de metodologías, proporcio-
nando información y conocimiento especializa-
do sobre ellas.

3. En este documento, cuando se habla de evaluaciones de impacto se hace referencia a aquellas con carácter cuasiexperimental o experimental, sin perjuicio
de que se pueda evaluar el impacto con otras técnicas.

31
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Abdul Latif Jameel Poverty Action Lab (J-PAL)

Es una red de 262 profesores provenientes de 91 universidades alrededor del mundo. Su misión
es reducir la pobreza, garantizando que las políticas públicas estén informadas por evidencia
científica mediante la realización de experimentos aleatorizados para probar y mejorar la eficacia
de programas y políticas sociales, realizar incidencia política y capacitaciones.

Nesta
Nesta es la agencia del Reino Unido para innovación social. La organización actúa a través de
una combinación de programas, inversiones, políticas e investigación, y mediante la formación
de asociaciones para promover la innovación en una amplia gama de sectores. En particular, el
Innovation Growth Lab (IGL) tiene un papel destacado fomentando el uso de RCT. En 2021 Nesta
adquirió el Behavioural Insights Team, también conocido como Nudge Unit.

Ideas 42
Ideas 42 es una ONG internacional que emplea las ciencias del comportamiento para resolver los
problemas sociales más complejos en educación, salud, participación ciudadana, salud financiera,
justicia económica, seguridad y justicia, medios de subsistencia, gobernanza global y sostenibili-
dad medioambiental.

Innovations for Poverty Action

Innovations for Poverty Action (IPA) es una organización estadounidense de investigación y polí-
ticas sin ánimo de lucro que desarrolla y comparte los resultados de RCT con el objetivo de que
las políticas de reducción de la pobreza estén basadas en evidencia. Desde su fundación en 2002,
IPA ha trabajado con más de cuatrocientos académicos líderes para realizar más de seiscientas
evaluaciones en 51 países.

Mathematica

Desde hace más de cincuenta años Mathematica ha evaluado la efectividad de las políticas y los
programas en Estados Unidos (desde 2018 también internacionalmente) con el objetivo de mejo-
rar el bienestar social. Mathematica dirigió el primer experimento social en EE. UU.

Taftie
La Asociación Europea de las Principales Agencias Nacionales de Innovación (Taftie, por sus
siglas en inglés), apoyada por el Innovation Growth Lab de Nesta, ha creado un grupo de trabajo
sobre experimentación pública (Experiment!) conformado por veinte agencias de innovación, con
el objetivo de formarlas sobre cómo fomentar y realizar sus propios experimentos.

32
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

En la misma línea, muchas universidades del
mundo tienen centros en los que se investiga
sobre la experimentación pública y se promue-
ve su utilización. Destaca el trabajo realizado
por el Center for Behavioral Science and Public
Policy (Princeton University), Behavioural Eco-
nomics in Action at Rotman (BEAR) o Institute
for Data, Systems and Society (MIT), entre
otros muchos centros.
Uno de los aspectos que se han desarrollado
tanto desde instituciones públicas como pri-
vadas ha sido la puesta en marcha de fondos
que financian el desarrollo de iniciativas
experimentales, fomentando y visibilizando
este tipo de prácticas. Por ejemplo, desde el
Gobierno francés con el FEJ (Fonds d’Expéri-
mentation pour la Jeunesse) y el FID (Fund for
Innovation in Development), desde el Gobierno
británico con el Business Basics Fund, desde
la Comisión Europea con los proyectos de
Horizonte 2020 mediante el programa INNO-
SUP-06, o desde organizaciones como Nesta
con el IGL Grants Programme, e incluso funda-
ciones como Education Endowment Founda-
tion, que ha financiado alrededor de 130 RCT
para mejorar los resultados educativos.
En este sentido, cabe destacar que la realiza-
ción de evaluaciones de impacto en países
en vías de desarrollo se ha incrementado
notablemente en los últimos años (Cordunea-
nu-Huci, Dorsch y Maarek, 2021). El repositorio
Development Evidence Portal4 de la Internatio-
nal Initiative for Impact Evaluation indica que
desde 1990 hasta 2022 se han identificado
10.004 evaluaciones de impacto5, y su uso se
ha incrementado notablemente a lo largo de
los últimos años (gráfico 3). Los diez países en
los que se ha desarrollado un mayor número
de evaluaciones de este tipo, por orden, son
China, India, Brasil, Kenia, Irán, Bangladesh,
Uganda, México, Sudáfrica y Etiopía. Entre
estos, China destaca de manera considerable
como país pionero en la realización de expe-
rimentos, ya que, desde los ochenta, es una
práctica institucionalizada del Gobierno chino
realizar experimentos de políticas a nivel regio-
nal antes de implementarlas nacionalmente
(Wang y Yang, 2021). Los temas en los que se
han realizado experimentos6 son sobre desa-
rrollo humano y desarrollo rural principalmente.

3.2. Cuándo y dónde se

está haciendo experi-
mentación pública

Aunque muchos países en vías de desarrollo

no fomenten la experimentación pública desde
sus instituciones gubernamentales, organiza-
ciones de otros países, sobre todo en Estados
Unidos, realizan un importante esfuerzo por
realizar experimentos en estos lugares. Un
ejemplo de ello es el J-PAL, que, como se ha
mencionado en capítulos anteriores, es una
unidad de investigación con sede en el MIT
que tiene como objetivo principal contribuir a
la mejora de la situación y el desarrollo de los
países con mayores tasas de pobreza.

4. https://developmentevidence.3ieimpact.org/.
5. No se cuenta con un dato relativo sobre el total de evaluaciones realizadas en este ámbito.
6. Analizando el repositorio de Impact Evaluation: https://developmentevidence.3ieimpact.org/.

33
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

gráfico 3. Evolución de evaluaciones de impacto de

desarrollo internacional

Fuente: Elaboración propia a partir de Development Evidence Portal

La expansión de este fenómeno a países tamiento7 destacan los países anglosajones

más desarrollados ha sido desigual, en parte, como Australia (con 22 unidades), Estados
porque ya existían unas dinámicas preestable- Unidos (20), Reino Unido (15) y Canadá (11), y
cidas a la hora de planificar políticas públicas también otros como Países Bajos (15), Francia
e incluso de evaluar intervenciones. Estos (7) y Brasil (5).
procedimientos son especialmente difíciles de
establecer en países que no están tan cen-
trados en analizar los resultados y el uso de
evidencia para informar las políticas públicas, a
diferencia de los países de cultura anglosajona,
en los que sí está muy consolidado. Sin embar-
go, en los últimos años se está evidenciando
un cambio de mentalidad significativo y la
experimentación pública cada vez se ve como
una alternativa más atractiva.

Por ejemplo, según la base de datos del Obser-

vatorio de Innovación del Sector Público de la
OCDE (OPSI, por sus siglas en inglés), existen
en la actualidad 176 unidades con capaci-
dad de influir en las políticas públicas en 44
países del mundo, y algunas organizaciones
internacionales que trabajan o incorporan a
su trabajo las ciencias del comportamiento.
Estas instancias forman parte del Gobierno de
los países, regiones o municipalidades en su
mayoría, pero también existen instituciones
privadas y de la academia. Entre los países con
un mayor número de unidades del compor-

7. Todos los países sombreados en el mapa tienen al menos tres unidades del comportamiento.

34
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

ilustración 1. Países con un mayor número de instancias que

incorporan las ciencias del comportamiento

Fuente: Elaboración propia a partir de Behavioural Insights Units (OPSI) y Mapchart

Esta aproximación nos ofrece una idea de
qué países trabajan en mayor medida em-
pleando la perspectiva conductual, si bien la
información debería ser tomada con cautela
por diversos motivos. En primer lugar, esta
base de datos solo considera las unidades que
trabajan con las ciencias del comportamiento,
y por tanto no incluye organizaciones que, por
ejemplo, emplean técnicas experimentales
mediante el uso de RCT sin enfoques conduc-
tuales. En segundo lugar, esta es una base de
datos reciente, en la que las propias unidades
deben proporcionar la información a la OCDE,
y es posible que algunas unidades no estén
recogidas en ella. Por último, este mapa no
refleja dónde se realizan estos experimentos,
puesto que, como se ha dicho anteriormente,
puede que ciertas organizaciones (nacionales
y sobre todo internacionales) tengan sede en
un país, pero el desarrollo de los trabajos se
realice en otros.
de diseñar una unidad de estas característi-
cas qua apoyara en el diseño de servicios al
conjunto de los ministerios y organismos de la
AGE8, pero esta propuesta no llegó a prospe-
rar, y tampoco en la base de datos de OPSI se
identifica un número considerable de unidades
privadas que presten servicios en el diseño de
políticas conductuales9.
Por último, el auge de la experimentación pú-
blica no ha sido lineal. Hay ejemplos de países
que, dependiendo del Gobierno del momento,
fomentan o no este tipo de iniciativas. Uno de
los casos más claros fue la creación del equi-
po de ciencias humanas y del comportamiento
(SBST por sus siglas en inglés) por parte del
Gobierno del presidente Obama, que se disol-
vió en 2017 con el cambio de gobierno.

Cabe destacar que España no se encuentra

entre los países que cuentan con un número
significativo de unidades del comportamiento.
En 2018, la Fundación Felipe González puso
de manifiesto en su documento de 37 ideas
o pequeñas reformas de la AGE la necesidad
8. https://s1.fundacionfelipegonzalez.org/wp-content/uploads/2019/02/unidad-administrativa-de-vanguardia.pdf.
9. Únicamente se reportan Open Evidence (https://open-evidence.com/) y el Behaviour Design Lab de la Universitat Oberta de Catalunya (https://psinet.uoc.
edu/behavior-design/). Si bien se conocen otras universidades españolas y centros de investigación privados que trabajan en este campo (como se recoge en el
apartado 6.4), es frecuente que no exista el vínculo con la AGE.

35
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

3.3. A qué nivel territo- Supranacional

rial se hace

Tras realizar un repaso sobre qué organismos
están trabajando en el ámbito de la experi-
mentación a nivel internacional, así como su
evolución en los últimos años, a continuación
se va a analizar el tipo de proyectos que se
desarrollan en función del nivel territorial.
Desde este apartado en adelante, cada uno
de los niveles va acompañado de unas fichas
donde se exponen algunas de las experiencias
en ese ámbito.
Este nivel se refiere a organismos internacio-
nales, como la Unión Europea, que utilizan este
tipo de prácticas para diseñar, implementar o
evaluar sus políticas, y también a las organiza-
ciones que realizan un experimento en varios
países a la vez, generalmente para poder
extrapolar los resultados a nivel supranacional.
Los dos tipos de aplicación son similares, por-
que en el primero, generalmente, la experimen-
tación también se realiza en un número deter-
minado de casos, aunque luego su aplicación
transcienda a los países en los que se hayan
hecho los experimentos.

Diseño del etiquetado energético de la UE10

Unión Europea (Eslovenia, Francia, Italia, Noruega, Polonia, Portugal, Reino Unido, República Checa
Ámbito territorial
y Rumanía)

Entidad gestora Comisión Europea

Entidad evaluadora London Economics e Ipsos

Periodo de análisis 2014

Problema El uso de productos energéticamente ineficientes se deriva, en parte, de su etiquetado poco claro.

El estudio explora la comprensión de la etiqueta energética por parte de los consumidores y cómo
Solución/es
influye su diseño en la elección de las personas.

Metodología Dos experimentos conductuales online mostrando diferentes etiquetados.

Las escalas de eficiencia energética que incluyen letras en lugar de números suelen ser mejor
comprendidas por los consumidores. Hay evidencia de que las etiquetas con letras (y no con
Resultados números), y en mayor medida las que tienen una escala de la A a la G en comparación con las
escalas de A+++ a D, hacen que más consumidores elijan productos energéticamente eficientes.
El estudio informó el etiquetado promovido por la Comisión Europea en 2015.

Como en el ejemplo a continuación, muchas

veces este tipo de experimentos tienen resul-
tados diferentes dependiendo del país en el
que se apliquen, recalcando la importancia
del contexto e ilustrando los problemas de
validez externa que pueden tener este tipo de
estudios. Por ello, se deben tomar las debidas
precauciones a la hora de escalar intervencio-
nes de un lugar a otro, porque frecuentemente
los resultados pueden variar entre territorios,
como se ilustra a continuación.
10. La fuente de información se encuentra en forma de vínculo en los títulos de las experiencias.

36
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Mejoramiento de la infraestructura habitacional en los asen-

tamientos de Latinoamérica
Ámbito territorial El Salvador, México y Uruguay

Entidad gestora TECHO Latam

Entidad evaluadora J-PAL

Periodo de análisis 2007-2012

La ONU calcula que casi mil millones de personas, principalmente en países de renta baja y me-
Problema
dia, viven en barrios marginales urbanos y carecen de una vivienda adecuada.

TECHO es una organización no gubernamental dirigida por jóvenes, que trabaja en diecinueve
Solución/es países de América Latina con el objetivo de proporcionar casas básicas prefabricadas a personas
que viven en barrios marginales.

Este estudio mide el efecto de un programa de mejora de las viviendas de TECHO mediante un
Metodología RCT en tres países latinoamericanos, evaluando la calidad de vida, la seguridad y la salud de los
niños.

Las familias que recibieron el programa de viviendas por parte de TECHO estaban más satisfe-
chas con sus casas y su calidad de vida. Los hogares de El Salvador que recibieron una mejora de
la vivienda informaron de cambios sustanciales en su sensación de seguridad (no se reportaron
diferencias significativas en los otros dos países). En El Salvador y México, la salud infantil mejoró
Resultados
gracias al programa TECHO (no se reportaron diferencias significativas en Uruguay).

TECHO Latam considera que los resultados son una manera de demostrar lo que se ha intuido
desde las experiencias en los asentamientos y el contacto constante con sus pobladores11.

País

Como se menciona en apartados anteriores,

muchos Gobiernos nacionales de todo el
mundo han incorporado o están empezando a
incorporar este tipo de prácticas en su ciclo de
políticas públicas. No obstante, independien-
temente de quién realice la experimentación
pública, aunque sea una organización inter-
nacional, la unidad de análisis suele darse a
nivel país o en varios lugares de un único país
con el objetivo de escalar la experiencia a otros
territorios dentro de este.

11. https://techo.org/jpal/.

37
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Apoyar a los hombres para que tomen un permiso parental más

largo y trabajen con flexibilidad
Ámbito territorial Reino Unido

Entidad ejecutora Behavioural Insights Team

Entidad colaboradora Banco de Santander UK

Periodo de análisis 2021

Los hombres tienden a ausentarse menos del trabajo para cuidar de sus hijos que las mujeres.
Una de las muchas explicaciones podría ser que, aunque los hombres desean la baja y apoyan
Problema
a otros que lo hacen, se subestima el apoyo que sus compañeros y compañeras tendrían hacia
ellos.

Solución/es Incentivar/motivar a los hombres para que cojan la baja paternal.

Se desarrollaron dos encuestas como línea de base y dos RCT para los que se diseñaron mensa-
Metodología jes en los que se recalcaba el apoyo de sus compañeros y compañeras de trabajo. En uno de los
RCT se recalcaba el apoyo a la baja paternal, y en el otro, al trabajo flexible.

Aumentó significativamente la intención de los participantes de tomar entre cinco y ocho sema-
nas de permiso parental en comparación con el grupo de control en RCT, pero disminuyó signi-
ficativamente la intención de los participantes de tomar más de dieciséis semanas de permiso.
Resultados
En otras palabras, aunque en general los padres eran más propensos a cogerse la baja de menor
duración, la intervención también hizo que se redujera el número de aquellos que optaban por las
bajas más largas.

Fomentar la asistencia preescolar

Ámbito territorial Uruguay

Entidad gestora Ministerio de Educación

Entidad ejecutora Grupo de Economía del Comportamiento – Banco Interamericano de Desarrollo (BID)

Periodo de análisis 2020

Uruguay ha aumentado sus niveles de cobertura preescolar hasta alcanzar casi la educación
universal para las edades de cuatro y cinco años. Sin embargo, más de una tercera parte de los
Problema niños matriculados en los programas preescolares públicos no asisten regularmente. El absentis-
mo tiende a ser mayor en las escuelas de zonas con un menor nivel socioeconómico, así como en
escolares con peores calificaciones.

Los programas que cambian la mentalidad de los padres, destacando los beneficios de la asisten-
Solución/es
cia preescolar de sus hijos, podrían disminuir el absentismo.

Este estudio evaluó el impacto mediante un RCT de una intervención en Uruguay que usó mensa-
Metodología
jes basados en las ciencias del comportamiento.

Se observó un incremento en la asistencia de entre 0,31 y 0,67 días durante trece semanas de
Resultados
intervención, y en mayor medida en el noreste de Uruguay (1,48 días).

38
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Regional En esta materia, destaca la asociación pionera

Cada vez más, diferentes regiones en el mun-
do están formando sus propios equipos dentro
de los Gobiernos subnacionales para realizar
experimentaciones públicas, o están recibien-
do apoyos de organizaciones especializadas
para incorporarlas en sus prácticas.
entre J-PAL y el Gobierno regional de Tamil
Nadu en India, aún en vigor, que tiene como
objetivo realizar políticas basadas en eviden-
cia mediante la evaluación de programas, el
fortalecimiento de los sistemas de monitoreo
y la mejora de la capacidad de los funcionarios
para generar y utilizar datos.

Aumentar las contribuciones voluntarias en los centros del

Programa de Comidas Colectivas
Ámbito territorial Maryland (Estados Unidos)

Entidad gestora y ejecutora Office of Evaluation Science (Gobierno federal de EE. UU.)

Periodo de análisis 2021

El Programa de Comidas Colectivas ofrece comidas saludables servidas en grupos, con el objeti-
vo de fomentar la salud y el bienestar social de las personas mayores. Las comidas colectivas se
Problema ofrecen sin coste alguno para las personas participantes, pero se ofrece la oportunidad de hacer
una contribución voluntaria al coste del servicio de la comida. Esto se debe realizar de una forma
que no comprometa su participación.

Se diseñó una intervención en la que se colocaban en las mesas tarjetas con distintos mensajes:
una en la que la imagen y el mensaje enfatizaban la naturaleza relacional del programa («Sus
Solución/es contribuciones ayudan a mantener el club de comidas como una parte estable de nuestra comu-
nidad»), y otra en la que las imágenes y el texto enfatizaban la naturaleza recíproca del programa
(«Todas las donaciones se suman al presupuesto del programa de nutrición»).

Metodología Se desarrolló un RCT con dos grupos de tratamiento y un control.

No se observaron resultados positivos ni negativos en el promedio de donaciones, y tampoco

Resultados
ningún impacto en la participación.

Aumentar las contribuciones voluntarias en los centros del

Programa de Comidas Colectivas
Ámbito territorial Alberta (Canadá)

Entidad gestora y ejecutora British Columbia – BC Behavioural Insights Group

Periodo de análisis 2017-2018

Cada año, se pide a los productores de marisco de Columbia Británica que informen de los tipos y
Problema la cantidad de mariscos que procesaron el año anterior. Muchas de estas personas no presentan
su censo o no lo hacen a tiempo.

Se diseñaron recordatorios basados en las ciencias del comportamiento y se observaron los

Solución/es
cambios de un año a otro.

En 2017 se envió un correo electrónico estándar, y en 2018, un correo electrónico con mensajes
Metodología
basados en la ciencia del comportamiento a las mismas personas.

En 2017, el 68 % de los productores de marisco presentaron su reporte, y en 2018, esta cifra fue
Resultados
del 93 %, un aumento de 25 puntos porcentuales.

39
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Local
Después del nivel nacional, el nivel local es el
que más experiencias acumula en experimen-
tación pública. Existen varias iniciativas en
marcha que fomentan este tipo de interven-
ciones en ciudades. Por ejemplo, «What Works
Centre for Local Economic Growth»12, dirigido
por la London School of Economics and Politi-
cal Science (LSE) y el Centre for Cities, y finan-
ciado por el Gobierno británico, se encarga de
analizar qué políticas son más efectivas a la
hora de incrementar el desarrollo económico
local apoyando la realización de evaluaciones
de impacto. El centro ayuda a sus socios loca-
les a planificar y desarrollar evaluaciones.
Asimismo, en Estados Unidos tenemos el caso
de Ideas 42 con el desarrollo del «Citynudge
Accelerator»13, que pretende asociarse con
Gobiernos municipales para diseñar de manera
conjunta nudges que reduzcan el consumo
de agua o de electricidad o que aumenten la
recaudación de los impuestos; y también la ofi-
cina americana del Behavioural Insights Team
y Bloomberg Philanthropies, que han creado
«What Works Cities»14 con el objetivo de aliarse
con varias ciudades de Estados Unidos para
testar intervenciones que emplean técnicas de
economía del comportamiento.

Aumentar el número de residentes que solicitan revisiones

médicas
Ámbito territorial Nueva Orleans (Estados Unidos)

Entidad gestora BIT y Bloomberg Philanthropies

Entidad ejecutora Office of Performance and Accountability (OPA)

Periodo de análisis 2016

Problema Hay muchas personas que no acuden a las revisiones médicas con la frecuencia que deberían.

Solución/es Se mandaron tres tipos de mensajes invitando a la gente a pedir una cita con su doctor.

Metodología Se desarrolló un experimento con tres grupos tratamiento.

Indicar a las personas usuarias que habían sido seleccionadas para una cita con el médico au-
Resultados
mentó un 40 % el número de personas que accedían a programar dicha cita.

Además de estas iniciativas, existen Gobier-

nos locales que también han sido pioneros a
la hora de introducir estas prácticas en sus
ciudades.

12. https://whatworksgrowth.org/.
13. https://www.ideas42.org/cities-project-landing-page/.
14. https://whatworkscities.bloomberg.org/.

40
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Reducir el vertido de basura y objetos voluminosos en las

calles de Westminster
Ámbito territorial Londres (Reino Unido)

Entidad gestora City of Westminster

Entidad ejecutora Ogilvy Consulting’s Behavioural Science Practice

Entidad financiadora London Government Association

Periodo de análisis 2020-2021

En las calles de la ciudad de Westminster se puede ver basura en el suelo, sobre todo, próxima a
Problema
contenedores de basura.

Se crearon dos diseños de contenedores considerando la teoría del comportamiento. Uno de los
diseños utilizó la biofilia, que consiste en exponer a las personas a imágenes de la naturaleza para
Solución/es
que sean más prosociales. El otro añadió «afecto» a las papeleras mediante el uso de personajes
de diseño lúdico.

Metodología Se desarrolló un RCT en doce zonas (cuatro zonas de control y ocho de intervención).

Los contenedores de biofilia no fueron eficaces para reducir el comportamiento de vertido e in-
cluso pudieron haber aumentado ligeramente los residuos en la calle. Sin embargo, esto también
puede indicar que la gente los utilizaba más, pero simplemente los utilizaba de forma incorrecta.
Resultados Las papeleras-afecto redujeron todos los tipos de residuos en términos absolutos, pero este efec-
to no fue estadísticamente significativo. Ninguna de las dos condiciones tuvo un efecto estadísti-
camente significativo sobre los objetos voluminosos, pero de nuevo la condición de afecto fue la
que mejor funcionó en términos absolutos.

3.4. Qué es lo que se último de escalarlo, o al final de la intervención

está haciendo
La experimentación puede tener diferentes
aplicaciones dentro de las políticas públicas.
Esta se puede aplicar en diferentes momen-
tos del ciclo de políticas públicas, aunque
es recomendable preverlo siempre desde el
inicio. Por otra parte, puede tener diferentes
objetivos, siempre buscando la eficacia de la
intervención, y, por último, el público objetivo
varía, pretendiendo ejercer un cambio sobre las
personas, sociedades u organizaciones.
Ciclo de políticas
Aunque el objetivo de la experimentación
pública esté muy vinculado a testar (o evaluar)
una intervención, esto no impide que se pueda
emplear en diferentes momentos del ciclo de
políticas, desde el diseño hasta su implemen-
tación, o incluso su evaluación.
La aplicación de este tipo de experimentos se
puede hacer previo a la implementación de la
intervención (mediante prototipos) con el fin
(mediante evaluaciones) con el objetivo de me-
dir el impacto de la intervención. En el caso de
la implementación, el objetivo suele ser similar
al del diseño, pero en este caso se pretende
realizar un ajuste o mejora de una intervención
ya existente.
Mientras que en el pasado la experimentación
se relacionaba sobre todo con la última etapa
de las intervenciones (evaluaciones aleatori-
zadas), cada vez se utiliza más para el diseño
de prototipos de intervenciones y políticas
públicas, antes de su implementación real.
En este tipo de intervenciones, la escala del
prototipo suele ser pequeña, y es frecuente que
se complemente con una evaluación de la in-
tervención final. Asimismo, también se realizan
estudios empleando métodos experimentales
por parte de instituciones privadas con el obje-
tivo de hacer incidencia en el diseño de cierta
intervención o política pública.
41
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Piloto de Créditos Creativos

Ámbito territorial Manchester City Region (MCR)

Economic and Social Research Council, Arts & Humanities Research Council and Manchester City
Entidades colaboradoras
Council

Entidad evaluadora Nesta

Periodo de análisis 2009-2011

Existe evidencia contradictoria sobre el impacto en el crecimiento de las pymes de programas que
Problema
fomentan la innovación.

Realizar un programa piloto de Créditos Creativos (apoyar a las pymes a aliarse con empresas
Solución/es
creativas) en la región de Mánchester y evaluar su impacto.

Entre octubre de 2009 y noviembre de 2010, se concedieron 150 créditos creativos —vales con un
valor nominal de 4000 libras esterlinas— a las pymes que cumplían los requisitos para desarrollar
proyectos de innovación en colaboración con una empresa creativa. Esto se realizó mediante una
Metodología
metodología RCT con un grupo control y tratamiento (150 tratamiento y 301 control), entre otras
técnicas. Se realizaron cuatro encuestas, dos de ellas a los seis y a los doce meses de implemen-
tación.

• Las empresas que recibieron créditos creativos disfrutaron de un impulso a corto plazo en su
innovación y un crecimiento de las ventas en los seis meses siguientes a la finalización de sus
proyectos creativos.
Resultados

• Sin embargo, los efectos positivos no se mantuvieron, y al cabo de doce meses ya no había una
diferencia estadísticamente significativa entre los grupos que recibieron los créditos y los que no.

También existen numerosos ejemplos de

experimentos que tienen lugar en el proceso
de implementación. Es decir, se aplican a una
intervención que ya está en marcha para ob-
servar el efecto que puede tener en la mejora
de su eficacia, puesto que lo que se está imple-
mentando o se ha implementado no ha tenido
el efecto esperado.

Este tipo de experimentación no puede ser

muy elaborada, puesto que pretende mejorar
una intervención que ya está en marcha y, por
tanto, normalmente se requiere mayor agilidad
en la toma de decisiones. Gran parte de los
experimentos que incorporan las ciencias del
comportamiento se emplean para aumentar la
demanda o aceptación (take-up) de una inter-
vención ya existente, por lo que se encuentran
dentro de esta tipología.

42
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Incrementar la finalización de prácticas de trabajo

Ámbito territorial Nueva Gales del Sur (Australia)

Entidad gestora y ejecutora Behavioural Insights Unit (NSW Government)

Periodo de análisis 2019-2021

Las tasas de finalización de prácticas de trabajo son bajas en esta región. En 2015, el primer
Problema ministro de Nueva Gales del Sur (NSW, por sus siglas en inglés) estableció como prioridad estatal
aumentar la finalización de las prácticas del 50 al 65 %.

Ayudar a los alumnos a obtener el apoyo oportuno para completar sus prácticas enviándoles dos
Solución/es tipos de mensajes de texto, diseñados para animar a los estudiantes en prácticas a buscar ayuda
cuando la necesiten y a completarlas.

Metodología Se desarrolló un RCT (dos grupos de tratamiento y uno de control).

Los resultados del ensayo fueron muy positivos. El mensaje que recalcaba que se les estaba brin-
Resultados
dando una oportunidad fue el más eficaz para reducir las tasas de abandono a los doce meses.

Por último, la experimentación pública tam-
bién se puede incorporar en la manera de
evaluar una intervención, empleando en este
caso ensayos controlados aleatorizados para
cuantificar el impacto. Aunque sean evaluacio-
nes de impacto realizadas una vez finalizada
una intervención, estas tienen que ser previs-
tas desde el inicio para poder establecer los
grupos de tratamiento y control y realizar una
línea de base.

Apoyar el futuro laboral de alumnado con discapacidad

Ámbito territorial Maryland (Estados Unidos)

Entidad gestora Universidad de Maryland en colaboración con el Maryland State Department of Education

Entidad evaluadora Mathematica

Periodo de análisis 2017-2021

El alumnado de secundaria que presenta algún tipo de discapacidad se enfrenta a diversos obstá-
Problema culos en su transición a la edad adulta, y suelen tener un rendimiento inferior al de sus compañe-
ros sin discapacidades en lo que respecta a la educación postsecundaria y el empleo.

Way2Work Maryland es una iniciativa promovida por la Universidad de Maryland junto con el
Gobierno estatal, con el objetivo de mejorar la preparación universitaria y profesional de los estu-
Solución/es
diantes de secundaria con discapacidades mediante su participación en los servicios adicionales
para ayudarlos a hacer la transición a la edad adulta con éxito.

Metodología Se desarrolló un RCT durante dos años con cuatrocientos estudiantes de secundaria.

Aunque el programa se desarrolló conforme a lo previsto, Way2Work no generó el impacto desea-

Resultados
do a corto plazo (tras dos años de implementación).

43
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Objetivos de relacionada con las evaluaciones de interven-

experimentación
La experimentación se puede emplear para
evaluar qué funciona dentro de una amplia
gama de potenciales intervenciones, qué
estrategia podría tener mejores resultados en
una intervención concreta, o para decir cómo
hacerlo dentro de una estrategia ya definida.
Estas opciones de uso no tendrían por qué ser
excluyentes y a veces se utilizan de manera
combinada.
ciones. También puede servir para realizar una
modificación a una intervención ya en marcha
y ver si funciona mejor con el cambio. Asimis-
mo, y vinculado sobre todo con el diseño de las
intervenciones, otro uso de la experimentación
sería entender las causas subyacentes de un
problema para poder plantear una intervención
que tenga más posibilidades de funcionar.

El primer objetivo de ver si una intervención

«funciona», simplemente plantea una alternati-
va y se evalúa. Esta aplicación está sobre todo

Incrementar la finalización de prácticas de trabajo

Ámbito territorial Reino Unido

Entidad gestora y ejecutora Behavioural Insights Team (BIT)

Periodo de análisis 2017-2021

Problema Las personas jóvenes participan menos en la política que cualquier otro grupo de edad.

El aprendizaje-servicio (un tipo de educación cívica) es una política que ha recibido una cantidad
sustancial de inversión pública en un intento de resolver este problema. Sin embargo, hasta la
Solución/es
fecha no se han encontrado pruebas de su efecto, ni de cómo se produce, ni de cómo se puede
maximizar.

Metodología Se realizó un cuasiexperimento (N = 5486), entrevistas (N = 27) y un RCT (N = 227.372).

Esta investigación ofrece la primera evidencia robusta de los efectos causales del
aprendizaje-servicio sobre participación política de los jóvenes, resolviendo una disputa en la lite-
Resultados
ratura entre los que han encontrado (o predijeron) efectos positivos, negativos y nulos. También
proporciona una teoría detallada sobre cómo se producen estos efectos.

El segundo objetivo de «qué hacer» plantea di-

ferentes estrategias para una intervención con
el fin de ver cuáles funcionan mejor. Es una
experimentación menos detallada, en la que no
se tiene en cuenta que, dentro de las posibles
opciones, podría haber características concre-
tas que hicieran que variara el resultado.

44
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

fomentar la vacunación infantil

Ámbito territorial Haryana (India)

Entidad gestora J-PAL

Gobierno de Haryana, Sana, USAID, International Initiative for Impact Evaluation (3ie), Bill and
Entidades colaboradoras
Melinda Gates Foundation y GiveWell

Periodo de análisis 2016-2018

A pesar del esfuerzo de muchos Gobiernos por incrementar la vacunación infantil, el porcentaje
Problema de niños totalmente inmunizados en países como India es solo del 62 % (dato de 2016). Una gran
parte de ellos reciben la primera vacuna, pero no tienen la pauta completa.

Se seleccionaron siete distritos en los que la tasa de vacunación era especialmente baja y se
concentraron en los niños con menos de doce meses, que deberían recibir cinco inmunizacio-
Solución/es nes. De 2016 a 2018 los investigadores evaluaron el efecto de tres herramientas de políticas en
el incremento de la demanda de vacunación: pequeños incentivos, recordatorios específicos y
embajadores locales de inmunización con diferentes variaciones en cada grupo.

Combinación de un RCT y machine learning en 140 centros de asistencia primaria y 755 subcen-
Metodología
tros.

El paquete más efectivo fue la combinación de los embajadores locales de inmunización selec-
cionados por la comunidad, los incentivos, que se iban incrementando a lo largo del proceso de
inmunización, y los mensajes de recordatorio que se mandaban a los progenitores acerca de la
siguiente fecha de vacunación. La combinación incrementó la tasa de vacunación un 55 % con
Resultados respecto al grupo control.

A partir de este experimento, el Gobierno de Haryana está trabajando con investigadores y con
J-PAL para escalar el paquete más efectivo en todo el país con el apoyo de la Iniciativa de Innova-
ción en el Gobierno del J-PAL.

Se podría plantear, aunque guarde relación con

el objetivo anterior, que hay un tercer uso de
la experimentación pública, muy vinculada a
la economía del comportamiento, en la que lo
que se pretende es buscar que una interven-
ción sea «más efectiva» teniendo en conside-
ración los sesgos cognitivos. Un ejemplo claro
de ello son las experimentaciones en las que
se incluyen diferentes mensajes para ver cuál
es el que tiene un mayor efecto para cambiar
el comportamiento de las personas.

45
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Piloto de Créditos Creativos

Ámbito territorial Washington D. C. (Estados Unidos)

Entidad ejecutora The LAB DC (Gobierno de Washington D. C.)

Periodo de análisis 2017-2019

El Departamento de Servicios Humanos de Washington D. C. puso en marcha un programa para

Problema ayudar a las familias con bajos ingresos a cubrir el alquiler (DC Flex), sabiendo que gran parte de
las personas elegibles para estos programas no las solicitan.

Se quiso encontrar la mejor manera de notificar a los residentes y animarlos a pedir la ayuda DC
Solución/es
Flex.

Se realizaron tres experimentos para comprobar cómo afectaban los distintos métodos y materia-
les de divulgación a la probabilidad de que una familia solicitara el programa. A partir de la infor-
Metodología mación sobre las familias que habían solicitado servicios para personas sin hogar y que podrían
ser elegibles para el programa, se asignó aleatoriamente a cada una de ellas un mensaje y se hizo
seguimiento sobre cuántas solicitaban participar en DC Flex.

Los resultados permitieron comprobar que enviar una carta junto con un mensaje de texto era
la mejor manera de aumentar las solicitudes. A partir de estos resultados preliminares se ha
Resultados diseñado un RCT para comprobar si las personas participantes del programa tienen menos
probabilidades de experimentar la falta de vivienda, la inestabilidad de la vivienda y las dificultades
económicas que las familias que no están inscritas15.

Entes destinatarios de la
experimentación

Los entes destinatarios o beneficiarios de

las intervenciones que incluyen experimen-
tación pueden ser variados, desde personas
individuales hasta organizaciones. Esto hace
referencia a la diferencia en el alcance de las
actuaciones.

Cabe destacar que muchas de las intervencio-

nes basadas en la experimentación tienen el
fin último de fomentar el bienestar individual
de las personas y no tanto el de la sociedad,
aunque también pueda tener un efecto indirec-
to positivo para esta. Por ejemplo, mejorar la
alimentación de las personas mediante nud-
ges es beneficioso para los individuos, pero
también para prevenir y reducir enfermedades
como la obesidad, que tienen una incidencia y
un ahorro sociales.

15. https://www.huduser.gov/portal/sites/default/files/pdf/DC-Flexible-Rent-2020.pdf.

46
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Reduciendo brechas de acceso a educación superior

Ámbito territorial Perú

Entidad gestora Programa Nacional de Becas y Crédito (PRONABEC)

Entidad ejecutora Banco Interamericano de Desarrollo y PRONABEC

Periodo de análisis 2020-2021

A menudo, las decisiones relacionadas con la educación superior se realizan en un contexto de in-
formación imperfecta. Los estudiantes de bajo nivel socioeconómico se encuentran en desventaja
porque tienen menos acceso a la información y cuentan con menos mecanismos para superar
Problema
las imperfecciones de la información. Además, la existencia de estereotipos y sesgos de género
puede influenciar este proceso, particularmente a la hora de elegir el tipo de carrera y de universi-
dad/institución educativa según su nivel de exigencia y calidad.

El PRONABEC y el BID realizaron un estudio experimental con el objetivo de incentivar el uso de

las herramientas ofrecidas por el PRONABEC para facilitar el proceso de elección y postulación
a la educación superior de potenciales personas beneficiarias de Beca 18 (para estudiantes que
Solución/es
quieren continuar los estudios superiores y se encuentran en situación de pobreza extrema). El
objetivo final era mejorar la calidad de la postulación, incentivando la elección de carreras de alto
retorno económico y de instituciones educativas de calidad, con especial énfasis en las mujeres.

Se desarrolló un RCT con tres grupos (hombres + mensaje estándar, mujeres + mensaje estándar
Metodología
y mujeres + mensaje diferenciado).

Los SMS informativos se correlacionaron positivamente con la tasa de postulación de hombres y

mujeres, en comparación con la convocatoria 2019, y se asociaron con una mayor probabilidad de
ganar la beca y de postular a una carrera con alto retorno, especialmente para las mujeres.
Resultados
Los mensajes de motivación y autoconfianza enviados a las mujeres lograron incrementar la
probabilidad de usar las herramientas de apoyo, pero no tuvieron efectos en la probabilidad tener
una postulación válida.

Sin embargo, con otros experimentos también

se pretende generar cambios en las personas,
pero con el fin de que estos sean beneficio-
sos para otras personas o para la sociedad
en general. Por ejemplo, se pretende que el
funcionariado cambie ciertas prácticas para
mejorar la calidad de sus servicios, lo cual
incide directamente en la sociedad.

47
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

incentivos para servidores públicos

Ámbito territorial Ciudad de Buenos Aires (Argentina)

Entidad gestora Ciudad de Buenos Aires

Entidad ejecutora Grupo de Economía del Comportamiento – Banco Interamericano de Desarrollo (BID)

Periodo de análisis 2017-2019

Para la buena gobernanza, es primordial ampliar las capacidades y aumentar la calidad del sector
público. Un paso en esta dirección consiste en aumentar el cumplimiento de las tareas y la eficien-
Problema cia de los funcionarios. La tarea específica por mejorar era el cumplimiento de las solicitudes en
virtud de la Ley de Libertad de Información, que permite a cualquier persona obtener acceso a los
registros gubernamentales en Argentina.

Mientras que el sector privado suele recurrir a los incentivos económicos para lograr estos
resultados, este enfoque tiene varias limitaciones en el sector público, por lo cual es importante
Solución/es explorar alternativas. El proyecto midió los efectos de dos enfoques: un taller tradicional y una
intervención conductual (modificación y rediseño de la notificación que la dirección que tramita
las solicitudes envía a los organismos específicos).

Se desarrolló un RCT con un grupo control que recibía la carta original y un grupo tratamiento
Metodología que recibía la carta modificada. La unidad de observación fueron las solicitudes individuales de la
ciudadanía, con 3785 observaciones antes y 3111 después del inicio de la intervención.

La intervención conductual (carta rediseñada) consiguió aumentar en 5,8 puntos porcentuales la

Resultados respuesta a una solicitud exactamente en el segundo día de plazo. Esto representa un aumento
del 64 % con respecto a la media en la etapa previa al tratamiento.

Asimismo, una más reciente aplicación de la

experimentación pública, en concreto en el
ámbito de las ciencias del comportamiento, es
para que las propias organizaciones integren
en sus procesos cambios para mejorar su
propio funcionamiento.

48
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Aumentar la seguridad energética en organizaciones

Ámbito territorial Canadá, Irlanda, México y Omán

Entidad ejecutora OCDE

Periodo de análisis 2020

Muchos incidentes de gran repercusión en el sector de la energía se han producido debido —al
menos en parte— a un comportamiento organizativo deficiente, incluida una escasa cultura de la
Problema seguridad. Entre ellos figuran grandes catástrofes, como el fallo del sistema de seguridad nuclear
de la central de Fukushima Daiichi en 2011 y el vertido de petróleo de BP Deepwater Horizon en
2010.

Cambiar el comportamiento de las organizaciones que regulan la energía en varios países, cen-
Solución/es
trándose en el fomento de elementos de una cultura de la seguridad en el sector energético.

El experimento se realizó mediante un cuestionario que incluía preguntas sociodemográficas, so-

bre la percepción de la seguridad y sobre sus actitudes ante mensajes sobre seguridad basados
Metodología en las ciencias del comportamiento (mensaje de superior/compañero, normas sociales y retroali-
mentación). Aunque no se realizó un grupo tratamiento y control, los mensajes se presentaron de
manera aleatoria.

Los mensajes que proporcionaban retroalimentación fueron los que tuvieron un mayor efecto en
las actitudes de las personas encuestadas.

Los mensajes que procedían de un superior solo tuvieron un efecto positivo en Omán e Irlanda, y
Resultados el efecto era menor si procedía de un compañero.

Los mensajes que apelaban a las normas sociales fueron los menos efectivos, y las personas
encuestadas provenientes de México fueron las únicas en las que se observó un efecto estadísti-
camente significativo.

3.5. Cuánto duran diseño o hacer un ajuste en la implementación

La duración de este tipo de experimentos
varía considerablemente16 dependiendo de su
complejidad y de la precisión que se pretenda
conseguir con ello. Sin embargo, una menor
duración no tendría por qué ser un indicativo
de menor calidad, sino que suele estar relacio-
nada con el momento en el que se implemente
(diseño, implementación o evaluación) y los
objetivos de la experimentación.
En este sentido, se identifican dos grupos. Por
un lado, aquellos que tienen una duración de 1
año o incluso menor, y que se relacionan con
experimentos de laboratorio, encuestas o RCT
de pequeña escala que pretenden informar del
16. En la mayor parte de los ejemplos presentes en las tablas resumen, se indica el año o los años en los que ha tenido lugar la experimentación, si bien no siempre
se detalla el tiempo específico invertido.
17. Los casos clasificados por sectores se encuentran en el Anexo 1 y en el título de cada sector se incluye un vínculo a estos ejemplos para facilitar su
localización.
de una intervención. Por otro lado, aparecen
otro tipo de experimentos, que tienen una
duración de entre 2 y 4 años, e incluso 5 o más,
y que implican una evaluación de impacto de
una intervención o el análisis del diseño de un
proyecto piloto de una actuación de mayor
tamaño.
3.6. En qué sectores17
La experimentación se ha concentrado tradi-
cionalmente en algunas áreas de las políticas
públicas, como la salud y la educación, pero su
uso se ha ido expandiendo a lo largo del tiem-
po y en la actualidad se emplea en una gran
variedad de sectores.

49

Educación
Junto con la salud, la educación es uno de
los sectores en los que más trabajo se realiza
en experimentación pública. Dentro de esta
área, se suelen encontrar intervenciones que
fomentan el acceso y la permanencia en ella,
mientras que otras pretenden mejorar la cali-
dad. En este sector, se presta mayor atención
a los grupos que históricamente han estado
excluidos y, por tanto, con una mayor tasa de
abandono prematuro, con el objetivo de que
puedan continuar con su educación y mejorar
su bienestar económico.
Por ejemplo, con el objetivo de incrementar el
acceso, se ha pretendido identificar qué costes
de la educación pueden estar impidiendo que
los niños continúen con la educación, y qué
sucede si se suavizan dichos costes. También
mediante la experimentación, se pretende
mejorar el rendimiento escolar y reducir el
absentismo y la deserción escolar para promo-
ver el éxito de los estudiantes en culminar sus
estudios. En cuanto a la mejora de la calidad
educativa, se ha buscado fundamentalmente
motivar a los docentes y gestores escolares
para que desempeñen mejor su trabajo.
Salud
Históricamente, los ensayos controlados
aleatorizados se han usado principalmente
para conocer el efecto de ciertos tratamien-
tos médicos sobre la población. Además de
esta experimentación vinculada a la medicina,
más recientemente los RCT se han utilizado
también en el ámbito de la salud para testar
cómo se pueden prevenir o tratar ciertas en-
fermedades, fomentando el cambio de cier-
tas prácticas o actitudes entre la población.
Por ejemplo, mediante el uso de la ciencia del
comportamiento existen ejemplos de éxito
en aumentar el porcentaje de vacunación, la
adherencia al tratamiento y la prevención de
enfermedades como la obesidad y la diabetes.
En este ámbito, se ha descubierto que hay un
gran potencial en los incentivos pequeños para
50
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
motivar ciertas actitudes que contribuyen a
una mejora en la salud de las personas.
También, de manera complementaria y similar
a los realizados entre el personal de las es-
cuelas mencionados en el apartado anterior,
se han hecho experimentos que pretenden
fomentar cambios entre el personal sanitario o
cambios en las organizaciones de salud para
mejorar la asistencia.
Consumo
Uno de los objetivos principales de las ciencias
del comportamiento aplicadas en el ámbito de
las políticas públicas está vinculado a procurar
que los individuos cambien ciertos comporta-
mientos para el beneficio de la sociedad, pero
sobre todo para el bienestar propio. En este
sentido, existen diversos ejemplos de interven-
ciones para evitar que se realicen consumos
nocivos.
Protección social
Otro de los sectores en los que se ha realiza-
do un importante trabajo de experimentación
pública es el ámbito de la protección social,
con el objetivo principal de reducir la pobreza
y las desigualdades. Las investigaciones que
se han llevado a cabo en este sector preten-
der fomentar que las personas con derecho a
programas asistenciales hagan uso de ellos, y
también mejorar la efectividad de este tipo de
políticas mediante mecanismos más innova-
dores para proporcionar ayudas. Algunos de
los programas estrella, en los que se han rea-
lizado numerosos RCT, son las transferencias
monetarias y los vinculados a prestaciones
sociales innovadoras, como el ingreso mínimo
vital o la renta básica universal.
Agricultura
El uso de la experimentación pública en este
sector se centra en la mejora de los sistemas
agrícolas, en concreto, en las maneras de
incrementar la productividad, sobre todo de los
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
pequeños agricultores. Un área interesante es
la investigación sobre los motivos por los que
no se adoptan ciertas tecnologías. Además
de la mejora en la productividad, también se
intenta reforzar el vínculo de los agricultores
con los mercados y con las oportunidades de
financiación que este ofrece.
Energía y medioambiente
Sobre energía, en concreto, se han hecho
diversas investigaciones sobre cómo presentar
u ofrecer los servicios eléctricos para que las
personas usuarias puedan comprender y elegir
las opciones más beneficiosas para sí mismas
y para el medioambiente. También existen
muchas intervenciones para que las personas
no tengan comportamientos nocivos con el
entorno y para fomentar su cuidado.
Género
El género podría considerarse un área trans-
versal a muchos de los otros sectores aquí
analizados. Sin embargo, dado el gran núme-
ro de proyectos que tienen como fin último
empoderar a las mujeres en distintos ámbitos,
por ejemplo, en el laboral, y también frente a
la violencia de género, se considera oportuno
considerarlo un sector en sí mismo.
Gobernanza y participación
civil
El fomento de la participación política, so-
bre todo, motivando a las personas para que
participen en elecciones y procesos políticos,
ha sido sujeto de diversos experimentos que
incluyen las ciencias del comportamiento. No
obstante, también se han hecho otro tipo de
experimentos que pretenden mejorar la gober-
nanza y el servicio que ofrecen las institucio-
nes públicas a la ciudadanía. En otras palabras,
se han aplicado las ciencias del comporta-
miento para mejorar la toma de decisiones
de los Gobiernos, teniendo en cuenta que su
funcionariado también está influenciado por
las heurísticas y los sesgos.
Impuestos y finanzas
En el ámbito de los impuestos se ha realizado
experimentación con dos fines principales:
fomentar que la gente pague sus impuestos,
y asegurarse de que las personas completen
correctamente las declaraciones y empleen los
beneficios fiscales que les puedan correspon-
der. En el sector de las finanzas se ha hecho
experimentación para fomentar que exista un
mayor acceso a la financiación y para que las
personas tomen mejores decisiones acerca del
manejo de sus finanzas.
Mercado laboral y empresas
En este campo se han realizado numerosos
estudios para evitar la discriminación en los
mercados laborales, algo que ocurre muchas
veces en los procesos de selección. Asimismo,
numerosos trabajos se han centrado en en-
tender y levantar las barreras que existen para
el crecimiento y el éxito de las empresas. Una
parte importante de ello han sido intervencio-
nes basadas en la teoría del comportamiento
para promover el emprendimiento, sobre todo
entre determinados colectivos.
Innovación
Mediante la experimentación en general es
frecuente que se pretenda fomentar la inno-
vación, que es en sí misma una metodología
innovadora. Por ejemplo, el programa Horizon-
te 2020 de la Comisión Europea ha financiado
mediante la subvención INNOSUP-06 a agen-
cias de innovación de los Estados miembros
para que realicen proyectos experimentales
evaluados por RCT.
Seguridad y justicia
En el sistema jurídico hay pequeños errores
—como faltar accidentalmente al juzgado o
no poder pagar una multa— que pueden tener
repercusiones en la libertad, los medios de vida
y el bienestar de las personas. Esto es espe-
cialmente cierto para aquellas personas con
51

mayor nivel de pobreza, o que sufren racismo
sistémico o violencia. Existe un área de la ex-
perimentación pública que se dedica a mejorar
los resultados (y prevenir los resultados negati-
vos) en el sistema judicial.
En cuanto a la seguridad ciudadana, se han
puesto en marcha iniciativas de diferentes
tipos para garantizar que las acciones que rea-
lizan las personas no presenten riesgos para
la ciudadanía, pero sobre todo para su propia
seguridad. Los ejemplos son variados, desde
la seguridad cibernética hasta la seguridad
vial. En este ámbito, destaca el programa del
Banco Mundial «ieConnect for Impact»18, que
pretende generar un importante volumen de
información a través del desarrollo de siste-
mas de datos y evaluaciones experimentales
y cuasiexperimentales para transformar los
sistemas de movilidad basados en evidencia.
También en relación con el conflicto y la
violencia, se han realizado estudios con el
objetivo de entender mejor cómo se organiza
la violencia social y política, y de evaluar el
impacto de las respuestas políticas diseñadas
para combatir la delincuencia y la violencia o
aliviar sus efectos negativos.
3.7. Elementos facilita-
dores de la experimen-
tación
Tras el análisis de las iniciativas experimentales
y sus diferentes usos, se puede concluir que en
el contexto internacional existen algunos ele-
mentos facilitadores de la implementación de
estas metodologías en las políticas públicas.
De manera general, que se haya ampliado el
alcance en los tipos de aplicación de la experi-
mentación supone una oportunidad para que
estas metodologías se puedan implementar en
una mayor variedad de situaciones y ámbitos.
Algunos elementos que lo han facilitado hasta
ahora han sido:
18. https://www.worldbank.org/en/research/dime/brief/transport. Se ha desarrollado en Brasil, Colombia, Etiopía, Guinea-Bissau, Irak, Kenia, Liberia, Malawi,
Mozambique, Nepal, Nicaragua, Nigeria, Perú, Ruanda, Senegal, Tanzania y Túnez.
52
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
• Han crecido el número y la tipología de
instituciones que están trabajando en la
experimentación, lo que hace que se estén
generando cada vez más experiencias, con
el expertise y los aprendizajes que esto
conlleva.
• La experimentación se está desarrollan-
do en diferentes momentos del ciclo de
políticas, y no solo en el de la evaluación.
En concreto, que se haya incrementado
la aplicación de la experimentación en el
diseño, y también en la implementación, es
una oportunidad para comenzar a emplear
metodologías experimentales con menor
coste y duración y además hacerlo de ma-
nera complementaria. Algo similar ocurre
con que se pueda usar con diferentes fines
y públicos objetivos.
• Que exista un gran abanico de sectores
que estén implementando estas metodo-
logías expande el ámbito de desarrollo,
así como la información disponible para
otras Administraciones sobre actuaciones
basadas en la evidencia en sectores muy
dispares.
De manera más concreta, este análisis ha
mostrado que para que una Administración
pública desarrolle este tipo de metodologías de
manera habitual es necesario:
• Favorecer una cultura del uso de la
evidencia en la evaluación y el diseño de
las políticas para que se puedan introducir
elementos experimentales en ambos pro-
cesos. Esto requiere, primero, un cambio de
mentalidad, pero también actuaciones por
parte de la Administración que favorezcan
su desarrollo.
• Contar con recursos técnicos y financie-
ros para implementar estas metodologías.
Por ejemplo, los ya mencionados fondos
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

de experimentación son un motor para que

se realicen este tipo de experiencias en el
sector público y privado, y también lo es el
apoyo de organizaciones internacionales y
de investigación.

• Tener una base de experiencias suficien-

tes que generen aprendizajes y sistemati-
cen procesos, de manera que se agilice la
implementación de este tipo de metodo-
logías y que resulte más sencillo que se
incorporen e institucionalicen.

Por lo tanto, cuanto más larga sea la tra-

yectoria en este ámbito, más probable será
que estas prácticas se institucionalicen. En
este sentido, hay organizaciones y países que
llevan desde principios de siglo fomentando
las evaluaciones experimentales y las cien-
cias del comportamiento y que, por tanto, se
encuentran más avanzadas en estos ámbitos,
favoreciendo una mayor base de evidencias y
contando con un mayor expertise respecto a
los países que se han sumado de manera más
reciente. Sin embargo, que se haya realizado
un avance en la materia significa que actual-
mente se ha ampliado el alcance de su uso y
que se ha generado ya una base de evidencias
y herramientas que facilitan que se pueda
empezar a implementar estas metodologías en
los lugares en los que tienen un menor desa-
rrollo.

53
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

estudios
de
casos
interna
cionales

04.
54
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
En esta sección se describen en mayor pro-
fundidad dos de los ejemplos recogidos en las
fichas de experiencias.
4.1. Mejorar la factura
de la luz19
Contexto
Tradicionalmente, en la factura energética se
obtiene información que permite pagar la fac-
tura, entender el uso y los costes de la energía
y ponerse en contacto con la compañía para
resolver dudas. Dadas las nuevas opciones
tecnológicas, es oportuno considerar cómo se
pueden simplificar las facturas de energía sin
comprometer su propósito, y cómo pueden
interactuar con otros servicios y procesos para
ayudar a los consumidores a conseguir un
buen servicio en el mercado energético.
La velocidad de los cambios en el sector indica
que es necesario un mecanismo regulador que
proteja a los consumidores y que también pue-
da seguir el ritmo de la evolución del mercado
y de las preferencias de dichos consumidores.
Intervención y objetivos del
estudio
El 18 de marzo de 202120, la Comisión Austra-
liana del Mercado de la Energía (AEMC, por
sus siglas en inglés) encargó al Regulador
Australiano de la Energía (AER, por sus siglas
en inglés) la elaboración de un conjunto de
directrices sobre el contenido de la factura y
los requisitos de facturación que debían seguir
los proveedores de energía con el objetivo de
que los consumidores entiendan con facilidad
la información sobre:
• Importes, fechas y métodos de pago.
• Cómo se calcula la factura y si se ajusta al
contrato.
19. Fuente principal de información: https://behaviouraleconomics.pmc.gov.au/projects/improving-energy-bills.
20. https://www.aemc.gov.au/sites/default/files/2021-03/RRC0036%20Bill%20contents%20and%20billing%20requirements%20-%20Final%20
determination_1.pdf.
• Datos sobre el consumo y la producción
de energía, y los costes e ingresos relacio-
nados para fomentar el uso eficiente de
la energía, comparar el contrato con otras
ofertas disponibles y considerar opciones
de suministro de energía alternativas.
• Cómo reclamar o plantear una consulta en
relación con la factura.
• Cómo acceder a los servicios de interpre-
tación y solicitar ayuda financiera.
• Cómo informar de una avería o emergen-
cia.
Este experimento se realizó como parte del
proceso para proporcionar información clara
y accesible a los consumidores de energía,
empoderándolos en sus decisiones.
Organizaciones
involucradas
El AER se asoció con el Equipo de Economía
del Comportamiento del Gobierno Australiano
(BETA, por sus siglas en inglés) para aplicar las
ciencias del comportamiento al diseño de las
facturas de energía, y fueron apoyados en el
estudio por Hall & Partners y el Ethnic Commu-
nities Council de Nueva Gales del Sur.
Metodología
El estudio implicó una revisión bibliográfica
para identificar las preguntas clave de la inves-
tigación, seis RCT mediante encuestas en línea
con más de 14.000 personas, y grupos focales
con personas con un origen cultural o lingüísti-
co diferente y con personas mayores (65 años
o más) sin conocimientos digitales.
En el análisis documental se identificó que el
contenido y las estructuras complejas de las
facturas confunden a los consumidores en el
55

mercado energético. Además, hay evidencia de
que proporcionar a los consumidores informa-
ción sobre su uso de la energía es una forma
eficaz de educarlos en su eficiencia energética.
Igualmente, parece que facilitar la compara-
ción de las facturas es un paso crucial para
fomentar el cambio de proveedor y una pro-
moción más activa de los servicios de cambio
en las propias facturas. Pero también en la
revisión documental se identificaron algunas
carencias de información que sirvieron para
formular las preguntas de investigación que
estructuran el apartado de resultados.
Tras el análisis documental, se diseñaron dife-
rentes tipos de facturas y se procedió a realizar
seis RCT en dos muestras de población: el
grupo A, con 6372 personas, y el B, con 7827.
A las personas participantes se les hicieron
preguntas sobre varias facturas energéticas
hipotéticas creadas para el experimento.
Por último, como ya se ha dicho, el AER llevó
a cabo grupos focales con población cultural
y lingüísticamente diversa y con personas ma-
yores de 65 años que no suelen acceder online
a sus facturas con el objetivo de entender las
necesidades de estas audiencias específicas.
Dificultades y limitaciones
En cada uno de los RCT se intentó imitar una
situación de la vida real. No obstante, las reac-
ciones de las personas encuestadas pueden
ser diferentes a cómo reaccionan los consumi-
dores de energía en la vida real. En esta misma
línea, las intenciones muchas veces no se
materializan en acciones, y esto no se puede
valorar en este experimento. Además, las per-
sonas participaron en un estado reflexivo en el
que normalmente se prefiere tener más infor-
mación y detalle, pero esto no se corresponde
a las preferencias del día a día. Por último, las
personas suelen participar en encuestas con
pequeños incentivos monetarios y, por tanto,
puede ser que las respuestas no sean genui-
nas y que, aunque la muestra sea grande y
diversa, no sea representativa de la población
56
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
australiana. Todas las dificultades aquí descri-
tas son un buen ejemplo de los problemas y
limitaciones a los que se suelen enfrentar este
tipo de experimentos.
Resultados
A. Contenido de la factura: ¿qué tipo de
contenido es prioritario incluir en la factu-
ra?
• Las facturas se utilizan principalmente
para realizar el pago (77 %), comprobar el
uso de la energía (65 %) y conocer cómo
se ha calculado la factura (58 %).
• Las personas con dificultades económi-
cas son más propensas a utilizar la fac-
tura para obtener ayuda o asesoramiento
financiero o realizar reclamaciones.
• Una factura debe incluir, como mínimo:
la cantidad a pagar y la fecha de venci-
miento (88-89 %); el periodo de factu-
ración y los posibles descuentos; cómo
pagar; una tabla de gastos detallados que
explique cómo se ha calculado la factu-
ra, y los datos de contacto para solicitar
ayuda. Además, la mayor parte de este
contenido debería ir en la primera página.
• Algunos consumidores también utilizan
las facturas para otros fines. En particular,
las personas encuestadas también las
usan para comparar planes de energía (38
%) o para mejorar su eficiencia energética
(30 %).
B. Simplificación de la factura: ¿cómo redu-
cimos la sobrecarga de información en las
facturas?
• En los grupos focales y en las encuestas
las personas estuvieron de acuerdo en
que quieren que las facturas sean fáciles
de entender. Las sugerencias específicas
para su simplificación fueron ordenar los
elementos, destacar la información crítica,
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
aumentar el tamaño de la letra, utilizar
menos jerga técnica y dar explicaciones
más claras.
• Las facturas más simples del experimen-
to no fueron mejor comprendidas que las
más complejas. Los resultados también
indican que quitar información tenía un
impacto negativo en la comprensión. Por
tanto, si una factura está bien diseñada, la
extensión y la estructura no suponen una
barrera a la comprensión.
C. Comprensión de la factura: ¿cómo se pue-
de maximizar la comprensión de la factura?
• Un resumen del plan ayudó a los consumi-
dores a entender mejor cómo se calculaba
su factura, pero no servía para que eligieran
un plan más rentable.
• Incluir una caja con las definiciones no
ayudó a mejorar la comprensión.
• La tabla de costes existente era compren-
dida igual de bien que los nuevos diseños.
• Las personas que vieron una oferta mejor
en su factura eran de dos a tres veces más
propensas a pretender cambiarse de plan.
• Las personas cuyo plan era menor que el
precio de referencia interpretaban que su
plan era bueno, y las que tenían un precio de
referencia igual tenían más probabilidades
de querer ver otras opciones.
• La información sobre el uso de la energía
solar puede ayudar a los consumidores a
sacar el máximo partido de ella, cambiando
los horarios de uso para ahorrar dinero y
reducir la presión sobre la red.
21. https://www.aer.gov.au/retail-markets/guidelines-reviews/better-bills-guideline.
22. Fuentes principales de información: https://www.povertyactionlab.org/es/evaluation/la-ampliacion-de-servicios-de-guarderias-infantiles-en-chile-y-
sus-efectos-en-la y https://www.sociedadpoliticaspublicas.cl/archivos/BLOQUE_SM/Mercado_de_Trabajo_y_Prevision/EVALUACION_DE_IMPACTO_DEL_
PROGRAMA_4_a_7.pdf.
23. Datos del Banco Mundial, 2017.
Repercusión e incidencia
política
A raíz de los diferentes experimentos se ha
podido determinar cuál es la mejor manera de
presentar la información de las facturas y el
AER ha redactado la guía «Better bills guideli-
ne»21. Estas directrices son obligatorias para
los proveedores de energía, que deben confec-
cionar sus facturas siguiendo ciertos estánda-
res de presentación.
4.2. La ampliación de
servicios de guarde-
rías infantiles y sus
efectos en la partici-
pación laboral22
Contexto
La participación laboral ha sido tradicional-
mente y continúa siendo en la actualidad más
baja entre las mujeres que entre los hombres.
En Chile, a pesar de que ha habido un aumento
significativo durante las últimas dos décadas,
la tasa de población activa entre las mujeres
es de un 49 %, comparado con el 71 % entre
los hombres23. En general, la participación en la
fuerza laboral es más baja entre aquellas mu-
jeres que tienen menos capacitación profesio-
nal, que son madres de niños pequeños o que
tienen bajos ingresos familiares. Por otra parte,
los hogares donde la mujer es el sustento fa-
miliar suelen encontrarse entre los de menores
ingresos. Es por ello por lo que el aumento de
la participación femenina en la fuerza laboral
puede ayudar a disminuir la pobreza, al generar
ingresos adicionales en los hogares donde las
mujeres son jefas de hogar.
Una de las razones principales que explica esta
menor participación femenina en la fuerza la-
boral es la falta de oferta de servicios de guar-
57

dería. Por ello, proporcionar este servicio de
manera gratuita puede ser una política pública
efectiva para aumentar su participación.
Intervención y objetivos del
estudio
En Chile, el Gobierno proporciona guarderías
infantiles públicas gratuitas para niños me-
nores de cinco años. Sin embargo, es difícil
encontrar un servicio gratuito de cuidado
para niños más mayores. Una excepción es el
Programa 4 a 7, que desde 2011 proporciona a
mujeres responsables de niños de seis a trece
años acceso al servicio de cuidado después de
su jornada escolar (de 16 a 19 horas) en apoyo
a su participación en el mercado laboral.
Las participantes elegibles para recibir el
programa incluyeron a mujeres responsables
de al menos un niño cuya edad estuviera entre
los seis y los trece años, y que fueran económi-
camente activas24. Además, las participantes
debían ser mayores de dieciocho años, trabajar
o vivir en la localidad de la guardería o que sus
hijos estudiaran donde se ubica el estableci-
miento educacional en el que se implementa la
intervención, y pertenecer a un quintil bajo de
ingresos.
Las investigadoras llevaron a cabo una evalua-
ción aleatorizada para medir el impacto de los
servicios de guardería gratuitos del Programa
4 a 7 en el empleo de las madres y su partici-
pación en la fuerza laboral en Chile.
Organizaciones
involucradas
La evaluación fue desarrollada por dos investi-
gadoras independientes afiliadas a J-PAL que
recibieron financiación del Banco Interamerica-
no de Desarrollo y del Servicio Nacional de la
Mujer (SERNAM).
24. Definido como alguien que tenga un trabajo estable, que esté en busca de trabajo, desempleado, que sea partícipe de alguna capacitación laboral o que esté
cursando un programa educacional.
58
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
Metodología
En 2011 el Programa 4 a 7 se implementó por
primera vez en 62 escuelas con una cobertura
efectiva de 5692 niños. En el año 2012 se agre-
garon 25 escuelas más, en las que se realizó
la evaluación aleatoria. Entre las 2110 mujeres
que solicitaron el programa y fueron conside-
radas elegibles, 1137 fueron seleccionadas por
sorteo como beneficiarias de la intervención,
mientras que las 973 mujeres restantes forma-
ron el grupo de control. Si una postulante era
asignada al grupo de tratamiento, se ofrecía un
cupo a todos los hijos/menores a cargo.
El programa comenzó en marzo o abril y termi-
nó en diciembre del 2012. Los datos de la línea
base corresponden a las fichas de solicitud del
programa y los datos de salida corresponden
a encuestas a hogares realizadas entre marzo
y mayo del año 2013, donde se les pregunta a
las mujeres sobre su historia laboral del 2012,
características del empleo, participación en el
programa y sus niveles de estrés, entre otras
cosas.
Dificultades y limitaciones
No todas las mujeres que fueron selecciona-
das para recibir el programa finalmente parti-
ciparon, y el 24 % de las mujeres que confor-
maban el grupo control terminaron accediendo
a los beneficios. Los resultados del estudio
comparan los grupos tratamiento y control
originales (quienes fueron seleccionadas para
el programa versus quienes no fueron seleccio-
nadas), y, por tanto, los impactos observados
están influidos por el incumplimiento de las
condiciones iniciales de la aleatorización.
Resultados
A. Uso y sustitución del programa
Ofrecer el programa incrementó el uso de guar-
derías en 5,9 puntos porcentuales (respecto
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
al 49 % observado en el grupo de control), lo
que equivale a un aumento total de un 12 %.
Esto refleja cómo esta intervención permite
a aquellas madres que cuidan de sus hijos
durante las tardes utilizar este tiempo para rea-
lizar otras actividades. Sin embargo, los datos
también muestran cómo una parte importante
de las mujeres que usaron el Programa 4 a 7
ya habían matriculado a sus hijos en otro lugar
de cuidado infantil, utilizando el programa, por
lo tanto, solo como un sustituto para estas
opciones.
B. El empleo y la participación femenina en la
fuerza laboral
Entre a quienes se les ofreció el programa, el
empleo y la participación en la fuerza laboral
aumentó en 4,3 puntos porcentuales, es decir,
de 60,5 % en el grupo de control a 64,9 % (lo
que equivale a un incremento del 7 %). Por lo
tanto, tuvo un pequeño pero positivo impacto
en el empleo de las mujeres. Ofrecer el progra-
ma aumentó la probabilidad de que las madres
trabajaran al menos un mes por año en 3,4
puntos porcentuales (75 % versus el 71,6 % en
el grupo de control), lo que se traduce en un
aumento de un 5 %.
El efecto positivo en la participación femenina
en la fuerza laboral fue mayor en mujeres que
no tenían un trabajo antes de que existiera este
programa y que eran responsables de niños
menores de seis años. Tomando este subgru-
po, dentro de aquellas a las que se les ofreció
el programa, la participación de las madres
en la fuerza laboral aumentó en 19 puntos
porcentuales sobre el grupo de control y tam-
bién se observó un incremento de 6,5 puntos
porcentuales en el uso de servicios formales
de guardería para niños menores de seis años
comparado con el control. Estos resultados
indican que el Programa 4 a 7 elevó de forma
eficaz la principal barrera de las mujeres en
este subgrupo, ayudándolas a enfrentar la
entrada al mercado laboral vía la facilitación
25. https://www.uc.cl/noticias/los-desafios-del-programa-4-a-7-para-aumentar-el-trabajo-femenino-en-chile/.
26. https://www.gob.cl/chileapoya/.
de guarderías para sus hijos mayores y permi-
tiéndoles así tomar ventaja total de la oferta ya
existente de la red de guarderías gratuitas para
niños más pequeños.
No obstante, el programa no tuvo impacto en
la participación de la fuerza laboral de aquellas
mujeres que no poseían un empleo y cuyos
hijos tenían más de seis años.
C. Ingresos y gastos
El programa no tuvo ninguna repercusión
promedio en los ingresos mensuales o en los
niveles de estrés, pero sí generó un aumento
de los gastos personales de las mujeres en sí
mismas, como así también en los gastos en la
educación de sus hijos.
Repercusión e incidencia
política
El Programa 4 a 7 sigue en marcha en la
actualidad. En 2018, una de las investigadoras
recalcó en un artículo para la Universidad Ca-
tólica de Chile que era necesario diseñar mejor
el programa a la luz de los resultados de la
evaluación, teniendo en cuenta aspectos como
que las madres que tienen hijos en la etapa
preescolar tienen problemas con la diferencia
de horarios, o la falta de asistencia de algunos
niños al programa, entre otros25.
Dentro de los anuncios entregados por el
nuevo Gobierno chileno como parte de su
plan de reactivación y ayuda económica Chi-
le Apoya26, se busca fortalecer este progra-
ma, ampliando la cobertura del cuidado de
niños después de su jornada escolar a cerca
de trescientos establecimientos educaciona-
les en 189 comunas del país con el objetivo
de permitir a más de diez mil mujeres com-
pletar su jornada laboral. Sin embargo, no
se conoce que se haya hecho ninguna mo-
dificación a la luz de los resultados de este
estudio. La única novedad es que se apoyará
59
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

a mujeres a cargo del cuidado de niños con

capacitaciones, charlas y cursos para forta-
lecer sus capacidades de empleabilidad. Por
último, complementario a este programa,
también se ha anunciado un aumento del
subsidio al empleo «Protege» para trabaja-
dores. En este caso, el subsidio que se daba
a los padres y madres con hijos menores
de dos años ahora se ampliará a menores
de cinco, lo que puede ayudar a superar el
problema de las diferencias horarias entre
preescolar y primaria.

Lo expuesto hasta aquí muestra que la expe-

rimentación de las políticas públicas es una
práctica extendida en muchos lugares del
mundo y ofrece una amplia gama de posibi-
lidades y acción. Todo ello con el objetivo de
ilustrar que ya existe una larga trayectoria y
variedad de experiencias en este ámbito, antes
de describir cuál es el panorama en España y
analizar las posibilidades de aplicación de este
tipo de enfoques al caso español.

60
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

marco
para la
experi
menta
ción en
las po
líticas
públi
cas en
españa

05.
61

La experimentación en políticas públicas
es incipiente en España. Como se describe
a continuación, se ha iniciado mediante las
evaluaciones cuasiexperimentales y, más
recientemente, evaluaciones experimentales
de impacto.
Este es uno de los motivos principales por
los que la revisión normativa, institucional y
estratégica que se expone en este epígrafe
se han centrado en procesos de evaluación,
donde tiene cabida la aplicación de metodo-
logías experimentales, sin poner el foco en
otras actuaciones de experimentación en las
políticas públicas que cuentan con un desa-
rrollo menor.
5.1. Marco normativo e
institucional
El análisis desarrollado en este apartado
muestra como un marco legal específico,
que dé respaldo a procesos de evaluación
y experimentación en las políticas públicas,
puede suponer un elemento facilitador de
estas actuaciones, pero por sí mismo no es
una condición necesaria ni suficiente para
que se desarrollen procesos de experimenta-
ción de calidad. Una muestra de ello es que
los procesos de evaluación en España se han
desarrollado desde hace más de veinte años,
sin la existencia de una normativa específica
sobre este ámbito.
5.1.1. Aproximación al marco
normativo
Según la OCDE, en la mayoría de los países
existe un marco, que a veces se expresa me-
diante una ley, en el que se define la estrate-
gia de la política de evaluación27. En el caso
español, el marco normativo que da cabida
al desarrollo de actuaciones de evaluación y
experimentación pública viene marcado por
la Constitución española, que incluye en su
artículo 31.2 que «el gasto público realizará
27. https://www.airef.es/wp-content/uploads/2021/10/ESTUDIOS/PDF-WEB-accesible-CASTILLA-Y-LEON-1.pdf.
28. https://app.congreso.es/consti/constitucion/indice/titulos/articulos.jsp?ini=31&tipo=2.
62
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
una asignación equitativa de los recursos
públicos, y su programación y ejecución
responderán a los criterios de eficiencia y
economía»28. Para asegurar el cumplimien-
to de dicho artículo, a lo largo de los años
se han establecido algunas obligaciones y
mecanismos en materia de evaluación. No
obstante, como se describe a continuación,
las referencias normativas en este sentido
han sido muy limitadas, y en la mayor parte
de los casos han hecho menciones genera-
listas en cuanto a la evaluación y al análisis
de la eficacia y eficiencia de las actuaciones
públicas, entre otras, sin focalizar en ele-
mentos vinculados con la experimentación
pública.
Uno de los primeros marcos normativos exis-
tentes en España es el desarrollo del sistema
de evaluación de la Cooperación Española,
que se inició a partir de la Ley 23/1998, de
7 de julio, de Cooperación Internacional para
el Desarrollo, que en su artículo 19 establece
que «la Secretaría de Estado para la Coo-
peración Internacional y para Iberoamérica
evaluará la política de cooperación para el
desarrollo, los programas y proyectos finan-
ciados con fondos del Estado en curso de
ejecución y los finalizados, desde su concep-
ción y definición hasta sus resultados. La
evaluación tendrá en cuenta la pertinencia
de los objetivos y su grado de consecución,
así como la eficiencia y eficacia alcanzadas,
el impacto logrado y la viabilidad compro-
bada en los programas y proyectos ya fina-
lizados». Sin embargo, esta ley restringía la
evaluación a sectores determinados dentro
de la Administración, y de manera particular,
a la cooperación, y tampoco realizaba ningún
tipo de concreción en cuanto al enfoque para
el desarrollo de las evaluaciones de impacto
o la experimentación pública.
A comienzos de los años 2000, se empeza-
ron a dar pasos para crear un marco para la
política de evaluación. En 2004, se organizó
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
una comisión de expertos para proponer la
modernización de los servicios públicos y ha-
cerlos más eficientes y efectivos. Dos años
más tarde, se aprobó la Ley 28/200629, de 18
de julio, de Agencias Estatales para la Mejora
de los Servicios Públicos, que pretendía dar
un impulso a la evaluación de resultados en
un marco de mayor flexibilidad y responsa-
bilidad gestora mediante la creación de la
Agencia Estatal de Evaluación de las Polí-
ticas Públicas y la Calidad de los Servicios
(AEVAL). De nuevo, la creación de la AEVAL
se enfoca en procesos de evaluación en
general, sin hacer mención a evaluaciones de
impacto experimental o experimentación de
políticas públicas.
También en la Ley 19/201330, de 9 de diciem-
bre, de Transparencia, Acceso a la Informa-
ción Pública y Buen Gobierno, se indica en su
artículo 6 que «las Administraciones públicas
publicarán los planes y programas anuales
y plurianuales en los que se fijen objetivos
concretos, así como las actividades, medios
y tiempo previsto para su consecución. Su
grado de cumplimiento y resultados deberán
ser objeto de evaluación y publicación perió-
dica junto con los indicadores de medida y
valoración, en la forma en que se determine
por cada Administración competente».
Un año antes, el Consejo de Ministros acordó
la creación de la Comisión para la Reforma
de las Administraciones Públicas (CORA)
con el mandato de realizar un estudio inte-
gral dirigido a modernizar el sector público
español, dotarlo de una mayor eficacia, elimi-
nar las duplicidades y simplificar los procedi-
mientos entre la ciudadanía y la Administra-
ción. Este análisis resultó en un informe con
218 propuestas31, implementadas en buena
parte a través de la Ley 39/201532, de 1 de
octubre, del Procedimiento Administrativo
Común de las Administraciones Públicas, y
29. https://www.boe.es/buscar/act.php?id=BOE-A-2006-13011.
30. https://www.boe.es/buscar/act.php?id=BOE-A-2013-12887.
31. https://transparencia.gob.es/transparencia/dam/jcr:b1c69477-9882-41a5-9f6d-5cbb46fa12b4/reforma-AAPP.PDF.
32. https://www.boe.es/buscar/act.php?id=BOE-A-2015-10565.
33. https://www.boe.es/buscar/act.php?id=BOE-A-2015-10566.
34. https://documentos.fedea.net/pubs/fpp/2021/10/FPP2021-09.pdf?utm_source=wordpress&utm_medium=portada&utm_campaign=estudio.
sobre todo en la Ley 40/201533, de 1 de octu-
bre, de Régimen Jurídico del Sector Público.
La Ley 39/2015 hace referencia a la eva-
luación normativa para comprobar en qué
medida las normas en vigor han conseguido
los objetivos previstos, adaptando la norma-
tiva vigente a los principios de buena regu-
lación. Además, la Ley 40/2015 introduce
ciertos mecanismos de evaluación ex ante
(llamadas memorias de impacto normativo)
y ex post por parte de las Administraciones
públicas: «evaluar periódicamente los efec-
tos y los resultados obtenidos» y controlar
su eficacia. Asimismo, se establece que se
deberá realizar un informe anual de evalua-
ción de los planes normativos del año ante-
rior para reflejar su cumplimiento.
Todas estas normativas han tenido un al-
cance muy limitado, tomándose en muchas
ocasiones como un paso más del propio
proceso de formulación de una actuación
pública, sin que estas se visualicen como
una herramienta de análisis de impacto y de
viabilidad de la actuación, y, menos aún, con
el enfoque de una experimentación pública.
En cierta forma, muchas de estas evaluacio-
nes se han enfocado a confirmar la visión
de la Administración, de cara a aprobar la
ley que se debería estar evaluando. A ello se
ha sumado que en ocasiones se han desa-
rrollado desde los propios departamentos
responsables del diseño de las normas y la
gestión de políticas, surgiendo problemas
de independencia, falta de conocimientos
en evaluación y escasez de herramientas e
información para desarrollarlas34.
Como se puede ver, a lo largo de los últi-
mos años no se ha contado con un marco
normativo específico sobre evaluación,
y todo lo que se ha ido formulando se ha
centrado en referencias generales al proce-
so de evaluación, a la eficacia y eficiencia
63

de los servicios públicos. Sin embargo, esto
cambia en 2021, año en que se inició un
proyecto normativo para la aprobación de la
Ley de Institucionalización de la Evaluación
de Políticas Públicas en la Administración
General del Estado.
Aunque aún no está aprobada, el anteproyec-
to de ley, publicado el 20 de abril de 202235,
indica que «con la aprobación de esta norma,
España aborda de una forma decidida la eva-
luación de las políticas públicas, con el fin de
analizar y evidenciar el impacto de las políti-
cas públicas en cuestiones tan determinan-
tes para la ciudadanía y la mejora del estado
de bienestar como la igualdad de género, el
medio ambiente y la transición energética, la
despoblación y el reto demográfico, el cre-
cimiento económico, la redistribución de la
riqueza, la adecuación a la normativa y las di-
rectrices europeas o la adecuada alineación
ilustración 2. marco normativo en evaluación de políticas
públicas
Fuente: Elaboración propia
35. https://www.hacienda.gob.es/Documentacion/Publico/NormativaDoctrina/Proyectos/20042022-Anteproyecto-APLEVA-TRAMITE.pdf.
64
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
de las distintas intervenciones públicas con
los objetivos de desarrollo sostenible (ODS)
de la Agenda 2030».
Aunque no se hacen referencias a metodolo-
gías experimentales, se habla de la práctica
evaluadora basada en «el rigor científico» y
de la necesidad de realizar evaluaciones ex
ante y ex post para poder evaluar el impacto.
Asimismo, en el artículo 4 sobre los objetivos
de la evaluación de políticas públicas se indi-
ca que se pretende «impulsar la innovación
en la actuación del sector público, aportando
evidencias, facilitando el contraste de ideas,
promoviendo la creatividad y el máximo
provecho de los recursos». Por ello, se podría
decir que el marco normativo que se ha de-
sarrollado da cabida a este tipo de metodolo-
gías experimentales, aunque no se mencione
de manera específica.
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
A nivel autonómico, se puede decir que la
mayoría de los estatutos de autonomía inclu-
yen algún apunte sobre evaluación, si bien se
observa cierta heterogeneidad en cuanto al
grado de progreso. Destacan Cataluña, Ara-
gón y Andalucía, cuyos estatutos dedican un
mayor interés a la evaluación; por ejemplo, el
de Andalucía incluye en su artículo 138 que
«la ley regulará la organización y funciona-
miento de un sistema de evaluación de las
políticas públicas»36, aunque por el momento
no existe una regulación específica.
En este sentido, sí se han promulgado algu-
nas leyes para fomentar la evaluación, entre
las que destaca la Ley Foral 21/200537, de 29
de diciembre, de Evaluación de las Políticas
Públicas y la Calidad de los Servicios Públi-
cos de la Comunidad Foral de Navarra; la
Ley 2/201438, de 21 de marzo, de Proyectos
Estratégicos, Simplificación Administrativa
y Evaluación de los Servicios Públicos de
la Comunidad Autónoma de la Región de
Murcia; la Ley 5/2020, de Medidas Fiscales,
Financieras Administrativas y del Sector
Público de Cataluña, que define la evalua-
ción de políticas, o el Decreto 97/2020, de 25
de junio, por el que se regulan determinados
instrumentos para la gestión, la evaluación,
la supervisión y la mejora de la calidad en
el sector público autonómico de Galicia. En
el resto de las comunidades autónomas se
incluyen referencias a la evaluación de polí-
ticas públicas en las leyes de transparencia,
de participación o gobierno abierto, pero se
trata de menciones generales.
El repaso realizado se ha centrado en la
evaluación de políticas públicas, al ser el
marco donde se han producido referencias
normativas a lo largo de estos años y donde
cabe el desarrollo de actuaciones de expe-
36. https://www.boe.es/buscar/act.php?id=BOE-A-2007-5825.
37. http://www.lexnavarra.navarra.es/detalle.asp?r=4650.
38. https://www.boe.es/buscar/doc.php?id=BOE-A-2014-3719.
39. https://www.xunta.gal/dog/Publicados/2020/20200710/AnuncioG0244-030720-0001_gl.html.
40. https://www.boe.es/diario_boe/txt.php?id=BOE-A-2020-14205.
41. Sandbox regulatorio es un banco de pruebas en el que la autoridad supervisora permitirá probar proyectos innovadores de base tecnológica en el ámbito
financiero, con usuarios reales, bajo el control y la supervisión de la autoridad competente.
42. https://www.airef.es/wp-content/uploads/2021/10/ESTUDIOS/PDF-WEB-accesible-CASTILLA-Y-LEON-1.pdf.
43. https://www.airef.es/wp-content/uploads/2021/10/ESTUDIOS/PDF-WEB-accesible-CASTILLA-Y-LEON-1.pdf.
rimentación, relacionadas con evaluaciones
experimentales (RCT). Desde el punto de
vista de la experimentación, no tan ligado
a la evaluación, en 2020 se aprobó la Ley
7/202040, de 13 de noviembre, para la Trans-
formación Digital del Sistema Financiero, con
el objetivo de crear un sandbox regulatorio41
financiero en España, y más tarde, en 2021,
se ha introducido también en el sector eléc-
trico. El objetivo de dichos sandboxes es que
los participantes en el experimento pueden
modificar sus intervenciones si advierten
que generan riesgos legales, y el regulador
puede también acomodar la normativa si hay
obstáculos a la innovación. De esta forma,
se puede evaluar la aplicación práctica y real
de innovaciones en un marco jurídicamente
seguro. Esta normativa es una manera de
facilitar la innovación, pero también la experi-
mentación en la propia legislación.
Como se ha visto a lo largo de esta revisión,
la normativa en el ámbito de la evaluación en
España es limitada, y las referencias tienden
a ser generalistas. Comparado con otros
países de la OCDE, algunos como Holanda
y Estados Unidos sí cuentan con un marco
legal, mientras que Alemania, Canadá o el
Reino Unido, como en España, solo cuentan
con marcos muy generales42. Esto demues-
tra que países con una larga trayectoria en
las prácticas de evaluación no necesaria-
mente cuentan con un marco normativo,
aunque eso sí, su desarrollo queda vinculado
a la voluntad política.
Por tanto, el establecimiento de un marco
legal para la evaluación y la experimentación
no es una condición necesaria ni suficiente
para garantizar que se desarrollen evalua-
ciones o procesos de experimentación, ni
tampoco para garantizar su calidad43, ya que
65
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

estas se relacionan con diferentes variables pretende favorecer todos estos extremos, al
como la institucionalización de la evaluación, impulsar un sistema público de evaluación
la cultura de la evaluación existente o la en España que promueva simultáneamente
voluntad política44. Sin embargo, no hay que mejoras en la transparencia y en el cono-
menospreciar que el desarrollo de un marco cimiento de la eficiencia y calidad de los
legal específico sí que supone un facilitador servicios públicos»46, constituyendo el primer
e impulsor del desarrollo de la evaluación y paso importante para institucionalizar la eva-
experimentación en el ámbito de las políti- luación de políticas públicas en España.
cas públicas.
La OCDE destacó en varias ocasiones la
5.1.2. Hitos en el desarrollo necesidad de reforzar la AEVAL, la publica-
institucional ción obligatoria de sus evaluaciones y la
mejora de la coordinación entre ministerios
Como se ha visto anteriormente, el desarro- e instituciones a nivel nacional y regional47.
llo normativo en el ámbito de la evaluación Sin embargo, después de años de reducción
y experimentación ha sido limitado, pero en de recursos y pérdida de interés y voluntad
cambio sí que se han producido importantes política, en 2017 la Agencia queda disuel-
avances en el desarrollo de la cultura de la ta, y sus funciones fueron asumidas por la
evaluación y de una mayor institucionaliza- Secretaría de Estado de Función Pública a
ción de esta disciplina. En ese sentido, cabe través del Instituto para la Evaluación de
destacar algunos hitos importantes. Políticas Públicas (IEPP) y de la Dirección
General de Gobernanza Pública48. Durante los
En primer lugar, la entrada de España en la años de vida de la Agencia, la realización de
Unión Europea supuso un impulso para la evaluaciones de impacto fue muy limitada49,
evaluación de políticas públicas, sobre todo centrándose especialmente en el fomento de
a partir del año 1988, cuando la UE estable- la cultura de la evaluación, el desarrollo de
ció la obligación de evaluar las actuaciones evaluaciones de calidad de los servicios pú-
que se llevaban a cabo con financiación blicos, evaluaciones de implementación y, en
europea45. Esta obligación motivó el aprendi- menor medida, de resultados. Cabe destacar
zaje de gestores, políticos e investigadores que en el proyecto de la nueva ley de evalua-
implicados en este campo, contribuyendo ción50 se habla sobre la conversión del IEPP
al desarrollo de la cultura de la evaluación. en la Agencia Estatal de Evaluación de las
Durante estos años, buena parte de la la- Políticas Públicas51.
bor de evaluación se centró en actuaciones
financiadas con fondos europeos y en ac- La Autoridad Independiente de Responsabi-
tuaciones en el campo de la cooperación, la lidad Fiscal (AIReF), que fue creada en 2013,
educación y el empleo, entre otros. ha sido encomendada recientemente por el
Gobierno, motivado por una recomendación
Años más tarde, en 2006, se crea la Agencia de la Comisión Europea, a la realización
Estatal de Evaluación de las Políticas Pú- de evaluaciones del gasto público o spen-
blicas y la Calidad de los Servicios (AEVAL) ding reviews, con el objetivo de mejorar su
como «un proyecto de largo recorrido que eficiencia52. Las evaluaciones que se han
44. https://www.congreso.es/docu/comisiones/reconstruccion/documentacion_participacion_ciudadana/20200614_C17.pdf.
45. https://portal.uc3m.es/portal/page/portal/actualidad_cientifica/noticias/evaluacion_politicas_ue.
46. https://www.boe.es/buscar/doc.php?id=BOE-A-2006-21902.
47. https://www.oecd-ilibrary.org/governance/oecd-public-governance-reviews-spain-2016_9789264263024-en.
48. https://www.boe.es/boe/dias/2017/07/29/pdfs/BOE-A-2017-9012.pdf.
49. https://www.funcas.es/wp-content/uploads/Migracion/Articulos/FUNCAS_PEE/147art04.pdf.
50. https://www.mptfp.gob.es/en/portal/funcionpublica/Secretaria-de-Estado-de-Funcion-Publica/Actualidad/ultimas-noticias/
notas/2022/05/2022-05-25_02.html.
51. https://www.hacienda.gob.es/Documentacion/Publico/NormativaDoctrina/Proyectos/20042022-Anteproyecto-APLEVA-TRAMITE.pdf.
52. https://www.airef.es/es/spending-review/.

66
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

realizado hasta la fecha, incluyendo las de ra de evaluación de políticas públicas que

impacto, han cuidado su calidad e indepen- incluye la «instauración de la evaluación de
dencia53. Asimismo, entre las recomenda- impacto de las políticas públicas de manera
ciones de la AIReF en sus spending reviews regular y llevada a cabo por un organismo
está la de fomentar activamente una cultu- independiente»54.

ilustración 3. marco normativo e institucional en

evaluación de políticas públicas

Fuente: Elaboración propia

Por otra parte, desde su creación, el IEPP la actualidad, también de la evaluación de

únicamente publicó hasta 2020 una evalua- impacto. En este sentido, destacan las eva-
ción intermedia de la Estrategia Nacional luaciones de impacto realizadas en el progra-
Integral para Personas sin Hogar, y una serie ma Horizonte 2020, y en el nuevo periodo de
de guías, incluyendo la «Guía de evaluación programación, el artículo 44 «Evaluaciones
de resultados de políticas públicas»55, en la realizadas por los Estados miembros» del
que mencionan las características, tipos y Reglamento UE 2021/1060 del Parlamen-
pasos a seguir para realizar evaluaciones to Europeo y del Consejo de 24 de junio de
experimentales. En 2021 el IEPP publicó el 2021 de los Fondos Europeos establece que
estudio diagnóstico de la evaluación en la «antes del 30 de junio de 2029 se llevará a
AGE con el objetivo de servir como punto de cabo una evaluación de cada programa para
partida para los trabajos de elaboración de la determinar su impacto»57.
Ley de Institucionalización de la Evaluación
en la Administración General del Estado, El grado de coordinación centralizada de la
cuyo anteproyecto se encuentra en marcha56, política de evaluación en España es bajo,
como compromiso del Gobierno de España pero a nivel autonómico, en algunas comu-
incluido en el Plan de Recuperación, Trans- nidades autónomas se ha avanzado conside-
formación y Resiliencia de España. rablemente tanto en la evaluación de políti-
cas públicas en general como en el fomento
En este proceso, la Comisión Europea ha de evaluaciones experimentales. Destacan
sido y es un importante motor en el fomento algunos organismos:
de la cultura de evaluación en España, y en
53. Por ejemplo, la evaluación de impacto de la reforma del sistema de pensiones de 2011 o el estudio de políticas activas de empleo en Castilla y León.
54. https://www.airef.es/wp-content/uploads/2019/06/documentos-sr-protegidos/01_Proyecto_01.pdf.
55. https://www.mptfp.gob.es/dam/es/portal/funcionpublica/evaluacion-politicas-publicas/Documentos/Metodologias/Guia_de_Evaluacion_de_Resultados.
pdf#page=1.
56. https://www.hacienda.gob.es/Documentacion/Publico/GabineteMinistro/Notas%20Prensa/2022/CONSEJO-DE-MINISTROS/19-04-22-NP-CM-
ANTEPROYECTO-LEY-EVALUACION-POLITICAS-PUBLICAS.pdf.
57. https://eur-lex.europa.eu/legal-content/ES/TXT/PDF/?uri=CELEX:32021R1060&from=EN.
67
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Instituto Catalán de Evaluación de Políticas Públicas –

Ivàlua
En 2008 nace Ivàlua con el fin de incorporar la evaluación a la dinámica de las Administraciones
públicas catalanas, y más tarde también a la del tercer sector social y entre la ciudadanía. Ivàlua
realiza evaluaciones de políticas públicas, asesora organizaciones en evaluación, ofrece recursos
útiles y formación sobre evaluación, y organiza actividades en las que difunde la cultura de la
evaluación.

Ivàlua es un organismo pionero en la realización de evaluaciones de impacto que ha realizado

varias guías (evaluación de impacto, evaluación de impacto de políticas activas de empleo y eva-
luación de impacto de políticas educativas), formaciones al sector público y varias evaluaciones
experimentales que se expondrán en siguientes apartados (B-Mincome, Èxit Estiu, etc.)58.

Observatorio de la Realidad Social de Navarra – ORS

El Decreto Foral 268/2019, de 30 de octubre, establece que el Servicio del Observatorio de la
Realidad Social ejercerá, dentro del ámbito material de la investigación aplicada, la planificación y
la evaluación de las políticas públicas de servicios sociales y empleo, así como el análisis de los
procesos de transformación social y de los problemas sociales.

En su guía de evaluación de políticas sociales señalan que las de impacto «tienen un elevado
interés en el ámbito de las políticas sociales porque cuando medimos el impacto, comprobamos
que algo está funcionando o no, y podremos entonces ahorrar en el futuro seleccionando mejor
las medidas que realmente tienen efectividad».

Instituto Andaluz de la Administración Pública – IAAP

Dentro de las áreas de intervención del IAAP se encuentra la evaluación de políticas públicas. En
2016 el Gobierno andaluz inició un proyecto para desarrollar la evaluación de políticas públicas en
la Junta de Andalucía, y, entre otras actividades, se ha trabajado para elaborar una metodología
propia, sencilla y práctica de diferentes tipos de evaluaciones, incluyendo la de impacto.

En 2019 publicó las «Bases para la evaluación de impacto de políticas públicas»59.

Por otra parte, numerosas comunidades
autónomas cuentan con unidades responsa-
bles de la evaluación de políticas de dife-
rentes sectores, como la Dirección General
de Planificación de las Políticas Activas de
Empleo de Extremadura, el Área de Eva-
luación de Políticas Activas y Estrategia de
Empleo de la Consejería de Empleo de la
Comunidad de Madrid, la Agencia Valencia-
na de Evaluación y Prospectiva (AVAP) en
Valencia, que evalúa políticas de educación
superior principalmente, o el nuevo Instituto
de Economía Pública de Galicia, entre otros.
Desde el punto de vista de los experimentos
destacan las intervenciones para pilotar o
evaluar que se desarrollan desde la Generali-
tat de Catalunya.
A nivel local, cabe destacar que la Diputa-
ción y también el Ayuntamiento de Barcelo-
na están siendo pioneros en la promoción de
la realización de evaluaciones experimenta-
les de intervenciones sociales, participando
Ivàlua en la mayor parte de estas. De hecho,

58. https://ivalua.cat/es/node/85.
59. https://www.juntadeandalucia.es/institutodeadministracionpublica/publico/anexos/evaluacion/Bases_Evaluacion_Impacto.pdf.

68
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
el Ayuntamiento de Barcelona, dentro de la
convocatoria de ayudas a la innovación ur-
bana «La ciudad proactiva», ha incluido entre
las metodologías para integrar la planifica-
ción de proyectos una mención a «Behaviou-
ral insights and nudges». También el Ayunta-
miento de Madrid, mediante la creación de
la Dirección General de Innovación y Estrate-
gia Social, pretende «realizar el seguimiento
y evaluación del impacto, eficacia y eficien-
cia de las políticas locales que se aplican
en el ámbito de las familias, la igualdad y el
bienestar social»60.
Se puede concluir que España ha sido un
país tardío en la incorporación de la evalua-
ción al desarrollo de sus políticas públicas y
que, a pesar del impulso que ha tenido en los
últimos años, una parte importante de los
esfuerzos se han centrado en un primer paso
relacionado con la institucionalización de
la cultura de evaluación en general. En este
sentido, es importante señalar que las eva-
luaciones de impacto de tipo contrafactual y
experimental son residuales.
No obstante, en los últimos años tanto la
Comisión Europea como otras instancias
internacionales, como la OCDE, han favore-
cido esta institucionalización y también, más
recientemente, el uso de evaluaciones de
impacto de carácter experimental. Desde
ese enfoque, el hecho de que la experimenta-
ción pública no esté regulada expresamente
a través de una normativa no ha impedido
que algunas Administraciones hayan desa-
rrollado proyectos experimentales. Lo que sí
es cierto es que la falta de normativa especí-
fica deja el desarrollo de estas actuaciones
en manos de la voluntad política e institu-
cional, lo que implica que se encuentren a su
vez muchos más «inconvenientes» técnicos
para el desarrollo de actividades de experi-
mentación, al no tener previstos muchos de
los «condicionantes» para el desarrollo de
este tipo de actuaciones.
60. https://www.boe.es/diario_boe/txt.php?id=BOE-A-2022-1640.
5.2. Marco estratégico
Como se ha ido viendo, España no cuenta
con un único organismo o enfoque para el
desarrollo de la evaluación ni de la experi-
mentación, y esto ha hecho que, desde un
punto de vista general, su desarrollo se
encuentre segmentado a determinados sec-
tores y territorios donde se ha producido una
mayor implementación, marcada por una
mayor cultura de la evaluación.
Una parte importante de las experiencias en
evaluación han venido determinadas por ac-
tuaciones estratégicas de diferentes agen-
tes o en determinados sectores, que han su-
puesto un impulso tanto en ese ámbito como
para el resto de los agentes involucrados en
el diseño y ejecución de estos procesos de
evaluación. Tradicionalmente, en España el
desarrollo de la evaluación se ha centrado
en el ámbito de la cooperación y, de manera
secundaria, en ámbitos como el empleo. A
continuación, se expone brevemente el efec-
to de la evaluación en estos sectores:
Evaluación de la
Cooperación Española
El desarrollo del sistema de evaluación de la
Cooperación Española se inició a partir de la
ya mencionada Ley 23/1998, de 7 de julio, en
la que se indica que las políticas, programas
y proyectos de cooperación deberían ser eva-
luados. A partir de ese año, la evaluación de
las actuaciones de la Cooperación Española
recibe impulsos significativos, incorporando
los principios de evaluación del Comité de
Ayuda al Desarrollo (CAD) de la OCDE e inclu-
yendo la evaluación en los planes directores.
Desde entonces se han aprobado dos políti-
cas de evaluación (la última en 2013), planes
bienales de evaluación (desde 2013 a la
actualidad), diversas herramientas de eva-
luación (metodologías, manuales de gestión,
etc.) y numerosos ejercicios de evaluación,
69

tanto desarrollados por la propia Dirección
General de Políticas de Desarrollo Sostenible
(DGPOLDES) como evaluaciones externas.
Durante estos años, destaca la creación del
Spanish-World Bank Trust Fund for Impact
Evaluation and Results-Based Management
in Human Development Sector, o el Spanish
Impact Evaluation Fund (SIEF), que fue un
programa de 10,4 millones de euros financia-
dos por España, con una subvención de 1,5
millones por parte de Gran Bretaña. El ob-
jetivo del programa, que finalizó en junio de
2012, fue apoyar al Banco Mundial evaluan-
do el impacto de programas innovadores;
este consiguió financiar evaluaciones en 37
países e impartir formación.
Evaluaciones de políticas de
empleo
Las políticas de empleo son un ejemplo de
un ámbito en el que a mediados de la década
de los 2000 se comenzaron a realizar eva-
luaciones, que desde 2013 ha incorporado
la evaluación dentro de su ciclo de planifi-
cación y en el que, más recientemente, se
están realizando diversas evaluaciones de
impacto mediante contrafactual.
En las Estrategias Españolas de Activación
para el Empleo se establece un sistema
de seguimiento y evaluación a partir de
la definición de un sistema exhaustivo de
indicadores y objetivos determinados por
los Planes Anuales de Política de Empleo
(PAPE) de cada comunidad autónoma. En la
Estrategia de 2017-2020 se indica, en cuanto
a la metodología de evaluación de servicios
y programas, que «se acordará y pondrá
en funcionamiento durante la vigencia de
la Estrategia una metodología, en la que se
identifiquen los datos básicos a recoger,
así como la selección de contrafactuales y
otros criterios comunes necesarios para la
61. https://www.boe.es/buscar/doc.php?id=BOE-A-2017-14858.
62. https://www.oecd.org/employment/emp/dg-reform-spain-digital-tool-for-pes-counsellors.html.
63. Colaboración con el INE para obtener microdatos necesarios para las evaluaciones contrafactuales.
64. https://www.mites.gob.es/uafse/ficheros/evaluacion/planestrategico-fse/planestrategico_nac_evaluacion.pdf.
70
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
evaluación del impacto de los servicios y pro-
gramas individuales recogidos en el PAPE, y
que será independiente de la evaluación del
cumplimiento de los objetivos estructurales y
estratégicos que se realice cada año»61, aun-
que en la práctica no se ha realizado dicha
selección. A raíz de dicha Estrategia se han
realizado numerosas evaluaciones de impac-
to de políticas activas de empleo.
En el marco del acuerdo REFORM/
IM2020/004 entre la OCDE y la DG-Reform
de la Comisión Europea con el Servicio Públi-
co de Empleo Estatal (SEPE) y el Ministerio
de Trabajo y Economía Social (MITES), Espa-
ña ha solicitado asistencia para el diseño y
desarrollo de una evaluación de impacto de
la herramienta Send@62.
Más allá de esos dos ámbitos, uno de los
mayores impulsos en la evaluación de im-
pacto ha venido determinado por las referen-
cias introducidas en los Fondos Europeos.
En el periodo de programación 2007-2013
ya se comenzaron a plantear evaluaciones
de impacto63, y es en el periodo 2014-2020
cuando se fortalecen las metodologías de
impacto contrafactual mediante evaluacio-
nes cuasiexperimentales.
Esto se ve reflejado en los Planes de Evalua-
ción en los que la Autoridad de Gestión de
los Fondos impulsó el uso de evaluaciones
contrafactuales, que a su vez sirvió de refe-
rencia para el diseño de las evaluaciones de
muchos de los organismos intermedios. Un
ejemplo de ello es que:
• En el Fondo Social Europeo (FSE)64 se
habla de evaluaciones de impacto experi-
mentales y cuasiexperimentales, aunque
en el propio texto se indica, acerca de las
evaluaciones experimentales, que «este mé-
todo resulta poco realista y se produce una
aproximación mediante técnicas cuasiex-
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
perimentales». En la Estrategia se detallan
las metodologías de impacto contrafactual
para cada evaluación que se plantea hacer.
• En el Fondo Europeo de Desarrollo Regio-
nal (FEDER)65 se hacen muchas referencias
a la evaluación de impacto. En la Estrategia
se detallan las metodologías de impacto
contrafactual para cada evaluación que se
plantea hacer.
• En el caso del Fondo Europeo Agrícola de
Desarrollo Rural (FEADER) también se han
realizado evaluaciones de impacto cuasiex-
perimentales.
En este sentido, durante el periodo 14-20 se
han ejecutado un gran número de evaluacio-
nes de impacto contrafactual de carácter
cuasiexperimental. Por ejemplo, la «Evalua-
ción de impacto contrafactual del Programa
de inserción socio-laboral y mejora de la
empleabilidad de las mujeres víctimas de la
violencia de género»66 o la «Aproximación al
impacto contrafactual de la convocatoria de
ayudas a las pymes para la instalación de
placas fotovoltaicas»67.
Uno de los aspectos clave para entender el
desarrollo de estas evaluaciones cuasiexpe-
rimentales, y no de carácter experimental,
es que el desarrollo de la experimentación
debe estar previsto en el momento en que
se planifica la intervención, y en ese sentido
los planes de evaluación en los programas
europeos se han venido aprobando en el año
posterior a la aprobación del plan de inter-
vención, dificultando la planificación de este
tipo de experimentos.
Más recientemente, el Plan de Recupe-
ración, Transformación y Resiliencia de
España68, en su componente 11 de Moder-
nización de las Administraciones Públicas,
65. https://www.fondoseuropeos.hacienda.gob.es/sitios/dgfc/es-ES/ipr/fcp1420/e/PEF1420/Documents/Plan_de_Evalaucion_Comun_FEDER_v14.pdf.
66. https://www.mites.gob.es/UAFSE/ficheros/evaluacion/otras-evaluaciones/murcia/ev_mur_impacto_contrafactual2019.pdf.
67. https://www.caib.es/sites/fonseuropeus/f/346311.
68. https://www.lamoncloa.gob.es/temas/fondos-recuperacion/Documents/30042021-Plan_Recuperacion_%20Transformacion_%20Resiliencia.pdf.
69. https://www.boe.es/boe/dias/2021/10/27/pdfs/BOE-A-2021-17464.pdf.
contempla que «se reforzará la evaluación de
las políticas públicas con el fin de mejorar su
eficiencia», dando fruto al ya mencionado an-
teproyecto de ley de evaluación. Asimismo,
en el componente 29 de Mejora de la Efica-
cia del Gasto Público, se propone extender
hasta 2026 los ejercicios de spending review
desplegados por la AIReF, reforzando su
capacidad de evaluación e incorporando de
manera más efectiva sus recomendaciones
en la toma de decisiones mediante la crea-
ción de una unidad de seguimiento en el Mi-
nisterio de Hacienda y estableciendo plazos
temporales claros para que los centros de
gasto destinatarios de las recomendaciones
de los spending reviews respondan a sus
conclusiones.
En este Plan, también se habla en varios
componentes de la realización de proyectos
piloto que puedan ser escalables posterior-
mente, en el marco de los planes de acción
local de la Agenda Urbana Española, el desa-
rrollo de energías renovables innovadoras, de
hidrógeno renovable, y de la introducción del
ingreso mínimo vital; en este último se men-
ciona la intención de «evaluar el impacto de
itinerarios de inclusión para los beneficiarios
de esta nueva prestación».
Esta última iniciativa ya se encuentra en
marcha, con las subvenciones recientemente
lanzadas (27 de octubre de 2021) del Minis-
terio de Inclusión, Seguridad Social y Migra-
ciones en el ámbito de la inclusión, en las
que participan dieciséis convenios con en-
tidades y Administraciones públicas regio-
nales y locales, que incluyen, junto al diseño
y ejecución sobre los itinerarios de inclusión
social, la realización de una evaluación de
impacto con metodología de ensayo contro-
lado aleatorizado69.
71
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Pero no son las únicas: el 17 de mayo de 2022
se aprobó un decreto para impulsar el segundo
paquete de proyectos piloto para el desplie-
gue de itinerarios de inclusión vinculados al
ingreso mínimo vital. En concreto, esta norma
permitirá la firma de dieciocho nuevos con-
venios con comunidades autónomas, ayunta-
mientos y entidades del tercer sector70.
Asimismo, es preciso señalar que, como se
podrá leer en el siguiente capítulo, se puede
encontrar un número significativo de ejemplos
recientes de instituciones de investigación, pú-
blicas y privadas, que están empleando técni-
cas experimentales, y que en algunos casos lo
están haciendo para informar ciertas interven-
ciones, sobre todo de entidades sociales.

Esta evaluación experimental de un programa

piloto es una excepción. Aunque en la Admi-
nistración, desde el nivel nacional al local, es
frecuente que se realicen programas de este
tipo, no es habitual que se evalúen mediante
técnicas experimentales. Esto hace que, a
menudo, se escalen o supriman intervenciones
piloto de acuerdo con factores que no tienen
que ver con su efectividad71.

El desarrollo de esta experiencia por parte del

Ministerio de Inclusión, Seguridad Social y
Migraciones puede suponer un impulso clave
para el desarrollo de evaluaciones experimen-
tales en el ámbito de las políticas públicas, que
fomenten la experimentación de programas o
proyectos mediante el desarrollo de experien-
cias piloto. Suponen una experiencia de amplio
calado, impulsada por la propia Administración
pública estatal, en la que se cuenta con la cola-
boración de otras entidades especializadas en
este tipo de metodologías.

Todo lo anterior expone que las iniciativas

de experimentación pública en España han
sido residuales hasta hace varios años, si
bien desde mediados de la década de 2010
el pequeño impulso de metodologías de
evaluación contrafactual, desde un enfoque
cuasiexperimental primero, y experimental
en estos últimos tres o cuatro años, ha sido
importante, lo que ha provocado que estén
cada vez más presentes en el discurso y en
la agenda de las Administraciones públicas,
las entidades privadas y los profesionales del
sector de la evaluación.

70. https://www.lamoncloa.gob.es/consejodeministros/referencias/Paginas/2022/refc20220517ccc.aspx#ingreso.
71. https://www.eldiario.es/agendapublica/impacto_social/innovacion-social-basada-evidencias-espana_1_5848360.html.

72
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

expe
rien
cias de
experi
menta
ción
pública
en
españa

06.
73

Las experiencias de procesos de experimen-
tación pública en España han sido escasas.
Estas se han desarrollado en mayor medida en
el ámbito de la salud pública (nutrición, salud
mental, etc.) mediante la implementación de
ensayos clínicos, pero apenas existen ejem-
plos en otros ámbitos de las políticas públicas.
Asimismo, la mayor parte de los experimentos
que se han realizado en otros sectores no sue-
len ser liderados por la Administración pública,
sino por organizaciones del tercer sector y
entidades de investigación.
A pesar del corto recorrido, es cierto que,
recientemente, han tenido lugar algunas in-
tervenciones que incluyen experimentación a
nivel estatal, autonómico y local, que podrían
ser las precursoras de esta metodología en
el futuro. A continuación, se ofrece un breve
repaso de estas experiencias, clasificadas
según el nivel de la actuación, y que incluye en
un apartado iniciativas fomentadas por institu-
ciones privadas.
6.1. Experimentos de la
Administración Gene-
ral del Estado
La AIReF, como principal referente en evalua-
ción desde la Administración General del Esta-
do, ha incluido en gran medida evaluaciones de
impacto cuasiexperimentales con contrafac-
tual, por ejemplo, casi todas las realizadas en
la segunda fase de los spending reviews72. Sin
embargo, no se ha efectuado hasta la fecha
ninguna evaluación de impacto experimental.
Por otra parte, la experiencia con mayor
relevancia hasta la fecha, aún en su fase de
estudio, es la evaluación de los proyectos
de itinerarios de inclusión social ligados al
ingreso mínimo vital (IMV) derivados del Real
Decreto 938/202173, de 26 de octubre, en el
72. Evaluaciones de impacto con contrafactual del spending review fase II (3 de 4): beneficios fiscales (diferencias en diferencias, regresión en discontinuidad,
cambio de tendencia, bunching, etc.), infraestructura del transporte (evaluación ACB-la economía sin proyecto) e incentivos a la contratación y al trabajo autónomo
(diferencias en diferencias). También 2 de las 7 de la fase I: programas de políticas activas de empleo ( propensity score matching) y Correos ( profitability cost).
73. https://www.boe.es/diario_boe/txt.php?id=BOE-A-2021-17464.
74. https://www.nature.com/articles/d41586-020-01993-3.
75. https://www.airef.es/es/noticias/la-airef-la-agencia-tributaria-y-el-inss-firman-un-convenio-para-regular-el-acceso-a-datos-necesarios-para-la-
evaluacion-del-imv/.
74
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
marco del componente 23 «Nuevas políticas
públicas para un mercado de trabajo dinámico,
resiliente e inclusivo» del Plan de Recupera-
ción, Transformación y Resiliencia.
Entre las reformas e inversiones propuestas
en este componente 23 se incluye la inversión
7: «Fomento del crecimiento inclusivo median-
te la vinculación de las políticas de inclusión
sociolaboral al ingreso mínimo vital», que
promueve la implantación de un nuevo modelo
de inclusión a partir del IMV, que reduzca la
desigualdad de la renta y las tasas de pobreza.
Para lograr este objetivo se ha planteado, entre
otros, el desarrollo de proyectos piloto para
la puesta en marcha de itinerarios de inclu-
sión social con las comunidades y ciudades
autónomas, entidades locales y entidades del
Tercer Sector de Acción Social, así como con
los distintos agentes sociales.
Esta iniciativa se considera también una expe-
riencia referente a nivel internacional, por su
temática, alcance e inversión, considerándose
«el mayor experimento económico del mun-
do»74. Otros países han experimentado con el
IMV, pero esta será la primera vez que se haga
a nivel estatal. El programa estará dirigido a
850.000 familias en situación de pobreza, a las
que se les ofrecerá un pago mensual de hasta
1015 €. Se estima que el coste del IMV será de
aproximadamente tres mil millones de euros
anuales.
Entre tanto, tal y como recoge la ley por la que
se establece el ingreso mínimo vital, el resulta-
do de la medida y de las distintas estrategias
y políticas de inclusión será evaluado anual-
mente por la AIReF, mediante la emisión de
una Opinión75. Con este propósito, la AIReF, la
Agencia Tributaria y el Instituto Nacional de la
Seguridad Social (INSS) han firmado un conve-
nio que permitirá a la institución acceder a un
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

amplio conjunto de información, conveniente- plir el mandato recogido en la ley; en él además

mente anonimizada, fundamental para realizar
un análisis preciso de la eficiencia y eficacia del
IMV. En concreto, la AIReF requiere acceder a
datos derivados de la gestión por parte del INSS
y a datos de Renta y Patrimonio de la Agencia
Tributaria. El convenio proporciona una solución
estable de, al menos, cuatro años para satisfa-
cer las necesidades de la AIReF de cara a cum-
se garantiza la debida seguridad y confidenciali-
dad de los datos objeto de cesión.
Se prevé publicar esta primera opinión sobre
el IMV en el segundo trimestre de 2022, si bien
en el momento de elaboración de este informe
no está disponible.

Itinerarios de inclusión social ligados al ingreso mínimo vital76

Ámbito territorial España

Entidades gestoras Ministerio de Inclusión, Seguridad Social y Migraciones

En 2021 se han firmado dieciséis convenios con nueve comunidades autónomas (Asturias,
Aragón, Castilla-La Mancha, Ceuta, Comunidad Valenciana, Extremadura, Galicia, Navarra y País
Vasco), dos ayuntamientos (Madrid y Barcelona) y cuatro entidades del tercer sector (Fundación
Secretariado Gitano, HOGAR SÍ, Save the Children, Plena Inclusión y Cáritas).
Entidades ejecutoras
En 2022, otros dieciocho nuevos convenios con siete comunidades autónomas (Andalucía, Cata-
luña, La Rioja, Madrid, Murcia, Navarra y Comunidad Valenciana), dos ayuntamientos (Santander
y Sevilla) y nueve entidades del tercer sector (Cáritas, CEPAIM, Cruz Roja, EAPN, EAPN Canarias,
Fundación La Caixa, Ayuda en Acción, Fundación Bofill y Fundación Esplai).

Entidades evaluadoras Los RCT los realizarán el Centro de Estudios Monetarios y Financieros (CEMFI) y J-PAL.

Periodo de análisis 2021-2023

Financiación de proyectos piloto innovadores consistentes en itinerarios de inclusión social y su

evaluación, cuyos resultados serán publicados con objeto de contribuir a la generación de conoci-
Ámbito de actuación miento de la política de inclusión, a la orientación de la política de gasto de las Administraciones
públicas y a la creación de mayor impacto, orientando su diseño a resultados y a la consecución
de objetivos.

El diseño y ejecución de los itinerarios de inclusión social deberá prever la realización de una
Metodología
evaluación de impacto con metodología de ensayo controlado aleatorizado.

Los resultados todavía no están disponibles. El pasado 4 de julio el Ministerio de Inclusión celebró
Resultados la jornada «Un ingreso mínimo vital orientado a la inclusión», en la que se han presentado los
avances en la implementación de los itinerarios y los primeros desafíos encontrados.

76. La fuente de información se encuentra en forma de vínculo en los títulos de las experiencias.

75
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

En la misma línea, aunque aún no se ha ce- 6.2. Experimentos auto-

rrado definitivamente la propuesta, en 2021 el
Gobierno y el partido político Más País llegaron
a un acuerdo para realizar un plan piloto de
semana laboral de 4 días o 32 horas para
estudiar los beneficios de la reducción de la
jornada laboral, tanto en la productividad de
la empresa como en el ámbito de la concilia-
ción. Se pretende ensayar el plan piloto en una
horquilla de entre 200 y 400 empresas volun-
tarias de diferentes sectores para comparar
sus resultados con otras compañías similares
que no hayan reducido jornadas. El número
de trabajadores que participarían en el plan
se situaría entre 3000 y 6000, y la duración de
este plan sería de un mínimo de dos años, un
periodo para evaluar el impacto e intentar es-
calar el plan a un mayor número de empresas
y sectores.
nómicos
A este nivel se han identificado pocas experien-
cias, siendo reseñables las dos potenciadas
por la UE en el marco de Horizonte 2020. En
2018, la Comisión Europea introdujo el progra-
ma INNOSUP-06-2018 para fomentar que las
agencias de innovación en Europa diseñaran
y evaluaran nuevas iniciativas innovadoras79.
En total, trece proyectos en catorce países con
veintisiete agencias nacionales y regionales
involucradas están experimentando con solu-
ciones para promover la innovación, y para la
mayoría de ellas es la primera vez que utilizan
RCT. En España están teniendo lugar dos expe-
riencias:

Además de estas experiencias, según la OCDE,

hay algunas intervenciones desde la Admi-
nistración pública española que han estado
informadas por la perspectiva conductual
y que, sin embargo, no han sido evaluadas
mediante técnicas experimentales. Por ejem-
plo, mencionan que el Ministerio de Turismo
introdujo incentivos y nudges para mejorar la
tasa de respuesta de la encuesta de indus-
tria77. Sin embargo, en el ámbito de las ciencias
conductuales o del comportamiento apenas
se reportan experiencias en España, en com-
paración con otros países de Europa. Como se
mencionó con anterioridad, en 2018, la Funda-
ción Felipe González puso de manifiesto en su
documento de 37 ideas o pequeñas reformas
de la AGE la necesidad de diseñar una unidad
de estas características qua apoyara en el di-
seño de servicios al conjunto de los ministerios
y organismos de la AGE78, pero esta propuesta
no llegó a prosperar.

77. https://read.oecd-ilibrary.org/governance/behavioural-insights-and-public-policy_9789264270480-en#page393.
78. https://s1.fundacionfelipegonzalez.org/wp-content/uploads/2019/02/unidad-administrativa-de-vanguardia.pdf.
79. https://innovationgrowthlab.org/eu-funded-trials.

76
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

InDemand RCT

Ámbito territorial Región de Murcia

Instituto de Fomento Murcia (INFO) financiado por el programa Horizonte 2020 de la Unión Euro-
Entidades gestoras
pea

Entidad evaluadora INFO con el apoyo de personas expertas y entidades especializadas (FFISS, EASME y NESTA)

Periodo de análisis 2019-2022

El proyecto inDemand-RCT, financiado con fondos europeos, tiene como objetivo examinar y po-
ner a prueba un nuevo modelo de negocio basado en la demanda mediante la creación conjunta
de patrones entre clientes y pymes. El modelo de creación conjunta incluirá aportaciones de los
Ámbito de actuación
clientes sobre las soluciones tecnológicas ofrecidas por los proveedores (las pymes) y comer-
cializadas por los intermediarios responsables de aportar valor añadido, con el fin de encontrar
conjuntamente soluciones innovadoras para satisfacer las necesidades del cliente.

RCT para comprobar la eficacia de un nuevo modelo de apoyo a la innovación (modelo inDemand,
innovación impulsada por la demanda) para las pymes que se aplica para dar respuesta a las
Metodología
necesidades de I+D, la digitalización y la respuesta a la covid-19, identificadas por las grandes
empresas de la Región de Murcia.

Resultados Los resultados todavía no están disponibles.

Proyecto DIHnamic

Ámbito territorial Castilla y León

Instituto de Competitividad Empresarial (ICE) financiado por el programa Horizonte 2020 de la

Entidades gestoras
Unión Europea

Entidad evaluadora ICE con apoyo de entidades especializadas (Nesta y Red2Red)

Periodo de análisis 2019-2022

El proyecto DIHnamic, financiado al 100 % por la Unión Europea, tiene como fin verificar nuevos
servicios innovadores de apoyo a pymes de Castilla y León, gracias al impulso de los centros de
Ámbito de actuación
innovación digital (DIH) de la región y otros DIH de toda Europa, y a su difusión a nivel europeo a
través de las agencias de innovación.

Con el proyecto DIHnamic, el ICE, innovando en la forma en que presta su apoyo a las pymes,
Metodología realizará una medición rigurosa del impacto de los servicios proporcionados por los centros de
innovación digital mediante el uso de la metodología de los ensayos controlados aleatorizados.

Resultados Los resultados todavía no están disponibles.

Destaca también el experimento basado en la

teoría de comportamiento que se realizó con
el Consorcio de Educación de Barcelona (una
colaboración institucional entre la Generalitat
de Catalunya y el Ayuntamiento de Barcelona),
uno de los pocos ejemplos que se ha podido
identificar en este ámbito de las ciencias del
comportamiento.

77
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Èxit Estiu

Ámbito territorial Barcelona

Entidades gestoras Consorcio de Educación de Barcelona

Entidad evaluadora Ivàlua

Periodo de análisis 2015-2016

Èxit Estiu se plantea como un programa de refuerzo escolar que se implementa al final del
curso. Su finalidad es ofrecer un acompañamiento en la transición de la educación primaria a la
Ámbito de actuación secundaria y mejorar los aprendizajes. Dentro de este programa se planteó un pequeño piloto
que fomentaba el involucramiento de las familias en la educación de sus hijos para mejorar sus
resultados académicos mediante nudges.

Parte de la evaluación consistió en la evaluación del impacto de una intervención piloto que con-
sistía en el envío a las familias de los alumnos de SMS de dos tipos: un grupo de familias recibía
mensajes informativos sobre el calendario del programa y los exámenes, y otro grupo recibió un
Metodología
mensaje de sensibilización sobre la importancia del programa y el progreso de los participantes.
Participaron en el experimento 1113 familias, 371 recibieron el mensaje de sensibilización, 371 el
informativo y 371 ningún mensaje.

El impacto de los SMS en los resultados académicos del alumnado fue limitado y no significativo
Resultados desde el punto de vista estadístico. Por tanto, se recomendó probar diferentes modificaciones en
el contenido, momento y frecuencia del envío, formato de los mensajes y persona destinataria.

Además, el Departamento de Presidencia de

la Generalitat de Catalunya está realizando un
proyecto piloto de renta básica universal (RBU)
que incluye una evaluación de impacto.

Renta Básica Universal

Ámbito territorial Generalitat de Catalunya

Entidad gestora Departamento de Presidencia (Oficina del Plan Piloto para Implementar la RBU)

Entidad evaluadora Ivàlua

Periodo de análisis 2021-2025 (dos años de implementación más uno adicional para la evaluación)

La RBU es una asignación monetaria individual (para la persona, no el hogar o la familia), universal
(para todos los ciudadanos o residentes acreditados) e incondicional (independiente de toda
Ámbito de actuación
condición o requisito). La Generalitat de Cataluña pretende analizar la viabilidad de implementar la
RBU.

El plan piloto se encuentra actualmente en su fase de diseño, pero se prevé que participarán unas
Metodología
cinco mil personas de diferentes localidades, que serán escogidas aleatoriamente.

Resultados Los resultados todavía no están disponibles.

78
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

En esta misma línea, existe una variedad de 6.3. Experimentos

proyectos piloto con potencial de ser eva- locales
luados mediante técnicas experimentales.
Por ejemplo, recientemente, el Ministerio de En el ámbito local, destaca el Ayuntamiento
Derechos Sociales y Agenda 2030 y la Comu- de Barcelona, que está siendo uno de los
nidad de Madrid, en el marco del convenio de municipios pioneros en promover la expe-
colaboración para la ejecución de proyectos rimentación pública desde hace ya unos
con cargo a los fondos europeos proceden- cuantos años con asistencia de la institución
tes del Mecanismo para la Recuperación y también pionera Ivàlua.
Resiliencia80, cuenta con una serie de pro-
yectos de experimentación de innovaciones
en servicios sociales, que consisten en la
puesta en marcha de varias experiencias
piloto que permitan desarrollar métodos de
trabajo, herramientas y nuevos servicios que
serán escalados y eventualmente podrían ser
incorporados después en la cartera de servi-
cios. Aunque no hay información concreta de
estos proyectos piloto, se indica que «serán
monitorizados y evaluados de modo inde-
pendiente, con objeto de medir su impacto y
potencial replicabilidad» y, por tanto, podrían
incorporar diseños experimentales en su eva-
luación.

Existen otros ejemplos de iniciativas experi-

mentales, como los proyectos experimen-
tales del Plan Avalem Territori para el desa-
rrollo territorial y mercado laboral valenciano,
impulsados por LABORA, el Servicio de
Ocupación y Formación de Valencia. Se trata
de un desarrollo de veinte proyectos experi-
mentales para un periodo total de dos anua-
lidades (2017-2018) en diferentes lugares de
la Comunitat Valenciana. En este caso, los
proyectos experimentales sí han sido evalua-
dos81, pero no se han empleado técnicas de
evaluación de impacto que, sin duda, podrían
haber sido interesantes para una iniciativa
como esta.

80. https://www.boe.es/diario_boe/txt.php?id=BOE-A-2021-21377.
81. https://avalemterritori.es/wp-content/uploads/2020/07/Proyectos-Experimentales-y-Territorio-Valenciano-1.pdf.

79
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Programa Mobilitza’t Mobile de Barcelona Activa

Ámbito territorial Barcelona

Entidades gestoras Ayuntamiento de Barcelona (Barcelona Activa)

Entidad evaluadora Ivàlua

Entidad financiadora Unión Europea en el marco del programa PROGRESS

Periodo de análisis 2014-2016

El programa Mobilitza’t Mobile ofrece a los jóvenes una oportunidad segura en el ámbito educati-
Ámbito de actuación
vo, facilitando su retorno a la educación formal y fomentando su inserción laboral.

El programa se evaluó siguiendo un diseño experimental, asignando de manera aleatoria a 240

personas elegibles al grupo que realizaba el programa Mobilitza’t Mobile (120 participantes) o bien
Metodología
al grupo de control (120 participantes), que actuaba como comparador sobre lo que pasaba con
este perfil de jóvenes en ausencia del programa.

Los principales resultados de la evaluación fueron:

• Mobilitza’t Mobile tuvo un impacto positivo, estadísticamente no significativo, sobre la

inserción laboral. Este impacto es más visible entre los participantes en la segunda edición del
programa.

• El programa parece favorecer la obtención de contratos de más calidad: tanto en la inserción

laboral mensual como en la contratación indefinida o en los requerimientos educativos del
contrato.

• Los incrementos en la tasa de finalización del programa tienen efectos positivos y significati-
Resultados vos en la probabilidad de encontrar un trabajo con contrato indefinido.

• El programa no genera ningún impacto significativo en relación con el objetivo de fomentar

el retorno al sistema educativo.

• La tasa de abandono del programa fue muy elevada (57,8 %), principalmente en su primera
edición (64,1 %). El principal motivo para dejar el programa es la falta de motivación (32,8 %),
seguido de cuestiones relacionadas con la cercanía del trabajo (16,4 %).

• El programa no ha tenido continuidad, pero a raíz de esta evaluación se pudieron realizar

cambios en otras intervenciones, incorporando las nuevas tecnologías, y se ha podido em-
plear como ejemplo de metodología experimental.

80
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Programa Primer la Llar (Hogar Primero)

Ámbito territorial Barcelona

Entidad gestora Ayuntamiento de Barcelona

Entidad evaluadora Ivàlua

Periodo de análisis 2015-2018

El programa Primer la Llar se basa en el modelo conocido internacionalmente como «Housing

First». A diferencia del modelo tradicional (caracterizado por que la persona sin hogar accede a la
Ámbito de actuación
vivienda al final de su proceso de recuperación), este proyecto sostiene que una persona sin hogar
debe disponer de una vivienda permanente.

A partir de esta premisa, en el año 2015 el Ayuntamiento de Barcelona implementó el proyecto

Metodología piloto Primer la Llar con 50 hogares. De las 139 personas que se presentaron, 50 fueron seleccio-
nadas para participar en el modelo Housing First, y el resto, en el modelo tradicional.

• Impacto positivo en la calidad de vida y salud.

• Recuperación personal a través de cinco fases: moral, conciencia, preparación, reconstrucción y

crecimiento.

• Aumento de la autoeficacia (sentimiento de confianza con las propias capacidades para gestio-
Resultados
nar adecuadamente las dificultades de la vida cotidiana).

• Aumento y mejora de las relaciones sociales.

• La evaluación sirvió para extraer aprendizajes para su incorporación a la Cartera de Servicios

para Personas Sin Hogar del Ayuntamiento de Barcelona.

81
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Proyecto B-MINCOME

Ámbito territorial Barcelona

Ayuntamiento de Barcelona (Dirección de Innovación Social del Área de Derechos Sociales, Justi-
Entidad gestora cia Global, Feminismos y LGTBI) cofinanciado por Urban Innovative Actions, de los Fondos FEDER
de la Unión Europea

Ivàlua (Instituto Catalán de Evaluación de Políticas Públicas), The Young Foundation, NOVACT
(Instituto Internacional para la Acción Noviolenta), IGOP (Instituto de Gobierno y Políticas Públi-
Entidades ejecutoras
cas), el Data Management Group de la Universidad Politécnica de Cataluña y el ICTA (Instituto de
Ciencia y Tecnología Ambientales) de la Universidad Autónoma de Barcelona

Periodo de análisis 2017-2019

B-MINCOME es un proyecto piloto que consiste en una transferencia monetaria complementada

Ámbito de actuación con políticas de activación con el objetivo de dar formas innovadoras de empleo a mil familias en
situación de exclusión socioeconómica de los barrios del Eje Besós de la ciudad de Barcelona.

El modelo experimental empleado por el proyecto B-MINCOME combinó ciertos aspectos de

un estudio de saturación, puesto que se implementó en una zona concreta (exclusivamente en
diez barrios que conforman el llamado Eje Besós), con un RCT, mediante el cual se seleccionan
Metodología
aleatoriamente los participantes finales, su modalidad de participación y la política activa en que
participarían. Así se crearon once grupos de participación, incluyendo diez grupos de tratamiento
distintos y un grupo de control.

• Efectos positivos sobre algunas dimensiones del bienestar de las familias: en reducir la probabili-
dad de privación material y de pobreza severa; mejorar el bienestar de las familias y la percepción
de su situación económica; y se perciben efectos atribuibles a la intervención en mejor calidad del
sueño y reducción del estrés asociado a la inseguridad alimentaria.

• Efectos positivos sobre la situación financiera y la exclusión residencial: hay mejoras en la

participación comunitaria y, en el caso de las familias participantes en la política de participación
comunitaria, se incrementa la probabilidad de contar con un mayor apoyo social.
Resultados
• No se observan mejoras significativas en la salud física de las personas participantes, ni sobre la
salud autopercibida o en la probabilidad de tener un problema de salud grave (como un problema
de salud mental). Sí hay mejoras en las horas de sueño, estilo de vida más saludable y acceso a
atención médica.

• La participación en las políticas activas de empleo no ha estimulado la voluntad de empren-

dimiento ni aumentado la probabilidad de encontrar empleo. En el conjunto del proyecto se ha
reducido la participación laboral entre los titulares de la prestación adscrita al programa.

82
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Se identifican también en la Diputación de

Barcelona algunas evaluaciones experimen-
tales realizadas por Ivàlua.

Talleres de capacitación para mayores de 55 años

Ámbito territorial Barcelona

Entidad gestora Diputación de Barcelona

Entidades colaboradoras Fundación Pere Tarrés, Fundación Vodafone y Bibliotecas Municipales

Entidades ejecutoras Ivàlua

Periodo de análisis 2014

Los talleres de capacitación digital constan de una serie de módulos formativos en los que se
Ámbito de actuación enseña a utilizar teléfonos inteligentes y tabletas a personas de más de 55 años y con los que se
pretende disminuir el analfabetismo digital en este colectivo.

La evaluación se realizó mediante un estudio experimental, de manera que en cada biblioteca se

asignaron por sorteo las plazas a los talleres entre las personas interesadas. Los datos necesa-
rios para la evaluación se recogieron principalmente mediante un cuestionario en el momento de
Metodología
la preinscripción en los cursos y pasados cuatro meses de media antes de la finalización de los
talleres. Participaron en el proyecto experimental dieciséis bibliotecas, donde se reunieron quinien-
tas personas, y se obtuvieron datos de seguimiento de trescientas de estas personas.

La asistencia a los talleres se asocia a un incremento estadísticamente significativo del 13 % en la

frecuencia de uso de cualquier aplicación relacionada con la comunicación (WhatsApp, Facebook,
Resultados
etc.) y también con un aumento del 18 % en la frecuencia de uso de internet relacionado con el
ocio y el acceso a medios de comunicación.

83
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Dispositivos de seguridad para la prevención de incendios en el

Servicio de Teleasistencia Domiciliaria
Ámbito territorial Barcelona

Diputación de Barcelona (Gerència de Serveis de Benestar Social. Àrea de

Entidad gestora
Cohesió Social, Ciutadania i Benestar)

Entidades ejecutoras Ivàlua

Periodo de análisis 2017-2020

Ámbito de actuación
A partir de abril de 2017, el Servicio Local de Teleasistencia de la Diputación de Barcelona está im-
plementando un nuevo modelo de atención. El modelo de Respuesta Eficiente en Teleasistencia, o
modelo RET, basa su filosofía en dar una respuesta adaptada a las necesidades de cada persona
con una mayor eficiencia y valor tecnológico. Uno de los dispositivos por los que más se apuesta
de este nuevo sistema son los detectores de humo y fuego.

Se asignaron mediante sorteo las personas a las que se les instaló un detector de humo y fuego
(un total de 581) y a las que no (también 581). Antes del sorteo y a los seis meses se hizo una
Metodología encuesta sobre el conocimiento y las actitudes de las personas en cuando a la prevención de los
incendios, y a los doce meses se estudió el número de accidentes en el hogar comparando el
grupo tratamiento y el grupo control.

• Los detectores incrementan la percepción sobre la posibilidad de tener un accidente relacionado

con el fuego y mejoran el conocimiento de la necesidad de contar con un dispositivo de estas
características.

Resultados
• No se modifican los comportamientos de prevención de incendios ni tampoco su conocimiento.

• Como la probabilidad de que ocurran incendios en el hogar es bajo, observar este fenómeno a lo
largo de doce meses es un periodo corto de tiempo, lo que supone una limitación en la evaluación.

Por otra parte, en agosto de 2013 la Diputa- vención, Infancia y Familia del Ayuntamiento
ción Foral de Gipuzkoa (Departamento de de San Sebastián»82. En este sentido, se ha
Política Social), el Ayuntamiento de Donostia/ pretendido evidenciar que dos programas que
San Sebastián y la Universidad del País Vasco eran exitosos en el extranjero podían transferir-
(Departamento de Psicología Social y Meto- se con éxito al País Vasco83.
dología de las Ciencias del Comportamiento)
firmaron un acuerdo de colaboración con
objeto de «la implantación con carácter piloto
y experimental de programas de intervención
(prevención y tratamiento) basados en la evi-
dencia (es decir, que hayan demostrado ya su
eficacia en aplicaciones sistemáticas en otros
contextos o países), con menores y familias
en situación de desprotección que tengan un
expediente abierto y estén siendo objeto de
intervención por el Servicio de Protección a la
Infancia y a la Adolescencia de la Diputación
Foral de Gipuzkoa y por el Servicio de Pre-

82. https://www.gipuzkoa.eus/documents/1932270/1932598/
Sistema+de+protecci%C3%B3n+infantil+en+Gipuzkoa.+Propuesta+para+una+Cartera+de+Programas+basados+en+la+evidencia-2/d7387036-aa88-6fde-
6304-bf6e660fbb0d.
83. https://www.bienestaryproteccioninfantil.es/imagenes/tablaContenidos03SubSec/Implantaci%C3%B3n_2015.pdf.

84
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Programa Safecare y programa Incredible Years

Ámbito territorial Gipuzkoa

Entidades ejecutoras Diputación Foral de Gipuzkoa, Ayuntamiento de Donostia y la Universidad del País Vasco

Periodo de análisis 2013-201784

Los programas Safecare e Incredible Years están dentro de la cartera de servicios de intervención
socioeducativa y psicosocial de la Diputación.

• Safecare es un programa de enseñanza de habilidades parentales destinado a familias en las

Ámbito de actuación
que se ha observado alguna o varias de las posibles situaciones de desprotección infantil.

• Incredible Years un programa de intervención temprana para la prevención de problemas de

conducta y para la promoción de la competencia social y emocional.

El proceso de implantación de programas basados en la evidencia en los servicios de protección

infantil en Gipuzkoa ha tenido, que se conozca por el momento, dos fases.

• En la primera, la fase de exploración, se hizo un análisis de la situación y se seleccionaron dos

programas ya existentes, estableciendo negociaciones con las organizaciones que gestionan
estos programas en Estados Unidos.

Metodología
• Una vez asignado un presupuesto, se inició la segunda fase de preparación, en la que se realizó
una adaptación y preparación del programa, una selección y formación de profesionales para
implementarlo, y su aplicación durante la fase de formación.

• Estaba previsto en la siguiente fase (implantación piloto) llevar a cabo una evaluación de los
resultados de los dos programas siguiendo los requisitos de un diseño experimental y con un
seguimiento postratamiento de doce meses.

Resultados No se conoce si esta evaluación finalmente se ha llevado a cabo y cuáles han sido sus resultados.

6.4. La colaboración En particular, a diferencia de la Administración,

con el sector privado
como motor de la inno-
vación
En este subapartado se realiza un repaso
en torno a los procesos de experimentación
desarrollados por entidades sociales y organis-
mos de investigación, que, sin duda, agrupan
la mayor parte de las experiencias que se han
desarrollado en el ámbito de la experimenta-
ción en España. Cabe destacar que, aunque el
país se encuentra atrasado en esta materia a
nivel de la Administración, esto no sucede en el
ámbito privado, con instituciones pioneras en
este tipo de técnicas.
84. No se cuenta con información sobre la implantación piloto y evaluación con diseño experimental que estaba prevista de 2015 a 2017.
existen numerosos proyectos en universidades
e incluso unidades dentro de universidades
que aplican enfoques de la teoría conductual o
del comportamiento, como el LINEEX (Labora-
tory for Research in Behavioural Experimental
Economics) de la Universidad de Valencia, el
Loyola Behavioral Lab de la Universidad de Lo-
yola o el Smart Decision Lab de la Universidad
de Málaga, entre otros.
En este sector, muchos de los experimentos
se realizan en laboratorio, con el objetivo de
conocer cuáles son los mecanismos de toma
de decisiones, pero también cuáles son estas
decisiones ante situaciones hipotéticas. Sin
embargo, el contexto creado artificialmente

85
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

no es el mismo que en el «mundo real» y las
decisiones pueden estar influidas por ello.
La realización de este tipo de experimentos
puede informar las políticas públicas per se,
o también ser el paso previo al diseño de una
intervención que incluya un ensayo controlado
aleatorizado en campo.
Estos laboratorios realizan experimentación
sobre todo con orientación académica, pero en
algunos casos asesoran a entidades públicas
y también a empresas privadas. Sin embargo,
aunque existan numerosos grupos académi-
cos investigando en sectores con potencial de
influir sobre las políticas públicas, se ha eviden-
ciado una desconexión importante entre este
tipo de actividades investigadoras y el diseño,
implementación y evaluación de las interven-
ciones públicas. Esto se podría solucionar si
estos experimentos estuvieran orientados al
uso y la aplicación en las políticas, como el
caso que se muestra a continuación.

Equiparación gradual del permiso de paternidad con el de

maternidad en España
Ámbito territorial España

Universidad Complutense de Madrid. Grupo de investigación UCM número 940051: Análisis de

Entidad evaluadora
datos en estudios sociales, de género y políticas de igualdad, financiado por Plan Nacional I+D+i

Periodo de análisis 2019-2021

La reforma del nuevo permiso por nacimiento y cuidado de menor, de enero de 2021, supone la
plena equiparación de los permisos (intransferibles) de la madre y del padre. Esta es una reforma
de gran calado en términos de política de igualdad (destinada a ser considerada como una refor-
Ámbito de actuación ma pionera y de referencia internacional).
Por ello, es preciso acompañar el comienzo de la aplicación de dicha medida de una evaluación ri-
gurosa de sus efectos, así como de una identificación de los impulsores y obstáculos que puedan
existir para la utilización de estos nuevos permisos por parte de los padres.

Está previsto un análisis cualitativo con entrevistas semiestructuradas, un experimento factorial

en encuesta para analizar el efecto de una serie de variables contextuales sobre la decisión de
tomarse un permiso parental más largo o más corto, un experimento controlado para analizar en
Metodología
qué grado se penalizaría a un trabajador que utiliza un permiso por nacimiento y cuidado largo y
a tiempo completo, y una encuesta a progenitores sobre el uso de los permisos por nacimiento y
cuidado de menor.

Resultados Los resultados todavía no están disponibles.

Asimismo, hay organizaciones privadas de in-
vestigación o think tanks que son reconocidas
por realizar estudios con técnicas experimen-
tales, incluyendo enfoques de las ciencias del
comportamiento, como La Fundación COTEC
para la Innovación —que cuenta con un Labora-
torio de Economía del Comportamiento
(LEC)—, ISEAK (Initiative for Socio-Economic
Analysis and Knowledge), KSNET (Knowledge
Sharing Network), FEDEA (Fundación de Es-
tudios de Economía Aplicada), FUNCAS (Fun-
dación de las Cajas de Ahorro) o EsadeEcPol
(Centro de Políticas Económicas de Esade).
El vínculo de estas organizaciones con las
86
intervenciones públicas suele ser mayor que
el de las instituciones académicas, ya que a
veces ofrecen asistencia técnica a la Admi-
nistración, pero, como en el caso anterior, se
podría emplear en mayor medida el expertise
que tienen estas instituciones en la materia
para desarrollar más experimentación pública.
Es importante mencionar que, cuando orga-
nizaciones de este tipo realizan evaluaciones
experimentales o experimentos para organiza-
ciones públicas, suele ser por iniciativa de las
primeras, más que por una demanda pública.
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Decisiones financieras de los estudiantes universitarios

Experimento en laboratorio en la Facultad de Ciencias Económicas y Empresariales de la Universi-

Ámbito territorial
dad de Granada a estudiantes de último curso de grado

Proyecto financiado por FUNCAS a través del Programa FUNCASEDUCA de ayudas a la investiga-
Entidades ejecutoras
ción en educación financiera

Periodo de análisis 2019-2021

Este estudio se enmarca en una de las necesidades de formación previstas en el Plan de Edu-
cación Financiera (2018-2021) de la Comisión Nacional del Mercado de Valores y del Banco de
Ámbito de actuación
España; en concreto, en la propuesta de iniciativas de educación financiera para aprender a tomar
decisiones financieras informadas.

Diseñar distintos formatos de educación financiera y evaluar, con una metodología experimental,
el efecto que han tenido en la toma de decisiones financieras de los estudiantes universitarios,
Metodología considerando además la posible influencia que en estas decisiones pueden tener los sesgos
cognitivos y el tipo de proceso de razonamiento utilizado. Los participantes en el estudio fueron
asignados aleatoriamente a los diferentes grupos experimentales y de control.

• La formación recibida es eficaz para mejorar los conocimientos financieros y la capacidad

percibida para tomar decisiones de endeudamiento sobre préstamos de estudios de posgrado, y
permite que muestren una actitud menos preocupada frente al endeudamiento.

• Es importante informar a los estudiantes de ciertos atajos mentales o heurísticas, como la

de disponibilidad, pues la decisión de endeudamiento resulta menos incómoda y estresante y
Resultados aumenta la percepción sobre su capacidad para tomar este tipo de decisión.

• El tipo de proceso de razonamiento usado también es una variable relevante que considerar en
la toma de decisiones financieras, observándose que, cuando los estudiantes siguen un proce-
samiento más analítico, muestran una actitud menos favorable al endeudamiento, son menos
optimistas en la percepción de sus capacidades y se endeudan menos que los que han decidido
de forma más intuitiva.

87
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Programa Menttores

Ámbito territorial Madrid y Cataluña

Entidades ejecutoras Centro de Políticas Económicas EsadeEcPol y Empieza por Educar (ExE)

Entidades colaboradoras y Fundación COTEC, Fundación CEOE, United Way España, Google, Universidad Internacional de La
financiadoras Rioja, Huawei, Santander, Fundación Atlantic Copper, Esade, Edvolution y EY

Periodo de análisis 2021 (4 meses)

Menttores es un programa diseñado para ofrecer refuerzo educativo al alumnado de entornos

desfavorecidos más castigados por la covid-19. Para ello, se plantea un programa intensivo de 8
Ámbito de actuación semanas, con 3 sesiones de 50 minutos por semana, durante los meses de abril y mayo de 2021,
para 378 alumnos de 1.º y 2.º de ESO en 18 centros educativos de los entornos más complejos de
Madrid y Cataluña.

La evaluación de impacto del programa se planteó desde una perspectiva experimental mediante
Metodología un ensayo controlado aleatorizado (206 alumnos que recibieron la intervención y 172 que no la
recibieron y conformaron el grupo de control).

• Aumentan las notas finales de matemáticas en un 49 % de una desviación estándar, equivalente

a 6 meses de aprendizaje.

• Aumenta la probabilidad de aprobar la asignatura en un 30 % respecto al grupo de control (una

diferencia de 20,6 % entre grupo de control e intervención).

• Mejoran los resultados de la prueba externa de matemáticas en un 26 % de una desviación

estándar, equivalente a 3 meses de escuela.

• Reducción del 75 % en la probabilidad de repetir curso, comparado con el grupo control.

Resultados
• El alumnado muestra un aumento de la satisfacción con la escuela en un 22 % de una desvia-
ción estándar (en una escala de 1 a 7).

• Aumenta la probabilidad de querer estudiar Bachillerato en el futuro en 13 puntos porcentuales,

equivalente a un 31 % respecto al grupo de control.

• Aumenta la probabilidad de declarar que realizan un mayor esfuerzo en la escuela en un 19 %.

• Estos resultados alientan a que se instauren las tutorías individualizadas como una política
pública en España.

88
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Mejorando el alcance de los Servicios Públicos de Empleo

Ámbito territorial País Vasco (Universidad del País Vasco)

Entidades ejecutoras ISEAK

Entidad colaboradora Universidad del País Vasco (UPV/EHU)

Entidad financiadora Youth Employment PartnerSHIP (EEA y Norway Grants Fund for Youth Employment)

Periodo de análisis 2021

Los Servicios Públicos de Empleo (SPE) ofrecen a los jóvenes que ni estudian ni trabajan en el
País Vasco la posibilidad de inscribirse en sus oficinas para recibir asistencia y acceder a progra-
Ámbito de actuación
mas como el de Garantía Juvenil de la Comisión Europea, con el objetivo de aumentar tanto la
participación en el mercado laboral como las tasas de empleo.

Se envió una encuesta a las personas matriculadas en el último año de sus estudios en la UPV,
en total 503 personas contestaron la encuesta. De ellas, 96 estaban registradas en los Servicios
Metodología Públicos de Empleo, por lo que se descartaron. A las que no estaban registradas en los SPE se
las asignó a un grupo control (126 personas) o a uno de los dos grupos de tratamiento. Dichos
grupos recibieron cada uno un tipo de campaña informativa.

La primera campaña informativa, en la que solo se informa al alumnado sobre los beneficios po-
tenciales del registro en los SPE, no fue efectiva en la mejora de su intención a registrarse en ellos.
Resultados Sin embargo, en la segunda intervención, cuando el alumnado son informados de que además de
los beneficios de registrarse en los SPE pueden disfrutar de un servicio cercano y personalizado,
su intención de inscribirse en estos aumenta en más de 10 puntos porcentuales.

89
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Automatización y mercado de trabajo

Ámbito territorial Experimento en laboratorio realizado en España con perspectiva internacional

Entidad gestora Laboratorio de Economía del Comportamiento (Fundación COTEC)

Entidades ejecutoras Unidad Mixta Interdisciplinar de Comportamiento y Complejidad Social (UMICCS)85

Periodo de análisis 2018 (7 meses)

Las implicaciones de la automatización han generado un debate muy intenso en la opinión pú-
Ámbito de actuación blica, ya que las nuevas tecnologías podrían no solo constituir un complemento a los puestos de
trabajo actuales, sino llegar a sustituir determinadas ocupaciones de manera total o parcial.

Metodologías de economía experimental y del comportamiento mediante experimentos en

laboratorio. El reclutamiento de la muestra se realiza mediante un proceso abierto y, tras aplicar
una serie de filtros de selección relacionados con determinadas habilidades y no con criterios
demográficos, se obtienen novecientos individuos repartidos en nueve tratamientos (entre los que
se incluye el grupo control).
Metodología

Siguiendo la metodología experimental, las personas reciben un pago monetario dependiendo de

su propio rendimiento en las tareas desarrolladas. En cada tratamiento, exceptuando al grupo de
control, las personas participantes se enfrentan al riesgo de ser sustituidas por un robot que se
asocia de forma individual y aleatoria, pudiendo perder la posibilidad de seguir produciendo.

• La amenaza de inclusión de robot no cambia la productividad de los trabajadores, es decir, se

observa que no varían su producción en función de si hay riesgo o no de ser sustituidos por un
robot. No obstante, con la incorporación de robots en el proceso productivo, se observa un incre-
mento medio de la productividad de la empresa del 13,5 %.

• Ni la existencia de una renta básica, tal y como se ha diseñado en este experimento, ni de un

impuesto fijo por la utilización de un robot en sustitución de una persona trabajadora (tasa de
reemplazo) desincentivan su productividad. Por un lado, la renta básica que proporciona al traba-
jador un salario por defecto no le hace reducir su eficiencia. Por otro lado, la persona trabajadora,
Resultados conocedora de la tasa de reemplazo en la que incurre un directivo cuando es reemplazado por un
robot, no modifica su productividad.

• El impuesto fijo a la sustitución de una persona trabajadora reduce la probabilidad de reempla-

zo, es decir, los directivos consideran un coste económico lo suficientemente elevado utilizar un
robot, por lo que solo lo emplearán cuando la productividad respecto al trabajador sea suficiente-
mente mayor.

• El trabajador tampoco incrementa su productividad como respuesta a no ser reemplazado por

un robot más eficiente.

85. Colaboración de la Fundación con personal investigador de la Universidad Carlos III de Madrid y la Universitat de València.

90
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

preferencias de gasto público en la ciudadanía

Ámbito territorial España

Entidad gestora Laboratorio de Economía del Comportamiento (Fundación COTEC)

Entidades ejecutoras Unidad Mixta Interdisciplinar de Comportamiento y Complejidad Social (UMICCS)

Periodo de análisis 2020-2021 (2 meses)

Estudio sobre las preferencias de una muestra representativa de la ciudadanía española sobre
Ámbito de actuación
asignaciones del gasto público.

Metodología innovadora, que combina los resultados de una encuesta demoscópica —sobre una
muestra amplia representativa de la población española, realizada por COTEC en colaboración
Metodología
con Sigma Dos— con un experimento incentivado económicamente —que emplea técnicas de
economía conductual—.

La investigación refleja las preferencias de la población española respecto a ocho políticas con-
cretas de gasto público, estableciendo una ordenación clara entre ellas. Detrás de sanidad, a una
Resultados
distancia significativa, aparece la educación. Las restantes partidas, en orden de prioridad, son
pensiones, I+D+i, cultura, medio ambiente, infraestructuras y, por último, defensa y seguridad.

La innovación en el sector público

Ámbito territorial España

Entidad gestora Laboratorio de Economía del Comportamiento (Fundación COTEC)

Entidades ejecutoras Unidad Mixta Interdisciplinar de Comportamiento y Complejidad Social (UMICCS)

Periodo de análisis 2020-2021 (10 meses)

Para innovar en el sector público, uno de los inputs fundamentales es la presencia de empleados
Ámbito de actuación con capacidad y deseo de desarrollar proyectos rompedores. El propósito de este trabajo es preci-
samente el de proporcionar herramientas a este sector para detectar empleados innovadores.

Se emplearon experimentos económicos incentivados, un análisis de las principales característi-

cas conductuales (preferencias sociales, confianza, aversión al riesgo, aversión a la ambigüedad
Metodología y test de personalidad y de emprendimiento) y el estudio de las respuestas de las personas a dos
cuestionarios específicamente diseñados para identificar personas innovadoras. Se recogió una
muestra de 317 sujetos, repartidos en siete grupos, tres no innovadores y cuatro innovadores.

El análisis de los resultados obtenidos distinguiendo entre diversos colectivos caracterizados por
Resultados realizar algún tipo de actividad innovadora y colectivos que no consta que realicen tales activida-
des no revela ninguna diferenciación sistemática entre ambos grupos.

91
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

La negociación en entornos virtuales

Ámbito territorial España

Entidad gestora Laboratorio de Economía del Comportamiento (Fundación COTEC)

Entidades ejecutoras Unidad Mixta Interdisciplinar de Comportamiento y Complejidad Social (UMICCS)

Periodo de análisis 2020-2021 (6 meses)

El objetivo del estudio es comprender cómo influyen los nuevos entornos virtuales en los proce-
Ámbito de actuación
sos de negociación, cuyo uso se ha intensificado a raíz de la pandemia de la covid-19.

Participaron 158 voluntarios de ambos sexos, emparejados de forma aleatoria en diferentes roles.
Un total de 40 parejas negociaron en persona y 39 lo hicieron por videollamada. En ambos casos
Metodología dispusieron de 15 minutos para ponerse de acuerdo. Cada participante obtenía un número de pun-
tos predeterminado en función de los objetivos alcanzados en cada uno de los dos apartados que
definían la negociación. La suma de los puntos de cada pareja establecía la calidad del acuerdo.

Negociar por videollamada supone cerrar menos acuerdos y de peor calidad que cuando se hace
cara a cara. Es la principal conclusión de este estudio experimental, del que se extrae que de
manera presencial se cierran con éxito un 54 % más de procesos de negociación que a través de
Resultados
una pantalla. Una muestra adicional, realizada con 44 voluntarios, mostró que la negociación vía
chat obtenía una puntuación más próxima a la negociación en persona que a la negociación por
videollamada.

92
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Programa de itinerarios culturales para personas mayores

Ámbito territorial Área Metropolitana de Barcelona

Entidad gestora Fundación la Caixa

• KSNET, especializada en la evaluación de proyectos y programas, ha coordinado todo el estudio,

seleccionado la muestra y llevado a cabo los análisis cuantitativos y cualitativos.

• ARTImetría, especializada en estrategia y marketing cultural, ha diseñado el itinerario cultural y

los cuestionarios para el análisis.
Entidades ejecutoras
• TASCA, con una larga trayectoria de colaboración con los EspaiCaixa, ha realizado el trabajo de
campo.

• Durante la realización del estudio varios departamentos de la FBLC —Estrategia, Cultura y Gente
Mayor— han colaborado y validado sus distintas partes.

Periodo de análisis 2018

Se invitó a un grupo de personas usuarias habituales de los centros EspaiCaixa del área me-
Ámbito de actuación tropolitana de Barcelona a realizar un itinerario cultural compuesto por cuatro actividades —un
concierto, una película y dos cafés tertulia— realizadas en el CaixaForum.

El estudio se ha llevado a cabo en dieciséis EspaiCaixa del Área Metropolitana de Barcelona. Los
centros fueron asignados aleatoriamente a dos grupos: el de tratamiento, a los que se ofreció la
posibilidad de que sus socios participaran en el itinerario cultural en CaixaForum; y el grupo de
Metodología centros de control, a cuyos socios se ofreció la posibilidad de participar, tras la conclusión del es-
tudio, en un itinerario de características similares. Todas las personas participantes en el estudio
(tratamiento y control) fueron encuestadas antes y después de la realización de las actividades
culturales.

Los resultados demuestran que la participación en actividades culturales por parte de la gente
Resultados 86
mayor contribuye a mejorar su bienestar físico: las personas participantes disminuyeron las visi-
tas al médico y aumentaron su nivel de actividad física tras realizar el itinerario propuesto.

Por otra parte, también hay instituciones
sociales que promueven la experimentación
pública en sus intervenciones. En este sentido,
sobre todo hay ejemplos de evaluaciones cua-
siexperimentales de programas y proyectos.
Fundación la Caixa, además del ejemplo ya
mencionado, tiene una amplia experiencia
en el ámbito de la evaluación educativa con
su programa EduCaixa. También destaca la
evaluación cuasiexperimental de las lanzade-
ras de empleo de la Fundación Telefónica y las
realizadas por la Fundación Exit en el marco de
su Proyecto Coach. Ivàlua también ha desarro-
llado evaluaciones de instituciones sociales,
incluyendo una experimental para la Federació
Salut Mental Catalunya (FSMC). Además, un
ejemplo importante de una evaluación experi-
mental en España, que ha sido promovida por
HOGAR SÍ y Provivienda, es la evaluación del
programa Housing First.
El hecho de que organizaciones de estas ca-
racterísticas realicen experimentación puede
tener varios objetivos, ya que les permite 1)
aprender sobre el impacto generado por una

86. Cabe señalar que una de las principales limitaciones del estudio tiene que ver con el reducido tamaño muestral. Así, aunque el diseño inicial del estudio
preveía la participación de unas 380 personas, finalmente solo se logró información completa de 79 de ellas (48 en el grupo de tratamiento y 31 en el de control).
Por ello, debido al reducido tamaño de la muestra analizada, el estudio no permite detectar efectos estadísticamente significativos asociados a la participación
en el itinerario cultural, sino más bien describir las diferencias de comportamiento entre los usuarios que han participado en el itinerario cultural respecto a los
que no.
93
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

intervención y poder mejorarla, así como 2)
orientar o reorientar las prioridades y focos
de la propia organización en su conjunto a la
vista de los resultados. También les permite 3)
implantar una cultura de evaluación orientada
al impacto en las organizaciones, y 4) generar
un proceso de incidencia en la Administración
y políticas públicas.
nistración a incorporar las evidencias en sus
políticas, solo si hay un cambio en la cultura
de la Administración será posible que estas
iniciativas puedan generar aprendizajes útiles
para intervenciones públicas y que incluso se
puedan llevar a cabo experiencias similares
en la Administración y generar colaboraciones
con el ámbito privado.

En cuanto a las potenciales repercusiones

de estas iniciativas para motivar a la Admi-

Evaluación de la metodología Housing First en España

Ámbito territorial España

Entidad gestora Provivienda y HOGAR SÍ con financiación del Ministerio de Derechos Sociales y Agenda 2030

Entidades ejecutoras Universidad Carlos III y Fresno Consulting

Periodo de análisis 2020-2021 (18 meses)

El modelo Housing First fue desarrollado a principios de la década de 1990 como alternativa a los
sistemas tradicionales de atención para personas sin hogar en situación de especial dificultad. La
llegada a España de este modelo ha sido más reciente y se ha producido a través del programa
Ámbito de actuación
Hábitat, puesto en marcha por HOGAR SÍ en 2014 con un proyecto experimental. A partir del año
2017, HOGAR SÍ ha generado una alianza con la Asociación Provivienda para impulsar el desarro-
llo de la metodología Housing First en España.

Se realizó una evaluación de los resultados del programa y una evaluación económica del progra-
ma frente a alternativas para el que se consideran fundamentalmente tres momentos de medida:
Metodología evaluación inicial y seguimientos de 12 y 18 meses. El número de participantes fue 111 en el
grupo experimental (GE), usuarios de Hábitat, y 131 en el grupo control (GC), personas en lista de
espera.

De forma general, la evaluación manifiesta que las personas que viven en viviendas Housing First
muestran mejores resultados en todas las dimensiones evaluadas que las personas que están
viviendo en la calle o en otros espacios como albergues y centros de acogida de emergencia.

El principal indicador de éxito del programa, tal y como se establece internacionalmente, tiene que
ver con el nivel de retención del alojamiento, que en el caso de España es del 96 %. Es decir, casi el
total de las personas que acceden a una vivienda continúan en ella después de dieciocho meses.
Resultados
A los seis meses ya se observa una mejora significativa en su satisfacción con la vida, y se mues-
tran más felices y satisfechas con su intimidad.

La evaluación demuestra que estas soluciones tienen un coste por plaza similar al de los alber-
gues o alojamientos colectivos, pero ofrecen prestaciones muy superiores para las personas
usuarias en cuanto a estabilidad y calidad del alojamiento y asistencia personalizada. Además,
tienden a reducir costes, mientras que sus alternativas los incrementan.

94
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Programa Activa’t per la Salut Mental

Ámbito territorial Cataluña

Entidad gestora Federació Salut Mental Catalunya (FSMC)

Entidad evaluadora Ivàlua

Periodo de análisis 2017

El proyecto Activa’t per la Salut Mental pretendía abordar la problemática de las enfermedades
mentales actuando sobre las familias de personas con trastornos mentales severos (TMS), con la
finalidad de convertirlas en agentes de salud en su propio proceso de recuperación. La metodo-
Ámbito de actuación
logía de intervención preveía poner a disposición de los participantes un circuito integrado que
incluía servicios de orientación e información inicial, actividades de formación y apoyo en grupos
de ayuda mutua.

La evaluación se basó en un estudio experimental. A través de un sorteo se crearon dos grupos

de familias iguales en todas las características que pueden influir en el hecho de que una unidad
familiar mejore su capacidad diaria de gestión del TMS. Al grupo de tratamiento se le dio acceso a
las actividades de orientación e instrucción y a los grupos de ayuda mutua a través del circuito de
Metodología
la Acción para la Salud Mental, mientras que al grupo control no. Las diferencias que se observan
entre los grupos en el proceso de recuperación, la carga de la persona o personas cuidadoras, el
apoyo social de la persona o personas cuidadoras o el uso de recursos sanitarios se atribuyen a
haber participado o no en el itinerario asistencial integrado.

• El programa ha sido efectivo a la hora de mejorar la recuperación personal del grupo de partici-
pantes, especialmente en los meses posteriores a la finalización de la psicoeducación.

• Para la persona que cuida a la persona afectada por un trastorno mental severo el itinerario ha
sido beneficioso: se ha sentido útil, ha descubierto nuevas capacidades y ha desarrollado activida-
des que no había realizado antes.

• No se han identificado impactos en áreas como el cuidado de las personas tuteladas, el apoyo
Resultados
o el uso de servicios sanitarios ni en el consumo farmacéutico de las familias participantes en el
programa.

• La evaluación ayudó a visibilizar el espacio informal que acompaña este tipo de intervenciones,
incluyendo la creación de una red.

• La evaluación sirvió como sustento para reforzar la pertinencia del programa, que sigue vigente,
y más allá la necesidad de tener una cartera de servicios que trabaje en el tema de cuidado.

Por último, cabe destacar el proyecto benshi.
ai’s87, una organización internacional sin ánimo
de lucro financiada por la Fundación Bill y Me-
linda Gates, con sede en Barcelona, que tiene
el objetivo de mejorar la salud de las personas
y las poblaciones en países de escasos recur-
sos a través de productos avanzados de inteli-
gencia artificial. Con este propósito, benshi.ai
proporciona información valiosa, personaliza-
87. https://www.benshi.ai/.
da y basada en datos para equipos de atención
médica y pacientes individuales, y se enfoca
en cuatro áreas principales de investigación:
aprendizaje reforzado, inferencia causal, dise-
ño experimental y modelo predictivo dinámico.
En definitiva, analiza el impacto de las interven-
ciones mediante un diseño experimental adap-
tativo basado en el aprendizaje por refuerzo,
empleando RCT y la psicología conductual.

95

6.5. Dificultades para el
desarrollo de la expe-
rimentación en la Admi-
nistración pública
Como se ha podido apreciar a lo largo de este
epígrafe, la mayor parte de las prácticas de
experimentación encontradas en España son
desarrolladas por organizaciones privadas, or-
ganizaciones académicas y entidades sociales,
y son minoritarias las experiencias en Adminis-
traciones públicas, siendo además de reciente
desarrollo, ya que en muchos casos aún no se
tienen resultados de estos procesos.
Esta revisión, así como las entrevistas y
reuniones mantenidas en el desarrollo de este
estudio, han permitido identificar una serie
de dificultades y obstáculos que limitan el
desarrollo de actuaciones de experimentación
en las Administraciones públicas.
Uno de los elementos clave que se han comen-
tado en este estudio es que el desarrollo de la
evaluación ha venido marcado por la voluntad
política, y, en ese sentido, el mayor o menor
desarrollo de la experimentación viene tam-
bién determinado por este factor. Por tanto,
las experiencias que han tenido lugar hasta
el momento suelen producirse por la volun-
tad individual de las personas a cargo de las
instituciones, lo cual implica la necesidad de
instaurar una cultura de la evidencia relaciona-
da con la experimentación en las instituciones
públicas como el primer paso que dar.
Han sido varias las experiencias identifica-
das donde la Administración ha realizado un
primer acercamiento a este tipo de experimen-
tación, desarrollando eventos y capacitaciones
para ampliar la información y el conocimiento
al respecto, pero sin dar más pasos a continua-
ción en esta dirección.
La falta de voluntad política puede estar vin-
culada al miedo a los resultados que puedan
surgir del proceso de experimentación, en
tanto que hagan necesario el replanteamiento
96
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
de una intervención ya consolidada o incluso
su continuidad. Esto provoca que muchos pro-
cesos de experimentación no se lleven a cabo
tras haber mostrado interés inicial, o que, cuan-
do se desarrollan y los resultados no son los
esperados, estos no se publiquen, y los apren-
dizajes basados en evidencias queden minimi-
zados. Una manera de fomentar el desarrollo
de la experimentación es que las experiencias
existentes sirvan de germen, se usen como
referentes para mostrar su utilidad.
Otro elemento clave que explica esta dificultad
en su desarrollo es que la experimentación im-
plica un cambio o modificación en el proceso
de diseño de las políticas públicas, de manera
que se integren estos procesos en una fase de
diseño de la política antes de ser escalada, y
también en la concepción del diseño y forma
de implementación de los servicios públicos,
introduciendo el elemento de la aleatorización.
Esto supone un cambio de base para la Admi-
nistración, y en muchas ocasiones no siempre
existe esa disposición o se cuenta con las
capacidades necesarias para modificar los
procedimientos establecidos. Es por ello por lo
que quizás este tipo de prácticas se hayan ins-
taurado más fácilmente en países que ya tenían
integrado el uso de evidencias, como los países
anglosajones, y también en algunos países en
vías de desarrollo sin procedimientos tan defini-
dos, y hayan tardado más en llegar a los países
donde está más instaurado el ciclo de políticas
públicas. No obstante, se observa un cambio
paulatino de mentalidad en este sentido, ya que
la experimentación brinda una oportunidad para
fomentar la innovación en las políticas públicas.
De manera más general, también se ha identifi-
cado una falta de capacidades y conocimien-
tos sobre evaluación y sobre los procesos de
experimentación en los equipos de empleados
de la Administración pública, lo cual supone
una limitación en cuanto a la percepción de las
oportunidades de estas metodologías, que a
la vez generan reticencias a la hora de aplicar
procesos de aleatorización. Se han detectado
en este sentido varias instituciones y personas
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
expertas que están ofreciendo capacitacio-
nes al funcionariado público, no solo para que
aprendan sobre la metodología, sino para que
comprendan cuándo pueden ser útiles y se
consiga fomentar este tipo de prácticas.
Muchas veces las instituciones especializadas
que prestan servicios a entidades públicas son
las que proponen realizar experimentos, y
aunque es positivo para que empiecen a gene-
rarse experiencias, también puede suponer una
falta de apropiación de los resultados por par-
te de la Administración al considerase algo que
«no ha emergido de los decisores públicos».
La falta de recursos humanos con conocimien-
tos y capacidades no es la única barrera: en
muchas ocasiones se han identificado limi-
taciones presupuestarias, vinculadas, por un
lado, al coste que conlleva el desarrollo de un
proceso de experimentación de este tipo, y por
otro, a la antelación necesaria de aprobación
de los presupuestos públicos, lo que no siem-
pre permite prever los fondos para este tipo de
procesos. Para solventar estas dificultades se
han detectado diferentes maneras de financiar
estos experimentos, por ejemplo, apoyándo-
se en instituciones internacionales, como la
Comisión Europea, que financia este tipo de
prácticas en sus convocatorias, o mediante
los llamados fondos de experimentación, tanto
públicos como privados, que financian inter-
venciones que incluyen esta metodología.
Incluso cuando algunas de las dificultades
anteriores se han solventado, la Adminis-
tración pública en España se enfrenta a una
cultura muy pobre del dato, que no facilita
utilizar fuentes secundarias de calidad para el
desarrollo de estos experimentos. Esto puede
venir determinado por la inexistencia de estos
datos, y en otros casos, por las limitaciones en
cuanto al acceso a grandes bases de datos
que están disponibles, pero para cuyo uso se
producen limitaciones legales; también se pro-
ducen resistencias institucionales a compartir
datos. Esta falta de acceso al dato dificulta el
desarrollo de experimentos como los que se
están desarrollando en otros países europeos.
En términos de acceso a la información, de-
pendiendo de la intervención que esté siendo
evaluada y de las características de la unidad
de análisis, existe mayor dificultad en con-
seguir una muestra con representatividad
estadística. Por ejemplo, cuando se realizan
evaluaciones de población vulnerable o de
familias, puede ser difícil conseguir suficien-
te participación, además de que el riesgo de
abandono del programa es alto, y la tasa de
respuesta a encuestas en el marco de la eva-
luación, baja. Por tanto, se debe procurar tener
una muestra considerablemente mayor a los
mínimos necesarios para garantizar el desarro-
llo de este tipo de evaluaciones.
En un nivel más operativo, la Administración
pública española cuenta con múltiples proce-
sos establecidos, especialmente en el desa-
rrollo de políticas públicas que impliquen la
dotación de un servicio o recurso, lo que en la
práctica dificulta enormemente el desarrollo
de la experimentación, que necesita de pro-
cesos ágiles entre el diseño, la selección de
las muestras y el desarrollo de la intervención,
lo que hace que estas limitaciones acaban
teniendo un impacto en la rigurosidad y calidad
del proceso.
Un elemento común a la mayor parte de los
experimentos analizados ha sido la dificultad
para trabajar con la Administración en am-
plios espacios de tiempo que impliquen la
evaluación de los impactos de la intervención
a medio y largo plazo, así como contar con
el tiempo suficiente para el diseño del propio
experimento y que se asegure una buena
calidad técnica, ya que, en muchas ocasiones,
las limitaciones de tiempo se han traducido
en muestras pequeñas e insuficientes para el
desarrollo de los experimentos.
Para terminar, uno de los retos que se han
planteado a lo largo de este estudio es la
incorporación de enfoques de la economía
del comportamiento en las políticas públicas,
un ámbito muy poco desarrollado en España
desde el punto de vista de la Administración,
pero que cada vez cuenta con un mayor desa-
97
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

rrollo en los países europeos y en instituciones

privadas españolas y ha revelado interesantes
resultados de gran aplicabilidad en las políticas
públicas.

98
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

estu-
dios de
caso en
españa

07.
99

7.1. Evaluación del pro-
grama Habitat – modelo
Housing First88
Contexto
En España 33.000 personas no tienen un ho-
gar y se estima que un 12,6 % de la población
ha visto vulnerado su derecho a la vivienda en
algún momento de su vida. Sin embargo, el
objetivo 11 de los ODS insta a las sociedades
a asegurar el acceso de todas las personas
a viviendas y servicios básicos adecuados,
seguros y asequibles, así como a mejorar los
barrios marginales de aquí a 2030.
Intervención y objetivos del
estudio
El modelo Housing First fue desarrollado a
principios de la década de 1990 como alter-
nativa a los sistemas tradicionales de aten-
ción para personas sin hogar en situación de
especial dificultad. La llegada a España de este
modelo ha sido más reciente y se ha producido
a través del programa Hábitat. Dicho progra-
ma está centrado en la atención de aquellas
personas en situaciones de mayor dificultad,
en concreto, que hayan estado más de un año
pernoctando en espacios públicos o un míni-
mo de tres años en la situación de sinhoga-
rismo y tengan un problema de salud mental,
adicciones o discapacidad añadida.
Lo que el programa Hábitat proporciona a esas
personas es un acceso inmediato e incondicio-
nal a una vivienda individual con la oferta de
los apoyos que necesite. Este programa pone
el énfasis en la individualización de la atención
y en la desinstitucionalización. Hábitat, fiel al
modelo Housing First, antepone y enfatiza la
importancia de la elección de la persona como
un elemento central en la intervención.
La evaluación de la metodología Housing First
en España se realiza entre 2020 y 2021 con el
88. La información sobre este caso se ha obtenido mediante las publicaciones de la página web del programa: https://www.habitathousingfirst.org/ y una
entrevista con personas del equipo de HOGAR SÍ.
100
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
objetivo de ser el estudio más completo a nivel
europeo y el primero en analizar los resulta-
dos de esta metodología en el país, cubriendo
así una carencia importante, pues en España
existe una gran escasez de datos y de análisis
sobre las personas en situación de sinhogaris-
mo, lo que constituye un serio problema para
el desarrollo de políticas públicas.
Organizaciones
involucradas
Housing First fue puesto en marcha por HO-
GAR SÍ en 2014 a través del programa piloto
denominado Hábitat. A partir del año 2017, HO-
GAR SÍ ha generado una alianza con la Asocia-
ción Provivienda para impulsar el desarrollo
de la metodología Housing First en España. En
Hábitat participan entidades locales dispersas
en todo el territorio: Alicante, Avilés, Arona,
Barcelona, Córdoba, Coslada, Alicante, Donos-
tia, Granada, Madrid, Móstoles, Santa Cruz de
Tenerife y Zaragoza.
Metodología
A lo largo de las últimas tres décadas, el mo-
delo Housing First se ha expandido a distintos
países gracias a la realización y la difusión
de sólidos trabajos sobre la evaluación de su
efectividad en cuanto al mantenimiento de
alojamiento, consumo de sustancias, calidad
de vida e ingresos hospitalarios. Sin embargo,
se han realizado menos estudios sobre los
aspectos económicos por las dificultades que
ello implicaba, aunque la literatura indica que sí
hay efectos positivos y relevantes.
El enfoque de la evaluación parte de la me-
todología del proyecto Housing First Europe,
intentando superar algunas de las limitaciones
señaladas en sus propias conclusiones. La va-
riable independiente, según la cual se definen
los dos grupos de participantes, es la interven-
ción que reciben las personas participantes
en el programa Hábitat, frente a aquellas que
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
utilizan otras alternativas convencionales de
tratamiento (los programas y alternativas de
atención ya existentes en el contexto).
La primera parte de la evaluación se centra en
la evaluación de los resultados del programa
Hábitat, con los objetivos de conocer en qué
medida el programa contribuye a la inclusión
de las personas y la mejora de su calidad de
vida, y comparar los resultados del programa
con los de sus alternativas. Se consideran
fundamentalmente tres momentos de medida:
evaluación inicial y seguimientos a los 12 y
a los 18 meses en los que participaron 111
usuarios de Hábitat y 131 personas en el
grupo control.
La segunda parte de la evaluación trata de
medir el impacto económico que tiene el trata-
miento y asistencia en las personas sin hogar
en España, con los objetivos de identificar los
costes del programa (grupo tratamiento) y
acotar los costes de otros recursos y compa-
rarlos (grupo control). Para ello, y por la falta de
fuentes secundarias, se lanzó un cuestionario
a centros de recursos sociales.
Dificultades y limitaciones
Las tres dificultades principales que se dieron
en este proceso fueron las limitaciones para
obtener información respecto a la población
en situación de sinhogarismo, la carencia de
información sobre costes de los servicios de
los programas tradicionales y la necesidad
de adaptar la metodología de evaluación a la
realidad de la intervención.
La primera de ellas, el seguimiento de las
personas del grupo control, por las caracterís-
ticas de la población objetivo que en muchas
ocasiones seguía residiendo en la calle, supuso
una gran dificultad y también sesgos impor-
tantes en el experimento. Esto es así porque el
grupo control presentó altas tasas de mortali-
dad comparado con el grupo experimental, lo
que supuso una reducción significativa de la
muestra, y porque la calidad de la información
recabada en este grupo, al estar basada en los
testimonios de las personas de dicho grupo,
tenía menor calidad que la del grupo experi-
mental, de la que sí se disponía de información
objetiva.
En lo relativo a la información de fuentes se-
cundarias, se pone de manifiesto el hecho de
que existe una falta de información y de datos
sobre los costes de servicios tradicionales de
atención proporcionados a personas sin hogar.
Este problema se agrava por el hecho de que
cada comunidad autónoma tenga sistemas di-
ferentes de asistencia y apoyo en este sentido,
complicando aún más cualquier intento de me-
dir datos de manera comparada a nivel estatal.
Por último, una de las dificultades de esta eva-
luación fue la necesidad de adaptar los tiem-
pos que marca una intervención con población
en situación de sinhogarismo con los tiempos
«teóricos» que una evaluación experimental de
este tipo determina para que todo el proceso
mantenga unos niveles de rigurosidad, ya que,
en muchas ocasiones, hacer coincidir ambas
necesidades fue un elemento de debate y
acuerdos.
Resultados
A. Los resultados en las personas
Las personas usuarias del programa Hábitat
obtienen mejores resultados que las partici-
pantes del grupo de control (atendidas en otros
recursos) en distintas áreas consideradas,
concretamente:
• El programa Hábitat tiene un importan-
te impacto en los aspectos relacionados
con el alojamiento, pues consigue que
el 96,06 % de las personas participantes
permanezcan en su vivienda dieciocho
meses después y cubran sus necesidades
básicas (alimentación y aseo personal).
Respecto al grupo control, la situación de
las personas participantes presenta una
menor calidad y estabilidad del alojamien-
to y mayores deficiencias en aspectos
como el aseo y la alimentación.
101

• Hábitat significa para las personas par-
ticipantes una mejora en la percepción de
su vida en general (se percibe a los doce
meses y se mantiene a los dieciocho). Son
personas más felices en comparación con
aquellas que no se incorporaron al progra-
ma.
• Acceder a una vivienda se traduce en una
disminución considerable en el uso de los
servicios sociales; no ocurre así en otro
tipo de servicios como los sanitarios, de
tratamiento de adicciones o de atención a la
salud mental.
• Frente a la alternativa tradicional, aunque
Hábitat no parece tener efectos en el acce-
so a recursos económicos más estables ni
en la satisfacción con los mismos, sí parece
tener un efecto sobre la reducción de algu-
nas fuentes de ingresos, concretamente
la mendicidad (de 30 a 7 % a los dieciocho
meses) y las actividades marginales (5,8 %
tratamiento frente a un 14,3 % control), cuyo
ejercicio se reduce claramente entre los
usuarios de este programa.
• Respecto al apoyo social percibido por
las personas participantes, la participación
en el programa Hábitat se acompaña de
mejoras en la percepción del apoyo social
disponible, a nivel general. De forma más
concreta, se observa también una mejora
en la frecuencia de contacto telefónico con
la familia entre las personas del programa
Hábitat y con la satisfacción con la relación.
Estos cambios no se producen en las perso-
nas del grupo control.
• La victimización y discriminación de las
personas participantes en Hábitat se reduce
sustancialmente, y también se produce un
incremento de la percepción de seguridad
(el 83,5 % no se ha sentido discriminado a
los dieciocho meses). Esta dinámica no se
reproduce en el caso del grupo control.
102
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
• No se observaron cambios importantes en
la salud física de las personas participantes
a lo largo de los dieciocho meses considera-
dos; sin embargo, las personas usuarias del
programa Hábitat mejoraron la percepción
de su salud emocional y condición física
respecto al momento de entrada en el pro-
grama y en relación, también, con el grupo
control.
• No se observan cambios en ninguno de
los dos grupos en consumo de alcohol.
• Los resultados no apuntan la relación
entre la participación en el programa Hábi-
tat y los procesos de normalización admi-
nistrativa, apareciendo mejoras en algunos
aspectos considerados entre las personas
del grupo control.
B. Evaluación económica
Considerado en términos ajustados equivalen-
tes, el ahorro que genera Hábitat compensa el
sobrecoste del programa:
• El resultado final de este cálculo directo
sería que las personas seleccionadas para
participar en el programa Hábitat generan
un coste de 1100 € mensuales, un
32,17 % más que las personas del grupo
control (832,28 €).
• A los doce meses, el coste medio mensual
de la atención al grupo Hábitat se ha eleva-
do hasta los 1763,24 €, frente a los
1093,72 € del grupo control, impulsado por
la estabilidad del alojamiento del programa
Hábitat (un 61,21 % más).
• El coste medio mensual de la atención al
grupo Hábitat queda fijado en 1706,63 €, y
el del grupo control, en 1157,84 €. Hábitat
sigue presentando un coste más elevado,
aunque respecto de los doce meses la dife-
rencia se va acortando (47,40 %).
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
• Una vez en funcionamiento, Hábitat tiende
a reducir costes, mientras que sus alternati-
vas los incrementan.
• Hábitat genera ahorro de costes en servi-
cios y recursos externos al programa: ali-
mentación, aseo, tratamiento de adicciones
y atención sanitaria y psiquiátrica.
• En términos del precio de las viviendas de
titularidad pública, el programa Hábitat es
menos costoso que sus alternativas.
• Los costes del precio de las viviendas de
titularidad pública dieciocho meses des-
pués se han incrementado notablemente
más en el grupo control: un 38,58 %, frente a
un 3,25 % en el grupo Hábitat.
• El coste medio mensual ajustado total a
los dieciocho meses del grupo Hábitat es
de 1744 € y de 1716 € en el grupo control,
siendo entonces la diferencia entre ambos
grupos de tan solo 28,12 € al mes (apenas
un 1,64 %).
• El coste total (equivalente) en ambos
grupos se ha incrementado a lo largo de los
dieciocho meses, si bien con menor intensi-
dad en el grupo Hábitat (+58,52 %) que en el
grupo de control (+106,14 %).
Repercusión e incidencia
política
Esta evaluación ha tenido repercusión tanto
interna, de la propia organización y la inter-
vención, como externa, de cara a la incidencia
política.
En cuanto a las implicaciones internas, la orga-
nización HOGAR SÍ declara que la evaluación les
ha servido para introducir la evaluación de im-
pacto en la cultura de la organización, teniendo
previstas varias evaluaciones de este tipo en
otros programas durante los próximos años.
Además, una de las claves de esta experiencia
son los aprendizajes obtenidos, que harán que
durante las siguientes evaluaciones se incorpo-
ren en el diseño y la implementación aprendiza-
jes de esta evaluación, como, por ejemplo, sobre
la longitud de los cuestionarios o la selección
del grupo control, entre otras cuestiones.
Por otra parte, esta evaluación sirvió tanto para
mejorar la propia intervención como para
repensar la estrategia de la organización.
Es decir, los resultados de la evaluación han
servido para saber en qué áreas se debe poner
el foco o son menos relevantes, y también en
qué temas se debe realizar un mayor esfuerzo
de mejora. Un ejemplo de ello fue el tema de
consumo de sustancias, donde no se vieron
grandes diferencias entre el grupo tratamiento
y el control, y por ello se han establecido medi-
das para mejorar en este aspecto. Asimismo,
los buenos resultados han hecho que la organi-
zación HOGAR SÍ haya consolidado el modelo
Housing First en detrimento de otro tipo de
intervenciones más tradicionales.
Por último, también sirve como evidencia,
carta de presentación, para hacer inciden-
cia a nivel institucional. Esta evaluación
contó desde el inicio con una estrategia de
difusión y en ese marco se han realizado
actividades de presentación de resultados en
distintas organizaciones. Por ejemplo, en oc-
tubre de 2021, HOGAR SÍ y Provivienda, junto
al Ministerio de Derechos Sociales y Agenda
2030, celebraron el encuentro internacional
«Housing First como solución al sinhogaris-
mo en España».
En este sentido, se ha conseguido que cier-
tas Administraciones públicas empleen los
resultados de Housing First para desarrollar
sus propias intervenciones, integrando o
destinando parte de los recursos a la inter-
vención con esta metodología. Asimismo, la
evaluación ha sido relevante para que se in-
cluya el sinhogarismo en los proyectos piloto
de Next Generation.
En cualquier caso, una parte importante de
esta incidencia en la Administración pública
queda determinada por el perfil o el momento
en que se encuentre esa Administración y el
103

personal técnico que la integre, y lo facilita cuan-
do cuenta con un conocimiento previo sobre
este tipo de metodologías experimentales.
7.2. Proyecto piloto
B-MINCOME89
Contexto
B-MINCOME aparece en un contexto donde
aún se sienten los efectos de la crisis econó-
mica y social de 2008. Concretamente, en los
barrios del Eje Besós90 existe un alto nivel de
pobreza estructural con crecientes dinámicas
de segregación y polarización económica y
residencial. Los principales rasgos de vulnera-
bilidad social que caracterizan a estos barrios
son el desempleo (11 % en comparación con
el 7 % de Barcelona en 2017), rentas bajas (9
mil euros anuales inferior que la media de la
ciudad en 2014), esperanza de vida más corta
(81,9 comparado con 83,9 años de media en
la ciudad), crisis de la vivienda y una pluralidad
de orígenes de población (un 28 % de personas
nacidas fuera de España), entre otras cosas.
Intervención y objetivos del
estudio
El proyecto piloto B-MINCOME fue concebido
dentro de la iniciativa de la Unión Europea Ur-
ban Innovative Actions (UIA) como un proyecto
piloto para observar los efectos de la combina-
ción de una renta mínima garantizada con una
serie de políticas activas de inclusión sobre la
pobreza y la desigualdad social.
Los grupos de tratamiento se estructuraron de
acuerdo con cuatro modalidades de participa-
ción:
1. Modalidad condicionada: La percepción
del Soporte Municipal de Inclusión (SMI)
estaba condicionada a la participación obli-
gatoria en la política activa asignada.
89. La información sobre este caso se ha obtenido mediante las publicaciones de la página web: https://ivalua.cat/es/node/5500 y una entrevista con personas
del equipo de Ivàlua.
90. Ciutat Meridiana, Vallbona, Torre Baró, Roquetes y Trinitat Nova del distrito de Nou Barris; Trinitat Vella, Baró de Viver y el Bon Pastor del distrito de Sant
Andreu; la Verneda y la Pau y el Besòs y el Maresme en el distrito de Sant Martí.
104
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
2. Modalidad no condicionada: La percep-
ción del SMI no estaba condicionada a la
participación obligatoria en la política activa
asignada.
3. Modalidad limitada: Cualquier variación
de los ingresos computables del hogar con-
llevaba la variación proporcional, positiva o
negativa, del SMI estimado inicialmente.
4. Modalidad no limitada (o parcialmente
limitada): La variación de los ingresos compu-
tables del hogar solo conllevaba una variación
parcial del SMI; se reducía un 25 % de los
primeros 250 € netos mensuales ingresados
por encima del SMI inicial y un 35 % de los
ingresos superiores a los 250 €.
Asimismo, un 25 % de la prestación del SMI fue
transferido mediante una moneda ciudadana
electrónica REC (Recurs Econòmic Ciutadà).
En combinación con la transferencia del SMI,
algunos participantes fueron seleccionados
para participar en cuatro políticas activas dife-
rentes:
1. Política de formación y ocupación: Bus-
caba mejorar la empleabilidad y el acceso al
mercado laboral, mediante la combinación
de formación y planes de ocupación de
doce meses.
2. Política de emprendimiento social:
Pretendía familiarizar a los participantes
con la economía social, solidaria y coope-
rativa como alternativa al mercado laboral
tradicional, combinando la formación y la
promoción de proyectos de emprendimien-
to colectivo.
3. Política de ayudas a la rehabilitación
y el alquiler de habitaciones: Buscaba favo-
recer que los propietarios de pisos partici-
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
pantes pudieran poner en alquiler de forma
permanente una habitación de su vivienda,
previa rehabilitación de esta.
4. Política de participación comunitaria:
Fomentaba la implicación de los participan-
tes y sus familias en la vida social y comuni-
taria de sus barrios mediante la habilitación
de espacios de participación, cohesión
grupal e identificación de necesidades para
generar proyectos compartidos.
Organizaciones
involucradas
El Ayuntamiento de Barcelona (Dirección de
Innovación Social del Área de Derechos So-
ciales, Justicia Global, Feminismos y LGTBI)
solicitó financiación al programa UIA para
desarrollar el proyecto piloto de B-MINCOME.
En las políticas activas participaron Barcelona
Activa, el Consorcio de Educación de Barcelo-
na, los distritos del Eje Besós, el Comisionado
de Economía Social, Desarrollo Local y Con-
sumo, el Instituto Municipal de la Vivienda y
Rehabilitación de Barcelona, la Dirección de
Servicios de Acción Comunitaria y varias enti-
dades sociales.
En la evaluación también participaron Ivàlua
(Instituto Catalán de Evaluación de Políticas
Públicas), The Young Foundation, NOVACT
(Instituto Internacional para la Acción Novio-
lenta), IGOP (Instituto de Gobierno y Políticas
Públicas), el Data Management Group de la
Universidad Politécnica de Cataluña y el ICTA
(Instituto de Ciencia y Tecnología Ambientales)
de la Universidad Autónoma de Barcelona.
Metodología
Para iniciar el proyecto se identificó un univer-
so de 4858 hogares91 candidatos a los que,
en septiembre de 2017, se mandaron cartas
informativas que los convocaban a unas sesio-
nes en las que se les explicaría el proyecto y,
91. Hogares con rentas bajas y con un expediente abierto en servicios sociales (demandantes de ayudas municipales). Para poder ser seleccionados tenían que
cumplir una serie de requisitos específicos.
en caso de querer participar, se los ayudaría a
rellenar la solicitud (en total se realizaron cua-
trocientas sesiones informativas en diferentes
equipamientos del Eje Besós).
Se recibieron un total de 2525 solicitudes, de
las cuales 1527 cumplían todos los requisi-
tos. La selección de los hogares participantes
se realizó en noviembre de 2017 mediante un
sorteo aleatorio y estratificado. Este seleccionó
los mil hogares participantes en su correspon-
diente modalidad activa (grupos de tratamien-
to) y 383 hogares que participarían de forma
pasiva (grupo control), así como 144 de reser-
va que reemplazarían los que eventualmente
no desearan o no pudieran participar.
La combinación de las cuatro modalidades de
percepción del SMI y de las cuatro políticas
activas de inclusión (grupos de tratamiento)
descritas en el apartado de intervención, junto
al grupo de control con el que comparar los
resultados obtenidos, conforman el esquema
del diseño experimental del proyecto.
La evaluación combinó metodologías cuanti-
tativas y cualitativas. Para ello se han emplea-
do tanto el uso y análisis de registros adminis-
trativos (Seguridad Social, Agencia Estatal de
la Administración Tributaria, etc.) como la reali-
zación de tres encuestas (antes de empezar, a
la mitad y durante la finalización del proyecto),
junto con el seguimiento de tipo etnográfico de
algunos de los grupos y hogares participantes
y de agentes implicados en la implementación
del mismo proyecto.
Dificultades y limitaciones
Una de las dificultades señaladas por el equipo
evaluador fue el hecho de tener que desarrollar
los requisitos necesarios para poder llevar a
cabo una evaluación experimental en una po-
lítica que se estaba diseñando a la vez, puesto
que algunas de las condiciones que debía
tener dicho diseño para optar a una evalua-
105
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

ción experimental, como por ejemplo que la A. Cambios a nivel individual

intervención se aplicara de manera aleatoria,
podían crear ciertas reticencias entre los • Las evaluaciones realizadas durante el
diferentes agentes implicados. Sin embargo, programa confirman que el proyecto B-MIN-
estas barreras iniciales se consiguieron supe- COME ha contribuido de forma significati-
rar mediante el diálogo. va a la reducción de la privación material
severa y la inseguridad alimentaria entre los
Asimismo, otro de los problemas, frecuente en participantes. Además, se observan algunas
la evaluación de programas de estas caracte- mejoras significativas en lo que concierne a
rísticas, fue que la encuesta a hogares no tuvo la inseguridad habitacional.
una alta tasa de respuesta.
• El impacto de B-MINCOME en el bienestar
Una de las limitaciones indicadas en el informe subjetivo de las personas (sensación de
de evaluación es que la duración del proyecto, incertidumbre financiera, estrés, satisfac-
de 23 meses, no es la más idónea en términos ción de la situación económica personal)
del análisis de ciertos indicadores que son también ha sido muy positivo, aunque este
difíciles de valorar a corto plazo. Por ejemplo, impacto se observa en mayor medida en el
el impacto en la salud, el mercado laboral y la primer año.
economía requieren un horizonte temporal
más extenso. Es por ello que, por ejemplo, se • No se confirman mejoras significativas
puedan ver resultados neutros o negativos a en la dimensión de la salud física, la salud
corto o medio plazo que a la larga sean positi- autopercibida, la probabilidad de tener un
vos, pero no estén siendo observados. problema de salud grave y la probabilidad
de desarrollar un problema de salud mental
Una limitación de este estudio común a las de las personas participantes durante el
metodologías experimentales RCT, pero de transcurso del programa. Sí se observaron
manera más significativa en este caso, es que impactos positivos en la calidad de las ho-
el proyecto ha sido diseñado e implementado ras dormidas, cambio en el estilo de vida y
en una zona muy específica de Barcelona, el mejor acceso a la atención médica.
Eje Besós, y por tanto los resultados quedan
circunscritos a esta realidad particular. • La participación en las políticas activas del
proyecto no ha estimulado la voluntad de
Resultados emprendimiento económico ni ha aumenta-
do la probabilidad de encontrar un empleo
La estrategia de combinar políticas activas con de calidad. Se ha observado, además, que
una política de transferencia monetaria ha re- las personas que participan en el proyecto
sultado ser muy positiva. El proyecto permite han reducido su participación en el merca-
sostener que, a diferencia de las habituales po- do laboral92.
líticas de renta condicionada, si se combinan
con políticas activas y pasivas no se estigmati- • No se detecta ningún efecto global del
za a sus receptores. programa sobre la probabilidad de recibir
apoyo de otras personas, aumenta solo en
Los efectos son distintos según la modalidad, las familias que participan en una política
y aunque tales diferencias no sean muy mar- activa en modalidad no condicionada.
cadas, el grupo de SMI condicionado muestra
resultados ligeramente más positivos. • La autonomía económica que ha significa-
do para las mujeres el hecho de ser la titular
92. Los participantes asignados a la política de formación y ocupación no fueron incluidos en este análisis.

106
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
o perceptora del SMI y su participación en
las políticas activas parecen haber favore-
cido procesos y dinámicas de empodera-
miento.
B. Cambios a nivel comunitario
• La participación en el programa ha incre-
mentado la probabilidad de participar en algún
grupo, organización o iniciativa comunitaria,
aunque la evaluación de impacto solo permite
contrastar la significación de este efecto para
los hogares en modalidad condicionada.
• La participación en la política comunitaria ha
contribuido a mejorar la visión de las personas
participantes de sus barrios, estimulando el sen-
timiento de pertenencia y la predisposición a im-
plicarse en actividades cooperativas y desarro-
llando un mejor conocimiento del territorio y sus
activos. Sin embargo, no ha habido un impacto
en el tejido social y comunitario existente.
C. Cambios a nivel institucional
• Se han promovido nuevas dinámicas de
trabajo en los servicios sociales (en el marco
de las políticas activas) que han mejorado la
percepción sobre la Administración y el conoci-
miento de los servicios.
• La moneda REC ha estimulado cambios en
los hábitos de consumo, detectándose una
mejora en las ventas en los comercios locales
de proximidad, pero no ha logrado fortalecer la
red entre vecinos, entidades y comercios.
Repercusión e incidencia
política
Esta evaluación sirvió para apoyar la toma
de decisiones sobre la escalabilidad de este
programa piloto, que finalmente se decidió no
continuar. También se ha utilizado para impul-
sar nuevos proyectos que se están desarro-
93. https://prensa.inclusion.gob.es/WebPrensaInclusion/noticias/ministro/detalle/4099.
94. https://rec.barcelona/es/inicio/.
95. La información sobre este caso se ha obtenido mediante las publicaciones de la página web del programa: https://menttores.org/.
llando actualmente. Por ejemplo, uno de los
motivos por los que Barcelona ha sido selec-
cionada como la primera ciudad para probar el
modelo de inserción sociolaboral para percep-
tores del ingreso mínimo vital (IMV) ha sido su
experiencia con el proyecto B-MINCOME93. En
esta línea, esta y otras evaluaciones han servi-
do al Ayuntamiento de Barcelona para fomen-
tar la cultura de evaluación en sus políticas y,
en concreto, las metodologías experimentales.
Por otra parte, cabe destacar que, en la actua-
lidad, la moneda ciudadana REC que nace con
el proyecto B-MINCOME sigue en funciona-
miento94. En 2020, el REC es premiado por la
Comisión Europea por utilizar una aplicación
tecnológica de registro distribuido para fo-
mentar la innovación social. En 2021 se inicia
un proyecto de investigación, recibiendo 2,75
millones de euros del FET Open de Horizon
2020 de la Unión Europea por abordar las
ineficiencias económicas provocadas por la li-
mitación en el suministro de bienes digitales, y
las personas receptoras de la ayuda Fondo de
Infancia 0-16 que viven en el Eje Besos pueden
cambiar un 25 % del importe mensual a RECS
para recibir un cheque extra de 200 RECS que
poder gastar en los comercios de proximidad y
fomentar la economía local.
7.3. Proyecto piloto
Menttores95
Contexto
Los cierres escolares como consecuencia de la
pandemia de la covid-19 han tenido un efecto
muy negativo en el aprendizaje y el desarrollo
emocional del alumnado en todo el mundo. La
pérdida de aprendizaje ha afectado con mu-
cha más intensidad al alumnado de entornos
desfavorecidos, provocando un aumento de
las brechas educativas. La vuelta a la escuela
en España, durante el curso 2020/21, se ha
realizado de forma exitosa en términos de con-
107

trol epidemiológico, pero las restricciones de
espacio y tiempo han ralentizado el retorno a la
senda de aprendizaje previa a la pandemia.
En España, se desconoce el impacto real de la
pandemia sobre el aprendizaje y el bienestar
del alumnado. A fecha de hoy, y a diferencia de
otros países, no existen datos disponibles, re-
cogidos para muestras amplias de alumnado,
que puedan explicar la magnitud del problema,
cómo se está manifestando (p. ej., vía mayor
absentismo), ni tampoco qué tipo de alumnado
(por nivel educativo, origen socioeconómico o
perfil de alumno) se ha visto más afectado por
ello. España ya partía de una situación preo-
cupante en lo que se refiere al logro educativo,
el abandono escolar temprano y las brechas
educativas.
Según el informe de Menttores, la evidencia
internacional indica que las tutorías indivi-
dualizadas (o en pequeños grupos) son la
intervención educativa de apoyo directo al
alumnado vulnerable que ha demostrado ser
más eficaz. Las tutorías son un espacio de
confianza en el que se promueve una perso-
nalización del aprendizaje y un desarrollo del
alumno a través de la conexión intensiva entre
el mentor (quien imparte la tutoría) y el alumno
(quien la recibe).
Intervención y objetivos del
estudio
Menttores es un programa diseñado, teniendo
en cuenta la evidencia acerca de los formatos
de tutoría que son más efectivos, para ofrecer
refuerzo educativo al alumnado de entornos
desfavorecidos más castigados por la covid-19.
En concreto, se plantea un programa intensivo
de 8 semanas, con 3 sesiones de 50 minutos
por semana, durante los meses de abril y mayo
de 2021, para 378 alumnos de 1.º y 2.º de ESO
en 18 centros educativos de los entornos más
complejos de Madrid y Cataluña.
Las tutorías se realizaron fundamentalmente
con mentores profesionales (habilitados como
108
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
docentes de ESO) en grupos de dos alumnos
del mismo curso por cada mentor. Los conte-
nidos se focalizaron en refuerzo extraescolar
en matemáticas y apoyo socioemocional
(motivación, bienestar, rutinas de trabajo). De
forma novedosa y condicionados por la situa-
ción epidemiológica, las tutorías se realizaron
en formato online vía dispositivos digitales. El
objetivo fue apoyar y acompañar al alumnado
con mayores necesidades durante el curso
2020/21 para intentar revertir la creciente bre-
cha educativa y para «darles un empujón final»
antes de terminar el curso.
El objetivo del estudio fue analizar el impac-
to de las tutorías individualizadas en el éxito
educativo del alumnado con mayores necesi-
dades.
Organizaciones
involucradas
El Centro de Políticas Económicas EsadeEsPol
y la ONG Empieza por Educar (ExE) son las
dos organizaciones que han estado a cargo
del programa Menttores con el apoyo de otras
muchas entidades colaboradoras, como son la
Fundación COTEC, la Fundación CEOE, United
Way España, Google, la Universidad de La Rio-
ja, Huawei, el Banco Santander, la Fundación
Atlantic Copper, Esade, Edvolution y EY.
Metodología
Desde el principio, la evaluación de impacto del
programa se planteó desde una perspectiva
experimental. Se seleccionó de forma aleato-
ria un grupo de intervención (206 alumnos) y
otro de control estadísticamente equivalente y
que no recibió la intervención (172 alumnos).
El proceso previo a la implementación del
programa fue el siguiente:
• ExE lideró el proceso de selección de men-
tores, seleccionando mentores profesiona-
les y completándolo con un número muy re-
ducido de voluntarios, y todas las personas
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
recibieron una formación intensiva y flexible
a través de la plataforma digital de ExE.
• ExE identificó centros educativos que
atienden a alumnado de entornos socioe-
conómicos vulnerables de la Comunidad
de Madrid y Cataluña. En el mes de febrero
se abrió el proceso de inscripciones onli-
ne para el alumnado de 1.º y 2.º de ESO
de estos centros educativos. De todos los
alumnos inscritos, se seleccionó de forma
aleatoria a los alumnos participantes en
el programa que finalmente recibieron las
tutorías.
• El espacio de la tutoría fue diseñado por
ExE para reforzar el contenido académico
de matemáticas y, de manera transversal,
trabajar aspectos socioemocionales del
alumnado.
• Previo al comienzo del programa se ga-
rantizó que cada alumno contase con un
dispositivo electrónico y conexión a internet.
Se recogió información a lo largo del proyecto
(desde marzo hasta junio) 2021:
1. Inscripción de familias: información
general sobre las características de todos
los alumnos y familias participantes en el
programa para conocer las diferencias de
partida entre los alumnos que pudieran
condicionar diferencias en los resultados de
la intervención.
2. Test de matemáticas y encuesta con
preguntas sobre bienestar y desarrollo
socioemocional a personas inscritas y no
inscritas.
3. Sorteo de grupo de intervención y con-
trol y asignación aleatoria de mentores al
alumnado.
4. Información en tiempo real durante las
tutorías.
5. Test de matemáticas y preguntas de
bienestar socioemocional para inscritos y
no inscritos.
6. Encuestas a familias sobre curso acadé-
mico, bienestar del alumno y satisfacción
con el programa.
7. Encuesta a personal directivo sobre el
transcurso del curso, características del
alumnado y satisfacción con el programa.
8. Encuesta a mentores sobre satisfacción
con el programa y evaluación del progreso
académico y socioemocional de los alum-
nos.
Dificultades y limitaciones
El equipo investigador de este estudio conside-
ra que algunas de las potenciales limitaciones
de este experimento fueron el número reduci-
do de personas participantes en la interven-
ción y, por otra parte, el corto tiempo trans-
currido entre la intervención y la evaluación,
que dificulta la medición del impacto a medio y
largo plazo.
Resultados
A. Características del alumnado
Analizando las variables de características
familiares y del alumnado se puede concluir
que el programa fue exitoso, dirigido a niños y
niñas de origen socioeconómico desfavorecido
con altas necesidades de refuerzo en matemá-
ticas.
B. Asistencia a tutorías y absentismo
A pesar del reto de la conectividad y la no
presencialidad del programa, la asistencia a
las tutorías fue muy alta (70,8 % del total de
sesiones y 76,7 % del total de minutos) para la
mayor parte del alumnado.
109

C. Resultados académicos
• Se observa un efecto positivo y significa-
tivo del programa Menttores en las notas
finales del curso de matemáticas. El grupo
del alumnado que recibió las tutorías mejo-
ró sus notas en un 17 %, y de media obtu-
vieron casi 1 punto más en la nota final que
aquellos que no recibieron la intervención
(de un 5,1 a un 6 sobre 10).
• Se observa un efecto positivo y significati-
vo en la probabilidad de aprobar la asigna-
tura de matemáticas con una diferencia de
20,6 % entre el grupo control e intervención.
• Los resultados en el test de matemáti-
cas realizado por el programa mejoraron
un 17 % más entre el grupo tratamiento
comparado con el control.
• Se encuentra un impacto negativo y signi-
ficativo en la probabilidad de repetir curso,
un 75 % menos que el grupo control, cuya
media aumentó.
D. Resultados aspiracionales y socioemocio-
nales
• Entre el alumnado que recibió la inter-
vención, aumentó un 6,6 % la satisfacción
autopercibida con la escuela y eran un 13 %
más propensos a continuar estudiando.
• El esfuerzo autodeclarado en la escuela era
un 19 % más alto en el grupo intervención.
• Contrario a lo esperado, se observa que el
alumnado que participó en el programa de-
clararon de forma más intensa que lo que
les ocurría se debía a factores externos (15
% más alto que los que no participaron).
• No se encontró ningún impacto en cuanto
a la probabilidad de que los alumnos pien-
sen que son buenos en matemáticas o que
le gusten las matemáticas, y tampoco en
110
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
las métricas de tenacidad y perseverancia.
Además de los resultados anteriores, se reali-
zaron encuestas cualitativas a familias, mento-
res, y directores y profesores de matemáticas
de los centros educativos de las que se puede
obtener la información en el informe de evalua-
ción del programa.
Repercusión e incidencia
política
Tras analizar los resultados, el informe de
evaluación de Menttores incluye un apartado
que se titula «Hacer de las tutorías individuali-
zadas una política pública en España». En esta
sección se realiza un análisis sobre por qué
se debería invertir en el ámbito del refuerzo
escolar para recuperar la pérdida de aprendiza-
je por la covid-19, como ya lo están haciendo
otros países, ya que en España las inversiones
en este aspecto han sido bajas.
Se indica que el programa y su evaluación
ilustran el potencial que tienen las tutorías indi-
vidualizadas y que, por ello, se deberían incluir
en cualquier plan de respuesta educativa a la
covid-19 y más allá, como parte de las políticas
educativas estructurales de cualquier país. Por
lo tanto, este experimento, realizado por institu-
ciones privadas en una iniciativa privada, sirve
para hacer incidencia política y proporcionar
evidencia en el diseño de políticas públicas.
Esto pone de manifiesto la importancia de la
colaboración entre el sector público y privado.
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

conclu
siones y
recomen
daciones
para el
impulso
de la ex
perimen
tación
en
españa

08.
111

Tras el análisis realizado a lo largo de este
estudio, a continuación se plantean las prin-
cipales conclusiones, así como algunas reco-
mendaciones que pueden favorecer el impulso
de la experimentación en las políticas públicas,
teniendo en cuenta los elementos facilitadores
identificados a nivel internacional y las expe-
riencias y dificultades existentes en España.
8.1. Conclusiones
La experimentación pública ha tenido un
importante desarrollo en los últimos años,
evidenciando un impulso a nivel internacio-
nal desde hace al menos dos décadas que,
aun así, muestra diferencias relevantes entre
países, con un mayor desarrollo en los países
anglosajones; que varía según la cultura de la
evaluación y experimentación instalada en la
Administración pública, y la integración de este
tipo de actuaciones de experimentación en el
ciclo de las políticas públicas y su diseño.
En este contexto internacional, el uso de la
economía del comportamiento para el diseño
y ejecución de actuaciones vinculadas a las
políticas públicas es una práctica muy exten-
dida, que se utiliza de manera recurrente para
testar modificaciones en las actuaciones pú-
blicas que produzcan cambios en las actitudes
del público objetivo.
En el caso de España, el desarrollo de la ex-
perimentación se ha producido en la última
década, con ejemplos mucho más recientes,
aislados y que se circunscriben principalmente
al ámbito de la evaluación, y donde son una
excepción los ejemplos que incluyen enfoques
de economía del comportamiento. La situación
en España está relacionada con una cultura
del dato y de la evaluación de implantación
mucho más reciente, que aún está en desarro-
llo, y que mantiene el objetivo de conseguir una
mayor institucionalización de la evaluación
en las políticas públicas. En ese sentido, tanto
el desarrollo normativo como el institucional
y estratégico dan cuenta de su desarrollo en
los últimos años. Tal y como señalan Casado
112
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
y Del Pino (2021), si bien es necesaria «cierta
formalización legal, en particular para intentar
garantizar la continuidad y calendarizar mejor
los encargos de evaluación, (…) sin embargo,
como demostró la experiencia de la AEVAL,
el despliegue normativo no es suficiente (…),
en muchas ocasiones las normas no se han
implementado y los sistemas no están funcio-
nando».
Las experiencias que se basan en economía
del comportamiento son minoritarias cuando
se centran en la aplicación en políticas públi-
cas, si bien cuentan con un mayor desarrollo
en el ámbito académico e investigador.
No obstante, dentro del caso español, se
produce en determinados ámbitos un mayor
desarrollo de la evaluación en general, y de
procesos de experimentación pública en parti-
cular, destacando a nivel autonómico el caso
de Cataluña, donde Ivàlua lleva desarrollando
durante varios años este tipo de proyectos con
una aplicación clara en las políticas públicas.
En este contexto, el impulso de este tipo de
metodologías de experimentación desarrollado
desde la Unión Europea está siendo funda-
mental para que aumente su conocimiento
entre los decisores públicos.
Tanto la situación internacional como el
análisis realizado en España muestran que
hay determinados factores facilitadores del
desarrollo de este tipo de procesos de expe-
rimentación en las políticas públicas. En ese
sentido, la interiorización por parte de los agen-
tes responsables de las políticas públicas de
la cultura de la evaluación, junto a su mayor
institucionalización, constituyen elementos
clave para su desarrollo, tal y como revela el
análisis de los contextos donde esta cultura
está ampliamente extendida y con la presencia
de organizaciones, públicas o privadas, que tra-
bajan para conseguir un mayor conocimiento y
uso de esta.
Desde este enfoque hay dos elementos que
han sido identificados como fundamentales
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
para el desarrollo de la experimentación en las
políticas públicas. Por un lado, el aumento del
conocimiento respecto a este tipo de meto-
dologías de los decisores públicos, de manera
que puedan entender y comprender qué virtua-
lidades ofrece, así como las dificultades para
su desarrollo. Este conocimiento no tiene que
ser necesariamente técnico, pero sí implica
una comprensión amplia sobre lo que supone
la experimentación. Por otro lado, cabe desta-
car el importante papel del efecto acumulativo
o demostrativo de «hacer» experimentación;
es decir, la implantación de este tipo de meto-
dologías es gradual, y en la medida en que se
van acumulando experiencias referentes, tanto
por parte de las Administraciones públicas
como del resto de agentes implicados en este
ámbito, ello contribuye a un mayor desarrollo e
institucionalización de los procesos de experi-
mentación.
Aunque, sin duda, la experimentación exige
incrementar el gasto de las políticas públicas,
al incorporar un nuevo elemento en su diseño,
implementación o evaluación96, el fin último es
precisamente buscar la eficacia de las políticas
y únicamente llevar a cabo aquellas con bue-
nos resultados. Por lo tanto, a largo plazo esto
supone un ahorro para la Administración, que
obtiene evidencias para identificar qué po-
líticas son una inversión eficaz y cuáles son
ineficaces para lograr el resultado deseado.
En definitiva, la experimentación en las polí-
ticas públicas se encuentra en un momento
de expansión, y cuenta con un rol cada vez
más relevante en el diseño y evaluación de
las políticas públicas a nivel internacional. En
España se ha producido un incipiente desarro-
llo en los últimos años, y cada vez se extiende
un discurso más favorable al desarrollo de la
experimentación que puede contribuir a dar
un impulso definitivo a este tipo de metodolo-
gías, a través de una mayor formación, sensi-
bilización y aumento de las experiencias, que
96. Si bien, como se ha visto en apartados anteriores, el coste varía de manera significativa según el momento de la política pública, el alcance y la complejidad
del experimento.
97. De la Fuente (2022) propone un análisis sobre la norma en el que se observan elementos adicionales de interés.
incidan en el desarrollo de la cultura del dato y
de la evaluación, así como a su institucionali-
zación.
8.2. Recomendaciones
para el impulso de la
experimentación
De manera global, este estudio muestra que
hay espacio para incrementar el desarrollo
de iniciativas de experimentación en políticas
públicas en España, siguiendo la estela de lo
que sucede en los países de nuestro entorno.
Como se ha podido comprobar, el inicio de
este proceso no está siendo fácil y, previsi-
blemente, los primeros experimentos tendrán
debilidades metodológicas, pero a medida que
se vayan implantando en la lógica y el proceso
de articulación de las políticas públicas de la
Administración, serán más sencillos de imple-
mentar e irán ganando en rigurosidad.
En este sentido, el texto de ley de evaluación
que en el momento de la publicación de este
informe se está tramitando en el Congreso
(proyecto de ley de institucionalización de
la evaluación de políticas públicas en la Ad-
ministración General del Estado) no resulta
suficientemente claro ni ambicioso en esta
materia, por lo que sería deseable aprovechar
esta oportunidad y dar algunos pasos adicio-
nales en esta dirección, como la concreción de
los contenidos y alcance de las evaluaciones
ex ante y ex post y el papel que en ellas puede
jugar el desarrollo de experimentos, así como
los equipos que las desarrollarán97.
Asimismo, es fundamental que los organismos
e instituciones públicas con responsabilidad en
materia de evaluación de las políticas públicas,
es decir, la AIReF (modificando su mandato)
o la nueva Agencia de Evaluación, anunciada
en este proyecto ley, como responsable de la
coordinación y supervisión del sistema estatal
de evaluación de políticas públicas, impulsen
113

el desarrollo e implantación de la experi-
mentación como una herramienta más que
considerar en el ciclo de las políticas públicas,
estableciendo objetivos en esta dirección y
asumiendo responsabilidades directas.
Por otro lado, ha de señalarse que si bien los
Fondos Europeos constituyen una oportuni-
dad (Next Generation) para reforzar la función
evaluadora dentro de la Administración públi-
ca, no se ha desarrollado un marco de evalua-
ción global que impulse la experimentación en
las políticas en este marco financiero. En este
momento, con un notable avance en su imple-
mentación, solo se ha producido en determi-
nados casos el planteamiento de desarrollo de
proyectos experimentales (IMV). No obstante,
sería deseable que se extrajeran lecciones y
se previera a futuro la integración de la evalua-
ción como parte de este tipo de procesos de
desarrollo de políticas públicas, con el plan-
teamiento de los enfoques más pertinentes en
cada caso, acompañando las evaluaciones de
impacto y experimentos con otro tipo de análi-
sis complementarios que permitan evaluar las
políticas en su conjunto.
Para lograr este incremento de la experimenta-
ción en nuestro país, resulta además recomen-
dable a la luz del análisis:
1. En la medida en que existen numerosos
proyectos piloto, de pequeña escala, sobre
todo a nivel regional y local, que podrían
incorporar metodologías experimentales en
su diseño, se propone comenzar por fomen-
tar la experimentación pública en el diseño
de pequeñas intervenciones, que generen
referentes demostrativos de la eficacia de
introducir estas metodologías en las políti-
cas públicas.
Por otro lado, resulta recomendable comen-
zar a aplicar la experimentación en la fase
de diseño en lugar de en la fase de eva-
luación, pues ello implica un menor coste,
y además puede generar menor aversión
política, al trabajar sobre el diseño de una
114
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
intervención piloto que aún no ha sido desa-
rrollada a mayor escala.
2. De cara a evitar que este tipo de expe-
rimentos se den de manera aislada y sin
acompañamiento, como se ha descrito en
algunos casos en los apartados de análisis,
existen diversas fuentes de financiación y
organizaciones especializadas que pueden
ser un apoyo importante, sobre todo en las
primeras fases de instauración de estos
experimentos.
En ese sentido, incluir metodologías expe-
rimentales innovadoras en el diseño de las
intervenciones puede suponer una manera
de atraer y apelar a la financiación externa,
por ejemplo, en intervenciones financiadas
por la UE. En el caso de España, el apoyo
de Europa, con más experiencia a la hora
de aplicar metodologías experimentales,
está siendo y será fundamental para aplicar
estos procesos en las políticas públicas.
3. Uno de los elementos que ha sido clave
para el desarrollo de la experimentación
en países como Francia y Reino Unido e
instituciones como la Comisión Europea es
el establecimiento de un «fondo de expe-
rimentación» en el que el requisito para
su financiación es que las intervenciones
financiadas necesariamente incluyan un
enfoque experimental.
En España existen algunos pilotos de
convocatorias que promueven la experi-
mentación, como ya se comentado; así,
por ejemplo, La Ciutat Proactiva del Ayun-
tamiento de Barcelona este año fomenta
los «Behavioural insights y nudges» como
metodología innovadora para integrar en el
diseño de los proyectos que se presenten
a la convocatoria, o por ejemplo las evalua-
ciones experimentales en torno al ingreso
mínimo vital que financia el Estado con
fondos europeos.
4. El apoyo de la Administración no tiene
que ser únicamente financiero, ya que,
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
como se ha podido comprobar, la facilita-
ción del acceso a datos es determinante
para el desarrollo de actuaciones de expe-
rimentación, para lo que se requiere una
mayor apertura y voluntad política en esta
dirección por parte de la Administración
pública. En esta dirección, Arroyo y Fer-
nández Albertos (2021) apuntan a que el
camino más razonable para avanzar en esta
dirección debería ser profundizar en el gru-
po de trabajo estable entre los principales
productores de datos en España: el Instituto
Nacional de Estadística, la Agencia Tributa-
ria, el Servicio Público de Empleo Estatal y la
Seguridad Social, y que podría ser el germen
de una nueva estructura, contando con la
participación de la Agencia Española de
Protección de Datos (AEDP), garante último
de que los procesos de explotación sean to-
talmente compatibles con el mantenimiento
de la confidencialidad y anonimidad de los
datos98.
5. Adicionalmente, la Administración pú-
blica puede dar respuesta a diferentes
factores que suponen barreras al desarrollo
de la experimentación. En este sentido, es
necesario el desarrollo de actuaciones que
permitan adaptar el diseño o evaluación
de las políticas públicas a la singularidad
de estos procesos, lo que requiere contar
con una mayor flexibilidad en determinados
procedimientos administrativos que pue-
den suponer un obstáculo en este tipo de
metodologías, e incluso ampliar los plazos
para el diseño de las políticas públicas,
siendo conscientes de que los tiempos para
visualizar el impacto de una intervención es
más amplio. Es decir, se trata de anticiparse
a las necesidades de un proceso de experi-
mentación de este tipo, que puede implicar
alterar algunos procedimientos administrati-
vos o incorporar nuevos pasos.
6. Fortalecer una mayor conexión entre las
entidades que desarrollan habitualmente
98. En este sentido, resultan interesantes los pasos dados recientemente en esta dirección por el Ministerio de Inclusión, lanzando el Portal del Dato: http://
portaldatos.seg-social.gob.es/. Se trata de una plataforma para instituciones e investigadores en temas de Seguridad Social cuyo objetivo es facilitar la
realización de estudios en el campo de la protección social.
este tipo de metodologías (como son las
universidades, centros de investigación, em-
presas especializadas) y la Administración
pública. Ya que, como se ha visto en apar-
tados anteriores, en España la experimen-
tación, incluyendo los enfoques de ciencias
del comportamiento, es un campo relativa-
mente desarrollado en organismos privados
y públicos, pero estas prácticas no siempre
se conocen o emplean por la Administra-
ción, incluso cuando algunas de ellas tienen
una enorme potencialidad de aplicación en
actuaciones de políticas públicas. Por ello
se debe seguir fomentando el vínculo entre
investigadores y tomadores de decisiones;
los fondos de experimentación comentados
anteriormente pueden servir como enlace
entre el ámbito investigador y las Adminis-
traciones públicas.
7. Tanto en el caso de que las Administra-
ciones hagan evaluación como si la externa-
lizan, es necesario que su personal dispon-
ga de habilidades y de un elevado nivel de
cualificación interdisciplinar, lo que requiere,
además, estar en continuo aprendizaje. Por
ello, un proceso fundamental para el incre-
mento de la experimentación en nuestro
país es el desarrollo de actuaciones de for-
mación, sensibilización y concienciación
entre el personal técnico de las Administra-
ciones públicas sobre lo que supone este
tipo de metodologías, las oportunidades
que ofrecen y las implicaciones que conlle-
van para la mejora del conocimiento sobre
los enfoques experimentales y de ciencias
del comportamiento.
En ese sentido, ejemplos como los de Ivàlua
en Cataluña o el IGL de Nesta en Europa
muestran que este trabajo de sensibiliza-
ción y acompañamiento a las Administra-
ciones es fundamental para aumentar la
predisposición de los decisores públicos al
desarrollo de este tipo de experimentos, tan-
to en el diseño de una política pública como
115
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

en el proceso de evaluación de una política la evaluación y experimentación. En este

ya instalada.
8. Con el objetivo de tener más informa-
ción sobre los experimentos que se están
desarrollando en nuestro país, en la línea
de lo que comentan Casado y Del Pino
(2021)99, sería útil la generación de una base
de evidencias derivada de experimentos
que se realicen en el país, que fomenten el
intercambio entre los profesionales de es-
tos campos, siguiendo el ejemplo de otras
organizaciones focalizadas en otros lugares
o sectores concretos. Por ejemplo, IGL ha
desarrollado una base de datos con los
ensayos controlados aleatorizados que se
realizan sobre innovación, emprendimiento
y crecimiento100.
El desarrollo de este repositorio debe estar
basado en la formación previa sobre lo
que supone este tipo de experimentos, de
manera que se evite que cuando los resul-
tados no sean los esperados o deseables,
estos trabajos no se publiquen. Es decir, es
necesario incidir en lo que implica la expe-
rimentación, para así favorecer la transpa-
rencia, y que suponga una oportunidad para
obtener aprendizajes sobre el «hacer» de la
experimentación y el intercambio de cono-
cimientos101.
Sería recomendable que la publicación de
estas experiencias no solo se centre en los
resultados obtenidos, sino que se expongan
las repercusiones e implicaciones que
estas han tenido para la intervención que
se ha sometido a la experimentación. Esto
implica no solo publicar los resultados, sino
rendir cuentas ante la ciudadanía de las
decisiones tomadas reforzando el papel de
sentido, se debe hacer una correcta difu-
sión, de manera que no solo se llegue a los
decisores públicos, sino que estos mensa-
jes lleguen a la ciudadanía, transparentando
los procesos de diseño y análisis desarrolla-
dos detrás de las políticas públicas.
En cualquier caso, la experimentación pú-
blica puede servir a este cometido, si bien
no debería ser tomada como un ritual para
fundamentar todas las decisiones políticas
sin dejar espacio para el diálogo y el de-
bate, que se sitúan en la base de cualquier
sistema democrático y donde inciden otros
muchos factores. Además, es necesario
considerar otros enfoques para el diseño y
evaluación de políticas públicas, que pueden
ser más útiles en función de los objetivos
que se persigan, o cuando una intervención
se encuentre ante situaciones de urgencia,
o con riesgos éticos vinculados a la aleato-
rización, que la metodología experimental
puede complejizar.
9. Favorecer el desarrollo de actuaciones
relacionadas con la economía del com-
portamiento, que cuenta con un desarrollo
en instituciones privadas y académicas
en España, con posibilidad de adaptarse a
actuaciones públicas, ofreciendo un acer-
camiento a las Administraciones al ámbito
de la experimentación o, inclusive, con la
creación de una unidad dentro de la AGE
que asesore en el diseño de servicios al
conjunto de los ministerios y organismos,
como existe en un gran número de países
de Europa. Esto no tendría por qué implicar
una inversión completa en una nueva polí-
tica pública, sino que más bien se trataría
de comenzar por incluir enfoques conduc-

99. «Sería útil disponer de una herramienta que reuniese todos los ejercicios de evaluación, y el alcance y la trayectoria de sus recomendaciones permitiría
también gestionar el conocimiento producido, y que las Administraciones y otros actores pudieran intercambiar una valiosa información para el diseño de
programas públicos. La AIReF tiene ya programada la puesta en marcha de un observatorio que recoja y sistematice el resultado de sus propias evaluaciones y
el seguimiento de las propuestas que realiza a cada Administración».
100. https://www.innovationgrowthlab.org/igl-database-v2?page=1.
101. En este sentido, como señalan Casado y Del Pino (2021): «El reciente PRTR y el propio Ministerio de Hacienda han aprobado algunas medidas para asegurar
el uso de las evaluaciones de AIReF en el proceso presupuestario. Sin embargo, asegurar el principio de cumplir o explicar es el gran reto pendiente. (…) de
acuerdo con este principio los centros directivos cuyas políticas se han evaluado tienen o bien que incorporar los resultados de la evaluación al rediseño de sus
políticas o bien, si no los incorporan, deben explicar por qué no lo hacen. Junto a las medidas que se acaban de mencionar, es necesario avanzar en otras como
la publicación incondicional de los informes de evaluación y su debida difusión en la sociedad civil y, en particular, entre los parlamentarios».

116
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

tuales en intervenciones ya existentes para

que sean más efectivas, o bien en el diseño
de las políticas como parte de los proyectos
piloto. Como se ha mencionado con ante-
rioridad, para ello puede resultar, además de
muy inspirador, germen para el desarrollo
de nuevas iniciativas en esta dirección, la
conexión con algunos de los organismos
que desarrollan en nuestro país pequeños
experimentos mediante las llamadas nud-
ges, aplicables a las políticas públicas.

10. Por último, como se ha señalado ante-

riormente, las barreras que se derivan del
desarrollo de actuaciones experimentales
relacionadas con los aspectos éticos son
lo suficientemente relevantes como para
tenerlas en cuenta en el diseño de las inter-
venciones. Una vía de intervención en este
sentido puede ser el desarrollo desde la
Administración, como ha hecho el Gobierno
finlandés, de códigos éticos para el desa-
rrollo de la experimentación pública.

Todas estas recomendaciones para el impulso

de la experimentación demuestran que existen
numerosas posibilidades para situar a Espa-
ña en un proceso similar al de los países de
nuestro entorno, integrando cada vez más la
experimentación en las políticas públicas y,
además, mejorando la predisposición al desa-
rrollo de este tipo de metodologías en actua-
ciones con mayores implicaciones políticas.
En este sentido, el impulso realizado desde la
AIReF y desde el Ministerio de Inclusión con
sus grandes programas de evaluaciones expe-
rimentales puede ser el referente de una nueva
cultura de la experimentación en las políticas
públicas en la medida en que se demuestren
su utilidad, sus beneficios y su aplicabilidad a
las políticas públicas.

117
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

anexos

09.
118
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Anexo 1 – Casos por

sectores (experiencias
internacionales)

La siguiente clasificación se ha realizado valo-

rando la capacidad ilustrativa del ejemplo que
se estaba utilizando, pero en muchos casos
determinados ejemplos podrían ubicarse en
varios sectores al mismo tiempo.

EDUCACION
Retención estudiantil y éxito académico en matemáticas e inglés

Ámbito territorial Reino Unido

Behavioural Insights Team (BIT) y Behavioural Research Centre for Adult Skills and Knowledge
Entidad ejecutora
(ASK)

Periodo de análisis 2017

Muchas personas adultas en el Reino Unido tienen bajas competencias en alfabetización y mate-
mática básica. A pesar de que existen programas para reforzar estas habilidades y aunque hay un
Problema
número significativo de personas que se inscribe en este tipo de programas, existen barreras de
asistencia y finalización de estos cursos.

Una de las soluciones propuestas fue mejorar la asistencia enviando mensajes motivacionales y
Solución/es
recordatorios al alumnado usando el enfoque de las ciencias del comportamiento.

En este ensayo se utilizaron mensajes de texto semanales para ayudar al alumnado a planificar
Metodología acontecimientos próximos, como la vuelta al aula después de las vacaciones o los exámenes, y
para darles ánimos en las semanas intermedias.

Un 22 % más de asistencia (7,4 puntos porcentuales, del 34,0 al 41,4 %) entre los que recibieron
los mensajes de texto en comparación con el grupo de control.
Resultados
Los alumnos que recibieron los mensajes de texto tenían un 16 % más de probabilidades de apro-
bar todos sus exámenes (8,7 puntos porcentuales, del 54,5 al 63,2 %).

119
 Fomentar el take-up del Canada Learning Bond

Ámbito territorial Canadá

Entidad gestora Employment and Social Development Canada (ESDC) – Gobierno de Canadá

Entidades ejecutoras Impact and Innovation Unit (IIU) – Gobierno de Canadá

Periodo de análisis 2016-2018

El Canada Learning Bond (CLB) es un programa gubernamental de ahorro para la educación que
Problema ofrece un incentivo financiero a los canadienses de bajos ingresos. A pesar de la existencia de
esta ayuda, en 2015 solo uno de cada tres jóvenes elegibles recibieron el CLB.

En 2016 se realizó el primer experimento enviando cartas promocionales a las familias elegibles.
El diseño de las cartas se basó en la bibliografía más reciente y relevante sobre BI, pero los resul-
tados fueron decepcionantes, ya que la carta estándar usada anteriormente parecía tener más
éxito que la basada en las ciencias del comportamiento.
Solución/es
Con el objetivo de entender mejor las decisiones de las familias en esta materia se inició un
proceso de design thinking mediante entrevistas, talleres y observaciones etnográficas a 146 indi-
viduos. Con la información recopilada y también incorporando los BI se diseñaron nuevas cartas y
se llevó a cabo un nuevo RCT. Los resultados fueron muy positivos.

Metodología Se desarrollaron dos RCT y pensamiento de diseño (design thinking).

La nueva carta mejoró la aceptación del CLB en un 55 % en comparación con la carta estándar
Resultados (8,8 % frente al 5,7 % de aceptación, respectivamente). Los resultados de este experimento se han
implementado en las comunicaciones de CLB.

Infraestructura educativa

Ámbito territorial Perú

Institución MineduLAB

Periodo de análisis 2015 y 2016

La brecha de infraestructura educativa actual constituye un reto que afrontar para mejorar la
calidad de la educación del Perú. Para revertir la carencia de infraestructura escolar adecuada, el
Ministerio de Educación transfiere recursos económicos a cada escuela a través del Programa
Problema
Nacional de Infraestructura Educativa destinados al mantenimiento y rehabilitación de los locales
escolares. Sin embargo, en el año 2014 solo el 90 % de los fondos fue empleado por las personas
encargadas del mantenimiento escolar y de este solo un 85 % se declaraba oportunamente.

Enviar mensajes informativos y motivacionales a las personas encargadas de mantenimiento,

Solución/es cuyo contenido se basa en los principios de la teoría de comportamiento, con el objetivo de mejo-
rar el nivel de cumplimiento de las actividades de gestión para el mantenimiento escolar.

Se desarrollaron dos RCT. El primer experimento en 2015 estaba compuesto por seis grupos,
incluyendo el control, a los que se enviaban cinco tipos de mensaje: alerta, norma social, informa-
ción de monitoreo, aviso de publicación de omisos y aviso de visitas de auditoría. En el segundo
Metodología experimento en 2016, basado en los resultados de 2015, se hicieron dieciocho grupos de trata-
miento en total con variaciones en los SMS (cuatro de norma social descriptiva, dos de norma
social inyuctiva y tres de beneficio social) y en la duración de la campaña por cada subgrupo
(corta/larga).

Los resultados de la campaña 2015 muestran que los mensajes del tipo sancionador no son más
efectivos que los de tipo no sancionador. De estos últimos, los SMS con contenido de norma
social (en los que se compara al receptor con un grupo de referencia) y de monitoreo son los que
Resultados logran un mayor efecto.
De los resultados de la campaña 2016 se concluye que el mensaje de norma cualitativa a nivel
UGEL ofrece resultados prometedores y que la campaña corta tiene efectos de mayor magnitud
que la campaña larga.
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Salud

Mejorar la salud materno-infantil mediante la formación y la

participación de la comunidad
Ámbito territorial Indonesia

Entidad evaluadora Mathematica (con apoyo de SurveyMETER)

Entidades gestoras Millennium Challenge Corporation (MCC) y el Gobierno de Indonesia

Entidad financiadora MCC

Periodo de análisis 2013-2020

El retraso en el crecimiento infantil afectaba al 36 % de los niños menores de cinco años en Indo-
Problema
nesia en 2013.

El principal objetivo a largo plazo del proyecto de MCC era mejorar el estado de salud y nutrición
de las mujeres embarazadas y de los niños, medido por las tasas de retraso en el crecimiento,
emaciación, insuficiencia ponderal y bajo peso al nacer.

Para abordar el retraso en el crecimiento de los niños, el proyecto de la MCC y el Gobierno de

Solución/es
Indonesia combinó: 1) un programa de desarrollo comunitario centrado en la salud y la educación,
2) formación intensiva para los proveedores de servicios de salud sobre la alimentación infantil, 3)
formación para los sanitarios sobre saneamiento local dirigido por la comunidad, y 4) una campa-
ña nacional de comunicación relacionada con el retraso en el crecimiento, la lactancia materna, la
alimentación saludable y la higiene.

Metodología Se desarrolló un RCT en tres de las once provincias en donde se implementó el proyecto.

El proyecto no tuvo ningún impacto en estos resultados, ni siquiera en la cohorte más expuesta al
proyecto. Sin embargo, el proyecto tuvo un impacto en algunos resultados a corto y medio plazo
relacionados con la salud materno-infantil.

Una vez explorados los motivos de estos resultados, los aprendizajes de esta evaluación para
MCC fueron102:
Resultados
• Garantizar que la MCC y el Gobierno asociado estén alineados en cuanto a los objetivos del
proyecto y obtener compromisos de las entidades gubernamentales de ejecución antes de iniciar
un proyecto.

• Desarrollar y documentar el diseño detallado del proyecto y las disposiciones de ejecución antes
de iniciar la implementación.

102. https://www.mcc.gov/resources/doc/evalbrief-033120-idn-nutrition#mcc-learning.

121
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Incentivos en especie y desempeños de las personas que

trabajan en el sector de la salud
Ámbito territorial El Salvador

Ministerio de Salud de El Salvador y el Grupo de Economía del Comportamiento – Banco Intera-

Entidades ejecutoras
mericano de Desarrollo (BID)

Periodo de análisis 2020

Una mejor atención sanitaria es un desafío global. Sin embargo, la necesidad es particularmente
aguda en las zonas más pobres y remotas en los países de ingresos bajos y medios como El
Problema
Salvador, donde, a pesar de haber llevado a cabo una reforma de su sistema sanitario, seguían
documentándose deficiencias en el desempeño del personal trabajador.

En lugar de incentivos monetarios, las autoridades otorgaron puntos canjeables por incentivos en
Solución/es especie basándose en la teoría de que estos estimularían un mayor esfuerzo del equipo y tendrían
menos probabilidades de desplazar la motivación intrínseca.

Las autoridades de la Salud de El Salvador evaluaron sus reformas a lo largo de un periodo de

doce meses, midiendo los efectos de incentivos en especie en el desempeño de los trabajadores
Metodología de salud en 38 de 75 equipos sanitarios de la comunidad seleccionados aleatoriamente. Todos los
equipos eran monitoreados para medir los efectos de la retroalimentación sobre el desempeño y
el reconocimiento de los logros del equipo.

Si bien todos los equipos (tratamiento y control) mejoraron su desempeño a lo largo del tiempo
Resultados (a los dieciocho meses), aquellas personas elegibles para recibir incentivos en especie mejoraron
más rápidamente que el grupo control (se observan diferencias a los doce meses).

consumo

Reducir la sobreexplotación de merluza en Chile

Ámbito territorial Chile

Entidad ejecutora Servicio de Pesca y Ministerio de Finanzas de Chile

Entidad colaboradora J-PAL

Periodo de análisis 2015-2016

A pesar de los esfuerzos del Gobierno para reducir la sobreexplotación de especies como la mer-
Problema
luza, este problema persiste y hay riesgo de colapso.

Se valoraron varias opciones para asegurar que la prohibición de pescar merluza durante ciertas
Solución/es temporadas se cumpliera: campañas informativas al consumo, multas y la combinación de
ambas.

Se desarrolló un RCT en cuatro grupos (incluyendo grupo de comparación) y análisis costo-efecti-

Metodología
vidad.

La combinación de las campañas informativas y las multas redujeron la disponibilidad y el consu-

mo de merluza un 30 %.
La campaña de información era más rentable para reducir la venta ilegal de merluza que las
multas.
Resultados
La evaluación aleatoria convenció al Servicio Nacional de Pesca de Chile de la eficacia de las
campañas de información, que continuaron y ampliaron en los años siguientes. Informado de los
resultados de la evaluación y el análisis de coste-eficacia, el organismo ha continuado la campaña
de información durante las vedas estacionales de la merluza desde 2016.

122
 Diseñar juegos de azar más seguros

Ámbito territorial Reino Unido

Entidad ejecutora Behavioural Insights Team (BIT)

Entidades colaboradoras Gambling Commission y Bet 365

Entidad financiadora GambleAware

Periodo de análisis 2020-2021

La adicción a los juegos de azar es un problema creciente y el motivo de que la regulación de este
Problema
mercado haya crecido notablemente en países como el Reino Unido.

El proyecto tiene el objetivo de diseñar juegos de azar que sean más seguros, en particular, ha-
ciendo que los consumidores puedan establecer límites sobre lo que puedan apostar durante un
periodo de tiempo en su cuenta online.
Solución/es
Se establecieron tres estrategias diferentes para aplicar este depósito basadas en las ciencias del
comportamiento: depósito de 5 a 100 libras, deposito como máximo de 250 libras, o deposito libre
sin límite mínimo ni máximo.

Metodología Se desarrolló un RCT con 45.000 personas usuarias

De las 45.000 personas a las que se les planteó la opción de establecer un depósito, únicamente
Resultados un 4 % aceptó. La opción en la que las personas usuarias podían establecer su propio depósito
fue la que obtuvo mejores resultados.

protección social

Transferencias monetarias para hogares afectados por la

sequía
Ámbito territorial Nicaragua

Entidad ejecutora Banco Mundial

Entidades colaboradoras Paris School of Economics y Ministerio de la Familia en Nicaragua

Periodo de análisis 2016-2018

Problema Numerosas familias rurales en Nicaragua fueron afectadas por graves sequías.

El Gobierno nicaragüense creó un programa de transferencias monetarias condicionadas (TMC)

para los hogares agrícolas afectados por una grave sequía. A corto plazo, el programa buscaba
Solución/es ayudar a las familias necesitadas a cubrir sus necesidades inmediatas dándoles transferencias de
efectivo. A largo plazo, el programa introdujo intervenciones destinadas a mejorar las oportunida-
des de ingresos y la diversificación.

Para probar soluciones alternativas, los hogares se asignaron aleatoriamente a diferentes grupos
en los que las TMC tenían diferentes características o condiciones. Además, de manera aleatoria
Metodología
se expuso a las personas que recibían las TMC a tener interacciones con promotoras y otras
líderes femeninas existentes en las comunidades.

• A corto plazo (a los nueve meses), las líderes femeninas ayudaron a multiplicar los impactos
del programa en las diferentes modalidades (inversión en educación y nutrición, asistencia a la
escuela, etc.).
• Las interacciones sociales también aumentaron el impacto del programa en la generación de
ingresos.
Resultados
• A largo plazo (a los dos años), en las personas que recibieron la TMC y que no tuvieron interac-
ciones con las líderes no se observaron impactos, pero sí entre las que tuvieron esta interacción,
que mostraban mayor inversión en la educación y nutrición de sus hijos.
• Los padres y madres que interactuaban con las líderes mantuvieron dos años después mayores
aspiraciones y expectativas sobre el futuro de sus hijos.
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Experimento de renta básica en Finlandia

Ámbito territorial Finlandia

Entidad ejecutora Kela y VATT Institute for Economic Research

En 2015 se comenzó con trabajos preparatorios, en 2017-2018 se realizó el experimento y los

Periodo de análisis
resultados fueron publicados en 2019 y 2020.

Es preciso rediseñar el sistema de seguridad social debido a la actual naturaleza cambiante del
Problema trabajo, para ofrecer a las personas un mayor incentivo para trabajar y simplificar la burocracia del
sistema de prestaciones.

La renta básica es una forma de seguridad social en la que toda la ciudadanía reciben una suma
de dinero regular e incondicional para sus gastos. Su objetivo es reducir el trabajo que supone la
Solución/es
búsqueda de ayuda económica y liberar tiempo y recursos para otras actividades, como trabajar o
buscar empleo.

La población del estudio estaba formada por dos mil personas seleccionadas al azar en diciembre
de 2016. En el muestreo aleatorio se incluyeron todas las personas de entre 25 y 58 años a las
que Kela pagó el subsidio del mercado de trabajo o la prestación básica por desempleo en no-
viembre de 2016 por algún motivo distinto a un despido temporal. Las personas participantes en
Metodología el experimento obtuvieron una renta básica desde el 1 de enero de 2017 hasta el 31 de diciembre
de 2018. La renta básica se pagó a razón de 560 € al mes. Las personas que recibían una renta
básica podían reclamar cualquier prestación a la que tuvieran derecho como harían normalmente.

La evaluación del piloto incluía un estudio de datos administrativos, encuestas y entrevistas.

Las personas beneficiarias de la renta básica estaban más satisfechas con su vida y experimen-
taban menos tensión mental que el grupo de control. También tenían una percepción más positiva
de su bienestar económico.

Asimismo, las personas del grupo tratamiento mostraban tener más confianza en otras perso-
nas y en las instituciones sociales, y también creían que tenían más posibilidades de encontrar
empleo.

En cuanto a los efectos en el empleo, durante el primer año del experimento, la renta básica
Resultados
no tuvo ningún efecto sobre el empleo de las personas beneficiarias a nivel grupal. Durante el
segundo año del experimento, las personas del grupo tratamiento tuvieron resultados ligeramente
superiores a la hora de encontrar un empleo. Sin embargo, la interpretación en el segundo año es
más compleja por la introducción del modelo de activación a principios de 2018, que supuso un
endurecimiento de los criterios de acceso a las prestaciones por desempleo de forma asimétrica
en ambos grupos.

Los resultados muestran que hay otros factores, además de los incentivos financieros, que influ-
yen al empleo.

124
agricultura

Reglamento comunitario sobre contribuciones obligatorias y

voluntarias
Ámbito territorial Unión Europea (Alemania, España y Polonia)

Entidad ejecutora Joint Research Centre (Comisión Europea)

Periodo de análisis 2021

Existen cambios en el reglamento de la PAC para 2023 que tienen el objetivo de mejorar el
desempeño climático y medioambiental de las prácticas agrícolas. Dentro de la política existen
Problema
herramientas obligatorias y voluntarias para los agricultores. Encontrar el equilibrio entre los dos
tipos de medidas es clave para alcanzar una mejora medioambiental y climática.

El estudio evalúa las respuestas de los agricultores ante situaciones hipotéticas en las que se les
ofrece un dinero inicial en forma de tokens y tienen que decidir cuál será su contribución al medio
ambiente.
La cantidad de tokens iniciales era diferente para la mitad de las personas encuestadas. A con-
Solución/es
tinuación, todas las personas participantes tenían que realizar una contribución obligatoria (sin
compensación) y la cantidad variaba para la mitad de la muestra. Seguido de esto, las personas
participantes tenían que indicar cuántos de los tokens que les quedaran darían voluntariamente
con una compensación del 90 %.

Metodología Experimento online

El incremento de la condicionalidad disminuye el nivel de inscripción de los agricultores en los

regímenes voluntarios, pero aun así puede aumentar la adopción general de prácticas respetuo-
Resultados
sas con el medio ambiente si la condicionalidad alcanza una cantidad alta, y la reducción en la
compensación de los pagos voluntarios reduce este tipo de contribuciones.

Creación de vínculos entre pequeños agricultores a través de

un mercado digital
Ámbito territorial Uganda

Entidad ejecutora Innovations for Poverty Action (IPA)

AgriNet, Kudu, Fundación Bill and Melinda Gates, Ministerio de Relaciones Exteriores y de la Man-
Entidades colaboradoras
comunidad de Naciones del Reino Unido, e International Growth Centre (IGC)

Periodo de análisis 2015-2018

El precio de los productos agrícolas en África subsahariana varía considerablemente dependiendo

de la temporada, el país y la región. Las barreras que impiden a los compradores y vendedores de
Problema productos agrícolas encontrarse en el mercado pueden contribuir a grandes variaciones en los
precios de los productos. Este problema es una de las causas de la gran inseguridad alimentaria
que tienen algunas regiones de Uganda.

Se ha desarrollado una plataforma digital con el objetivo de conectar a vendedores con compra-
Solución/es
dores.

Se realizó una evaluación aleatoria para comprobar el impacto de la plataforma digital. La plata-
forma móvil se puso en marcha en 110 subcondados de once distritos de Uganda que producen
Metodología maíz y tienen un gran potencial de comercialización. Entre los 110 subcondados (con 236 merca-
dos), 55 fueron asignados aleatoriamente para recibir acceso a la plataforma móvil, mientras que
la otra mitad sirvió de grupo control.

El uso de la plataforma ha supuesto un incremento en el flujo comercial y una reducción en la

variación de los precios entre mercados, en especial entre los más próximos. Los ingresos de los
Resultados
agricultores de las zonas relativamente excedentarias (donde había una mayor oferta de maíz)
aumentaron, y los beneficios medios de los comerciantes disminuyeron.
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

energía y medioambiente

Mejora en la presentación de la factura de la luz

Ámbito territorial Australia

Behavioural Economics Team of Australian Government (BETA) y Australian Energy Regulator

Entidades ejecutoras
(AER)

Periodo de análisis 2021

En marzo de 2021 la Australian Energy Market Commission (AEMC) determinó que el AER debía
Problema publicar una guía que determinara el contenido y los requisitos de las facturas por parte de las
eléctricas.

BETA y AER aplicaron BI en el diseño de las facturas energéticas. Se realizó un diseño diferente
Solución/es para cada RCT, seguido de una serie de preguntas diseñadas para medir su comprensión e inten-
ciones.

Se utilizaron dos muestras para realizar una encuesta y seis RCT. Además, se llevaron a cabo
Metodología dos grupos focales (uno con personas cuyo primer idioma no es el inglés y el otro con personas
mayores de 65 años) y análisis documental.

A raíz de los diferentes experimentos, se ha podido determinar cuál es la mejor manera de presen-
Resultados
tar la información de las facturas y el AER ha redactado la guía «Better bills guideline».

Fomentar el reciclaje en bloques de viviendas

Ámbito territorial Ámsterdam (Países Bajos)

Entidad ejecutora Behavioural Insights Network Netherlands

Periodo de análisis 2019

Problema Las personas residentes de bloques de viviendas reciclan en un porcentaje alto, pero no suficiente.

Un proyecto se inició para estimular a las personas residentes de bloques de viviendas en

Ámsterdam a depositar los restos orgánicos en un contenedor diferente. Se plantearon tres
opciones distintas: la primera pretendía influenciar la actitud mediante dos cartas; la segunda,
Solución/es
mediante un regalo acompañado de una carta de la municipalidad con comentarios positivos
para las personas que reciclaban y motivacionales para las que no; y en la tercera, se les prome-
tía un regalo si comenzaban a reciclar.

Se realizó un experimento de campo en edificios de gran altura en Java-eiland, en Ámsterdam.

El estudio duró quince meses. La población del estudio estaba formada por 1072 hogares. Para
Metodología
comprobar los efectos de las intervenciones, la población se dividió en cuatro grupos: tres grupos
de intervención (A, G, R) y un grupo de control.

Todas las intervenciones tuvieron un efecto positivo sobre el reciclaje de los restos orgánicos.
Resultados La que tuvo un mayor impacto fue la primera de las cartas, con un incremento de un 30 % en el
reciclaje que se mantuvo durante los quince meses.

126
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

género

Promover comportamientos de búsqueda de ayuda entre

sobrevivientes de violencia en Centroamérica
Ámbito territorial Honduras y el Salvador

Entidad ejecutora Behavioural Insights Team (BIT)

Banco Interamericano de Desarrollo (BID), Instituto Salvadoreño para la Promoción de la Mujer,

Entidades colaboradoras
Instituto Nacional de la Mujer (INAM) y Ciudad Mujer

Periodo de análisis 2018-2021

Honduras y El Salvador tienen algunas de las tasas más altas de violencia contra la mujer en el
mundo: seis de cada diez mujeres en estos países han sufrido violencia en algún momento de sus
Problema
vidas, más del 40 % no busca ayuda y, cuando lo hace, menos del 10 % recurre a servicios legales
o médicos.

Un enfoque de conocimiento del comportamiento puede ayudar a desglosar el complejo proceso

Solución/es de obtener ayuda en comportamientos específicos y los desafíos de identidad que enfrentan las
mujeres en cada paso.

Lo primero que se realizó fue una revisión de la literatura e investigaciones cualitativas con las
sobrevivientes.
Metodología
Se realizaron dos ensayos controlados aleatorizados en línea que probaron si diferentes anuncios
de Facebook alentaban a las sobrevivientes a encontrar apoyo.

En Honduras, las mujeres que vieron el anuncio disipando la aversión a la incertidumbre tenían un
19,4 % más de probabilidades de visitar el sitio web de Ciudad Mujer que las del grupo de control,
seguidas por las que vieron el anuncio que abordaba los costes ocultos, que tenían un 12,9 % más
Resultados de probabilidades de visitar el sitio web.
En El Salvador, publicando los dos tipos de anuncios en Facebook, las mujeres tenían un 56 y un
137 % más de probabilidades de acceder a los recursos del sitio web de Ciudad Mujer que las del
grupo de control.

127
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

La ampliación de servicios de guarderías infantiles y sus

efectos en la participación laboral
Ámbito territorial Chile

Entidad ejecutora J-PAL

Entidades financiadoras Banco Interamericano de Desarrollo y Ministerio de la Mujer y la Equidad de Género

Periodo de análisis 2012-2013

El compromiso de cuidar a los hijos a menudo se menciona como una de las razones principales
Problema de por qué la participación en la fuerza laboral normalmente es más baja en las mujeres que en
los hombres.

El Programa 4 a 7 ofrece apoyo educativo y recreativo después de clases por un periodo de tres
Solución/es
horas para niños cuyas edades van de los seis a los trece años.

En el estudio participaron 25 escuelas, las cuales ofrecieron el programa por primera vez en el año
2011. Entre las 2110 mujeres elegibles de todas las escuelas, 1137 fueron seleccionadas al azar
Metodología
para ser beneficiadas por el programa, mientras que a las 973 mujeres restantes no se les ofreció
el programa, formando el grupo control.

El programa aumentó el empleo y la participación femenina en la fuerza laboral, así como el

uso de guarderías para niños más pequeños que no eran aptos para el programa, lo que llevó a
Resultados
concluir que las mujeres necesitaban guarderías para todos sus hijos con el fin de poder unirse al
mercado laboral.

Fomentar la carrera militar entre mujeres

Ámbito territorial Canadá

Entidad gestora Department of National Defense

Entidad ejecutora Impact and Innovation Unit (IIU)

Periodo de análisis 2017

Reconociendo la importancia de una organización inclusiva y diversa, las Fuerzas Armadas

Canadienses (CAF, por sus siglas en inglés) se han comprometido a aumentar el número de mu-
Problema jeres para que representen un mínimo del 25,1 % de su plantilla en 2026. Teniendo en cuenta los
números de 2017, la consecución de este objetivo requeriría la contratación de aproximadamente
diez mil mujeres.

Empleando un enfoque conductual, se analizaron el proceso de contratación, el marketing y la co-

Solución/es municación de la contratación, y las políticas y directrices dentro de la CAF. Con esta información
se diseñaron siete anuncios diferentes.

Metodología Experimento en redes sociales durante tres semanas.

El compromiso se midió por la proporción de usuarias que hicieron clic en cada anuncio. Los
anuncios con mejores resultados ofrecían una propuesta de valor específica a los posibles reclu-
Resultados
tas, desafiaban las suposiciones sobre la carrera en las Fuerzas Armadas o utilizaban la insignia y
las galas de la CAF.

128
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

gobernanza y participación civil

La eficacia de fomentar la participación electoral

Ámbito territorial Míchigan (Estados Unidos)

Entidad ejecutora J-PAL

Entidades colaboradoras Practical Political Consulting (PPC) y Yale University Institution for Social and Policy Studies (ISPS)

Periodo de análisis 2007

Problema La participación en los procesos electorales locales suele ser baja.

Se quería evaluar si la revelación/recordatorio del comportamiento en las elecciones pasadas

Solución/es (si votó o no votó) tenía un efecto en la decisión de participar o no en las sucesivas elecciones
locales.

Las personas a cargo de la investigación asignaron aleatoriamente a 369.211 votantes que habían
participado en una de las dos últimas elecciones a uno de los tres grupos de tratamiento o al gru-
Metodología po de control. Las personas participantes podían no recibir ninguna carta, recibir un correo postal
que les insistiera en cumplir con su deber cívico, que destacara una elección reciente en la que no
hubieran votado, o que destacara una elección reciente en la que sí lo hubieran hecho.

Tras las elecciones se comprobó que el mayor efecto se produjo entre los que recibieron una
carta en la que se hacía hincapié sobre el hecho de no haber votado en el pasado. Los hogares de
Resultados
este grupo tenían 6,4 puntos porcentuales (28 %) más probabilidades de votar que los hogares del
grupo control.

Maneras innovadoras de reducir la corrupción

Ámbito territorial México

Entidad gestora Ministerio de Servicio Público – Secretaría de la Función Pública (SFP)

Unidad de Innovación, Comportamiento y Experimentación (UCEx) del Laboratorio Nacional de

Entidades ejecutoras
Políticas Públicas (LNPP) del CIDE

Periodo de análisis El experimento se desarrolló entre diciembre de 2016 y febrero de 2017.

Problema Los regalos recibidos por los funcionarios no eran registrados según las normas.

La SFP puso a prueba qué tipo de mensaje motiva a las personas empleadas a cumplir con las
Solución/es reglas de registro de regalos. Se enviaron cinco tipos diferentes de mensajes basados en los
sesgos conductuales.

La UCEx llevó a cabo un RCT, en el que un total de 157.586 funcionarios del Gobierno federal fue-
ron asignados a uno de los trece grupos (cuatro grupos de tratamiento con tres niveles diferentes
Metodología
de intensidad en el número de correos electrónicos que recibió cada grupo, más un grupo de
control).

El análisis demostró que recibir un recordatorio por correo electrónico aumentaba el número de
regalos registrados. Sin embargo, algunos mensajes fueron más eficaces que otros: recordar a
los servidores públicos sus obligaciones legales y apelar a su imparcialidad y honestidad alentó
a más personas a registrar regalos que hacer referencia a sanciones o a registros realizados por
colegas.
Resultados
Hoy en día el Ministerio utiliza una herramienta innovadora para reforzar el cumplimiento de la
norma y también conoce las razones por las que los servidores públicos pueden comportarse de
forma poco ética, y además el funcionariado público del Gobierno federal tiene ahora mejor infor-
mación y herramientas para cumplir con sus obligaciones. La UCEx explora actualmente el uso de
intervenciones similares para otras instituciones importantes, públicas y privadas.

129
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

impuestos y finanzas

Incremento del pago de impuestos por parte de las empresas

Ámbito territorial Costa Rica

Entidad ejecutora Behavioural Insights Team (BIT)

Entidades colaboradoras Banco Mundial y Autoridad Fiscal de Costa Rica

Periodo de análisis 2015-2016

Problema Hay empresas en Costa Rica que no realizan sus declaraciones de la renta.

Se realizó un experimento en el que, de manera aleatoria, se envió a las empresas que no habían
hecho la declaración en 2014: ningún email, un email con BI o el mismo email incluyendo ejem-
Solución/es
plos de transacciones hechas por el destinatario y recalcando que eran conocidas por la Agencia
Tributaria.

Se asignó de manera aleatoria a 12.515 empresas a alguno de los tres grupos. Este experimento
Metodología
replica un trabajo anterior en Guatemala.

Los recordatorios triplicaron la tasa de declaraciones de las empresas, que pasó del 11,5 al
32,5 % en el caso del primer modelo de email y al 34,2 % en el caso del segundo modelo. Ade-
más, se observó que las personas que recibieron los correos incrementaron el pago.
Resultados
El efecto también fue retrospectivo, porque la gente que recibió los correos electrónicos se puso
al día de sus obligaciones pendientes en mayor medida que el grupo control, y también fue dura-
dero hasta el año siguiente (sin mandar mensajes adicionales).

Impulsar el cumplimiento de las personas contribuyentes

Ámbito territorial Municipalidad de Mendoza (Argentina)

Entidad ejecutora Grupo de Economía del Comportamiento – Banco Interamericano de Desarrollo (BID)

Periodo de análisis 2019

El incumplimiento tributario limita el financiamiento de servicios públicos para la ciudadanía. La

Problema vigilancia del cumplimiento, una herramienta crucial de cualquier Administración tributaria, tiene
sus límites.

El proyecto se propuso proveer a la municipalidad de Mendoza de herramientas y una metodo-

logía para probar e implementar cambios administrativos con el fin de mejorar el cumplimiento
tributario. Con un enfoque conductual, los nuevos diseños se centraron 1) en simplificar la infor-
Solución/es
mación o 2) subrayar el intercambio fiscal inherente en los impuestos, es decir, destacando que
con el dinero de los impuestos la Administración puede proporcionar valiosos servicios públicos a
las personas contribuyentes.

Se aleatorizaron los tratamientos en igual proporción a 1593 pequeñas zonas geográficas dentro
Metodología de estos sectores. Alrededor de un tercio de los 22.119 contribuyentes de servicios de propiedad
en estas zonas recibió cada tratamiento (incluyendo la carta de factura antigua como control).

Las tasas de pago son del orden del 75 % y alrededor de 3 puntos porcentuales mayores para el
efecto de intercambio fiscal que para la factura antigua. Además, la tasa de pago con el inter-
Resultados
cambio fiscal es aproximadamente 2 puntos porcentuales mayor que la del nuevo diseño sin este
atractivo.

130
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Aumentar los ahorros para la jubilación

Ámbito territorial México

Administradoras privadas de fondos para el retiro, conocidas como Afores, y Comisión Nacional
Entidades gestoras
del Sistema de Ahorro para el Retiro (CONSAR)

Entidad ejecutora Ideas 42

Entidad colaboradora MetLife Foundation

Periodo de análisis 2015-2018

Existe un nivel muy bajo de contribuciones voluntarias a planes de pensiones y una alta pobreza
Problema
entre las personas mayores en México.

Se identificaron dichas barreras y se diseñaron estrategias conductuales para aumentar las apor-
Solución/es taciones voluntarias, realizando un experimento para ver si se incrementaba la contribución. Se
rediseñaron las comunicaciones y se realizaron varios experimentos103.

Se asignaron al azar a alrededor de 68.000 personas con una cuenta Afore a un grupo control que
recibió el sobre estándar, o a uno de los siguientes cinco grupos de tratamiento que recibieron
Metodología un sobre diseñado a partir de conocimiento conductual: foto de una familia, foto de una familia y
mensaje en pro de la familia, foto de un empleado de la Afore y mensaje de apoyo, fecha límite y
frase de visualización del futuro.

Los sobres rediseñados tuvieron un impacto positivo en la cantidad de aportaciones voluntarias

que se hicieron inmediatamente después de su entrega. La cantidad de cuentas que realizan apor-
taciones voluntarias aumentó un 54 %, al pasar de 0,35 % entre los participantes del grupo control
Resultados a 0,54 % entre los participantes de los grupos de los tratamientos con la foto del empleado Afore
y fecha límite. Por lo tanto, el simple hecho de usar estos sobres impresos podría implicar que
aproximadamente 14.000 personas más hagan aportaciones y que los ahorros se incrementen en
20 millones MXN durante el primer mes.

103. En este recuadro se describe el rediseño de los sobres.

131
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Educación financiera, acceso a la financiación y efecto de

depósitos bancarios
Ámbito territorial Java (Indonesia)

Entidad ejecutora J-PAL

Entidad colaboradora Banco Mundial

Periodo de análisis 2007-2010

Los hogares con bajos conocimientos acerca de las finanzas no tienden a planear su jubilación,
obtienen préstamos a tasas de interés más altas, adquieren menos bienes y participan mucho
menos en el sistema de financiamiento formal en comparación con sus contrapartes, que tienen
Problema
mayor conocimiento. Sin embargo, existe poca evidencia que indique si efectivamente existe una
relación causal, y cómo específicamente un mejor entendimiento sobre los productos financieros
puede mejorar la vida de las personas.

En colaboración con el Banco Mundial, se desarrolló una encuesta para medir la educación finan-
ciera y demanda de servicios financieros en India e Indonesia. La encuesta de acceso a servicios
Solución/es financieros fue seguida por un experimento de educación financiera, que solo se realizó en Java,
diseñado para probar directamente la función y la importancia relativa de la educación financiera
y los precios en la determinación de la demanda de servicios bancarios.

Las personas participantes del estudio fueron asignadas aleatoriamente a un nivel de incentivo en
efectivo, con un rango de entre 3 y 14 $, para abrir una cuenta de ahorro dentro de los próximos
Metodología
dos meses. Independiente del nivel de incentivos, los hogares eran además asignados al grupo
tratamiento o control para el programa de formación financiera.

Los resultados del estudio indican que la educación financiera no tiene efecto sobre la proba-
bilidad de abrir una cuenta de ahorros. Los subsidios, por otro lado, tienen grandes efectos,
Resultados
incrementando significativamente la proporción de hogares que abren una cuenta de ahorros en
los dos meses siguientes.

132
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

mercado laboral y empresas

Programa de reclutamiento inclusivo

Ámbito territorial Victoria (Australia)

Entidad gestora Gobierno de Victoria

Entidad ejecutora Universidad de Melbourne, Center for Ethical Leadership y VicHealth

Periodo de análisis 2017-2019

Australia continúa creciendo en diversidad, y es importante que esto se refleje en la fuerza laboral.
Problema
Sin embargo, en los procesos de selección continúan existiendo prácticas discriminatorias.

La iniciativa Recruit Smarter pretende desarrollar el reclutamiento inclusivo y abordar los sesgos
Solución/es inconscientes en la contratación de personas. En total, 46 organizaciones participaron y contribu-
yeron a la entrega y los hallazgos de la iniciativa Recruit Smarter.

Esto se hizo mediante tres líneas de acción: experimentos en el mundo real (desidentificación de
CV y contratación a ciegas, lenguaje específico en la publicidad laboral y entrenamiento del sesgo
Metodología
inconsciente), sistematizar las últimas investigaciones en este campo, e intercambio de conoci-
mientos y aprendizajes.

Recruit Smarter tuvo éxito en todas las líneas de acción:

• Las evaluaciones de los nuevos enfoques de contratación mostraron resultados positivos, la

publicidad dirigida a grupos minoritarios mejoró los resultados de reclutamiento y las capacitacio-
nes aumentaron las intenciones de prácticas de apoyo a la diversidad.

Resultados
• El compromiso de colaboración condujo al desarrollo de pautas de mejores prácticas que reunie-
ron las investigaciones más recientes.

• Los seminarios de intercambio de conocimientos atrajeron a casi mil personas a lo largo de

doce meses y sacaron a la luz el valor de la diversidad y la inclusión al mostrar enfoques innova-
dores.

133
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Los efectos del entretenimiento educativo para el

emprendimiento en Egipto
Ámbito territorial Egipto

Entidad ejecutora J-PAL

Bamyan Media, International Initiative for Impact Evaluation (3ie), Silatech, USAID, Vitol Foundation
Entidades colaboradoras
y Youth Employment Network

Periodo de análisis 2013-2015

En Egipto, la tasa de desempleo juvenil es especialmente alta. Mientras que la tasa de desempleo
global era del 9 % en 2010, la tasa de desempleo de los hombres y mujeres jóvenes de entre 20
Problema y 24 años alcanzó el 16,6 y el 55,8 % respectivamente. El fomento del espíritu emprendedor de
los jóvenes podría mejorar su situación laboral, tanto ayudando a los jóvenes a emplearse a sí
mismos como creando puestos de trabajo para sus compañeros.

En diciembre de 2013, Bamyan Media lanzó un reality show de emprendimiento juvenil llamado
El Mashrou3 («El proyecto» en árabe) en una de las cadenas de televisión por satélite más vistas
de Egipto. El programa seguía la vida de catorce jóvenes emprendedores sociales. El objetivo del
programa era enseñar a los espectadores habilidades emprendedoras, transmitirles lecciones so-
Solución/es
bre buenas prácticas de emprendimiento y presentarles a socios locales que ofrecen formación,
tutoría, financiación y servicios tecnológicos. Además de El Mashrou3, Bamyan Media creó un
sitio web con vídeos educativos, servicios de tutoría y cursos en línea, y también se organizaron
eventos.

Para medir el impacto del programa de televisión, las actividades de apoyo empresarial en línea
y los eventos de networking dirigidos a los jóvenes sobre las actitudes hacia la creación de em-
presas, las prácticas empresariales, las habilidades emprendedoras y la situación laboral de los
Metodología
jóvenes espectadores. De una muestra de 9327 jóvenes elegibles, las personas encuestadas fue-
ron asignadas aleatoriamente a uno de los dos grupos: control y tratamiento. El grupo tratamiento
recibía mensajes para alentarlos a ver y usar los servicios de El Mashrou3.

Recibir los mensajes incrementó la participación un 5,7 %, pero no se pudo establecer un impacto
entre ver el programa y las barreras autopercibidas y reales de emprender por parte de los
Resultados jóvenes. Sí que hay evidencia que indica que la educación en estos temas entre las personas que
vieron el programa es mayor. Asimismo, tuvo un impacto positivo en los pensamientos vinculados
a la posibilidad de que una mujer sea emprendedora.

134
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

innovación

D3T: Ayudar a las pymes en la transformación digital

Ámbito territorial Piedemonte (Italia)

Entidad ejecutora Fondazione Torino Wireless (TOWL)

Entidad colaboradora Innovation Growth Lab (IGL) Nesta

Periodo de análisis 16 de septiembre de 2019-15 de marzo de 2021

Se deben realizar más esfuerzos para proporcionar un mejor apoyo y destacar la necesidad de la
Problema
transformación digital dentro de las empresas.

El proyecto D3T se centra en la mejora de un esquema de apoyo a la transformación digital

mediante la introducción de un enfoque basado en datos que permite un perfil y una evaluación
Solución/es
más rápidos y exhaustivos de las necesidades de las empresas en términos de digitalización y de
cómo se puede implementar y gestionar mejor el apoyo.

Se realiza un piloto experimental a pequeña escala (con 24 pymes de la región de Piedemonte)

midiendo y monitoreando los impactos generados por la implementación de dos hojas de ruta de
Metodología
transformación digital en las pymes. Las pymes, de manera aleatoria, recibieron o bien el servicio
tradicional (13 pymes) o bien el innovador (basado en datos) (11 pymes).

TOWL llegó a la conclusión de que el mejor servicio debe ser una mezcla del tradicional y el
innovador. La digitalización completa del servicio no es eficiente; el factor humano es realmente
Resultados
apreciado y marca la diferencia, no solo en la interacción con las empresas, sino también en los
procesos de toma de decisiones y análisis.

135
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

seguridad y justicia

Prevenir ausencias ante citas judiciales

Ámbito territorial Estados Unidos

Entidad ejecutora Ideas 42 y Universidad de Chicago Crime Lab

New York City Mayor’s Office of Criminal Justice (MOCJ), New York City Police Department
Entidades colaboradoras
(NYPD) y New York State Unified Court System Office of Courts Administration (OCA)

Entidades financiadoras Laura and John Arnold Foundation, MacArthur Foundation y J-PAL North America

Periodo de análisis Experimento entre marzo de 2016 y septiembre de 2017

Cada año, millones de personas en EE. UU. tienen que comparecer ante el tribunal por delitos
menores. Muchos acusados no acuden a sus citas judiciales. La política de justicia penal suele
Problema utilizar sanciones punitivas para disuadir de estas incomparecencias. Por ejemplo, cuando los
acusados no comparecen, se emiten órdenes de detención, lo que atrae a las personas acusadas
hacia el sistema de justicia penal.

Las políticas punitivas presuponen que las personas acusadas prestan atención a estas sancio-
nes y las sopesan a la hora de decidir si comparecen ante el tribunal. En este estudio, se explora
Solución/es una posibilidad de que faltar al juzgado se dé porque la información que reciban no sea suficiente-
mente llamativa y que puedan olvidarla. A raíz de esta hipótesis se diseñan dos intervenciones: un
rediseño del formulario de convocatoria y un mensaje recordatorio.

Para evaluar el impacto del nuevo formulario de citación, se realizó un diseño de regresión
Metodología discontinua (método cuasiexperimental), y para evaluar el mensaje de texto, un RCT con 20.000
personas (método experimental).

El formulario de citación rediseñado y los mensajes de texto redujeron las incomparecencias en

un 13 y un 21 %, respectivamente. Esto sugiere que una proporción significativa de las personas
Resultados
acusadas que no comparecen no lo hacen intencionalmente y que se puede aumentar la asisten-
cia con simples nudges.

136
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Gane un minuto, pierda una hora: estación de tiempo muerto para

conductores con exceso de velocidad
Ámbito territorial Estonia

Entidad ejecutora Equipo de Innovación del Sector Público del Gobierno de Estonia

Periodo de análisis 2019

El número de accidentes de tráfico con resultado de víctimas humanas no ha mostrado una

Problema
disminución significativa en Estonia durante los últimos diez años.

En lugar de una sanción monetaria, se les ofrecía a las personas detenidas por velocidad que
Solución/es
decidieran entre pagar una multa o esperar en la carretera.

El equipo de innovación aplicó métodos de design thinking para obtener una visión del problema
centrada en las personas usuarias mediante entrevistas. A partir de estas entrevistas se planteó
Metodología un experimento o iniciativa piloto en la que se crearan estaciones de «tiempo muerto» como alter-
nativa a las multas económicas. Se pretendía realizar un ensayo controlado aleatorizado, pero no
se pudo llevar a cabo porque la legislación no permite asignar penalizaciones de forma aleatoria.

Las intervenciones se llevaron a cabo en una autopista (límite de velocidad de 90 km/h) entre las
ciudades de Rapla y Tallin. El resultado fue que 16 de 28 (57 %) conductores prefirieron el tiempo
Resultados
muerto a la multa convencional. En las entrevistas posteriores revelaron que les había hecho
prestar más atención a la velocidad.

Proyectos de seguridad ciudadana en Medellín

Ámbito territorial Medellín (Colombia)

Entidades ejecutoras J-PAL e IPA

Alcaldía de Medellín, Proantioquia (Fundación para el desarrollo) y Foreign, Commonwealth and

Entidades colaboradoras
Development Office (Reino Unido)

Periodo de análisis 2018-2021

Los grupos armados urbanos, especialmente las bandas criminales, suponen una amenaza
creciente para la paz y el crecimiento económico en las ciudades de todo el mundo. En Medellín,
Problema las bandas han establecido su poder y control en respuesta a la histórica falta de presencia y
servicios del Gobierno, así como a la importancia geográfica de la ciudad para las rutas del tráfico
de drogas.

En colaboración con el Ayuntamiento de Medellín y el funcionariado de la comunidad, las perso-

nas a cargo de investigación introdujeron al azar una intervención para aumentar la presencia del
Solución/es Estado y mejorar el acceso a los servicios gubernamentales en los barrios controlados por las
bandas, con el fin de comprobar el impacto del aumento de la gobernanza municipal en las funcio-
nes y la legitimidad de las bandas locales y el Estado.

Antes de la intervención, se identificaron —mediante un estudio de dos años en el que se reali-

zaron entrevistas a líderes y miembros de la comunidad, expertos, policía, miembros de bandas
y líderes criminales— ochenta sectores en los que la gobernanza por bandas era elevada. Los
Metodología
investigadores asignaron aleatoriamente cuarenta de estos sectores para que recibieran la inter-
vención. Los otros cuarenta recibieron la cantidad normal de ayuda y servicios ofrecidos por el
Gobierno y sirvieron como grupo control.

El estudio concluyó que la intervención no redujo el dominio de las bandas. Incluso en los barrios
Resultados en los que la intervención funcionó mejor, un gran aumento de los servicios de Gobierno en la
calle no consiguió reducir la oferta delictiva de servicios similares.

137
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS: ESTADO DEL ARTE Y ELEMENTOS PARA SU IMPULSO EN ESPAÑA

Anexo 2 – Tabla resumen de casos (experiencias internacionales)

Casos nivel ámbito territorial sector ciclo

Diseño del etiquetado energético de la UE Supranacional Unión Europea Energía y medioambiente Diseño

Mejoramiento de la infraestructura habitacional en los asentamientos de Latinoamérica Supranacional El Salvador, México y Uruguay Protección social Evaluación

Apoyar a los hombres para un permiso parental más largo y mayor flexibilidad Nacional Reino Unido Mercado laboral y empresas Implementación

Fomentar la asistencia preescolar Nacional Uruguay Educación Implementación

Aumentar las contribuciones voluntarias del Programa de Comidas Colectivas Regional Maryland (EE. UU.) Protección social Implementación

Mejorar la información en la industria del marisco Regional Alberta (Canadá) Consumo Implementación

Aumentar el número de residentes que solicitan revisiones médicas Local Nueva Orleans (EE. UU.) Salud Implementación

Reducir el vertido de basura y objetos voluminosos en Westminster Local Londres (Reino Unido) Energía y medioambiente Implementación

Piloto de Créditos Creativos Regional Manchester City Region (Reino Unido) Innovación Diseño

Incrementar la finalización de prácticas de trabajo Regional Nueva Gales del Sur (Australia) Mercado laboral y empresas Implementación

Apoyar el futuro laboral de alumnado con discapacidad Regional Maryland (EE. UU.) Educación Evaluación

Incrementar la participación de personas jóvenes en política Nacional Reino Unido Gobernanza y participación civil Evaluación

Fomentar la vacunación infantil Regional Haryana (India) Salud Implementación

Programas de ayudas a familias de bajos ingresos Local Washington D. C. (EE. UU.) Protección social Implementación

Reduciendo brechas de acceso a educación superior Nacional Perú Educación Implementación

Incentivos para servidores públicos Local Ciudad de Buenos Aires (Argentina) Gobernanza y participación civil Implementación

Aumentar la seguridad energética en organizaciones Supranacional Canadá, Irlanda, México y Omán Energía y medioambiente Implementación

Retención estudiantil y éxito académico en matemáticas e inglés Nacional Reino Unido Educación Implementación

Fomentar el take-up del Canada Learning Bond Nacional Canadá Educación Implementación

Infraestructura educativa Nacional Perú Educación Implementación

Mejorar la salud materno-infantil mediante la formación y la participación de la comunidad Nacional Indonesia Salud Evaluación

Incentivos en especie y desempeños de las personas que trabajan en salud Nacional El Salvador Salud Implementación

Reducir la sobreexplotación de merluza en Chile Nacional Chile Consumo Implementación

Diseñar juegos de azar más seguros Nacional Reino Unido Consumo Diseño

Transferencias monetarias para hogares afectados por la sequía Nacional Nicaragua Protección social Diseño

138
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS: ESTADO DEL ARTE Y ELEMENTOS PARA SU IMPULSO EN ESPAÑA

Casos nivel ámbito territorial sector ciclo

Fomentar la vacunación infantil Regional Haryana (India) Salud Implementación

Programas de ayudas a familias de bajos ingresos Local Washington D. C. (EE. UU.) Protección social Implementación

Reduciendo brechas de acceso a educación superior Nacional Perú Educación Implementación

Incentivos para servidores públicos Local Ciudad de Buenos Aires (Argentina) Gobernanza y participación civil Implementación

Aumentar la seguridad energética en organizaciones Supranacional Canadá, Irlanda, México y Omán Energía y medioambiente Implementación

Retención estudiantil y éxito académico en matemáticas e inglés Nacional Reino Unido Educación Implementación

Fomentar el take-up del Canada Learning Bond Nacional Canadá Educación Implementación

Infraestructura educativa Nacional Perú Educación Implementación

Mejorar la salud materno-infantil mediante la formación y la participación de la comunidad Nacional Indonesia Salud Evaluación

Incentivos en especie y desempeños de las personas que trabajan en salud Nacional El Salvador Salud Implementación

Reducir la sobreexplotación de merluza en Chile Nacional Chile Consumo Implementación

Diseñar juegos de azar más seguros Nacional Reino Unido Consumo Diseño

Transferencias monetarias para hogares afectados por la sequía Nacional Nicaragua Protección social Diseño

Experimento de renta básica en Finlandia Nacional Finlandia Protección social Diseño

Unión Europea (Alemania, España y

Reglamento comunitario sobre contribuciones obligatorias y voluntarias Supranacional Agricultura Diseño
Polonia)

Creación de vínculos entre pequeños agricultores a través de un mercado digital Nacional Uganda Agricultura Evaluación

Mejora en la presentación de la factura de la luz Nacional Australia Energía y medioambiente Diseño

Fomentar el reciclaje en bloques de viviendas Local Ámsterdam (Países Bajos) Energía y medioambiente Implementación

Promover comportamientos de búsqueda de ayuda entre sobrevivientes de violencia en Cen-

Supranacional Honduras y el Salvador Género Implementación
troamérica

La ampliación de servicios de guarderías infantiles y sus efectos en la participación laboral Nacional Chile Género Evaluación

Fomentar la carrera militar entre mujeres Nacional Canadá Género Diseño

La eficacia de fomentar la participación electoral Regional Míchigan (EE. UU.) Gobernanza y participación civil Implementación

Maneras innovadoras de reducir la corrupción Nacional México Gobernanza y participación civil Implementación

Incremento del pago de impuestos por parte de las empresas Nacional Costa Rica Impuestos y finanzas Implementación

Impulsar el cumplimiento de las personas contribuyentes Local Municipalidad de Mendoza (Argentina) Impuestos y finanzas Implementación

139
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS: ESTADO DEL ARTE Y ELEMENTOS PARA SU IMPULSO EN ESPAÑA

Casos nivel ámbito territorial sector ciclo

Aumentar los ahorros para la jubilación Nacional México Impuestos y finanzas Implementación

Educación financiera, acceso a la financiación y efecto de depósitos bancarios Regional Java (Indonesia) Impuestos y finanzas Evaluación

Programa de reclutamiento inclusivo Regional Victoria (Australia) Mercado laboral y empresas Evaluación

Los efectos del entretenimiento educativo para el emprendimiento en Egipto Nacional Egipto Mercado laboral y empresas Evaluación

D3T: Ayudar a las pymes en la transformación digital Regional Piedemonte (Italia) Innovación Diseño

Prevenir ausencias ante citas judiciales Nacional Estados Unidos Seguridad y justicia Implementación

Gane un minuto, pierda una hora: estación de tiempo muerto para conductores con exceso de
Nacional Estonia Seguridad y justicia Implementación
velocidad

Proyectos de seguridad ciudadana en Medellín Local Medellín (Colombia) Seguridad y justicia Evaluación

140
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Anexo 3 – Bibliografía Glennerster, R. y Takavarasha, K. (2013):

Arroyo, I. y Fernández Albertos, J. (2021): «Los
retos de la explotación masiva de datos admi-
nistrativos para la investigación y las políticas
públicas: una visión desde dentro de la Admi-
nistración», Cuadernos Económicos del ICE,
102, 39-51.
Running Randomized Evaluations, Princeton
University Press.
Gueron, J. M. (2017): «The politics and practice
of social experiments», en Banerjee y Duflo
(coords.), Handbook of Field Experiments,
Northholland.

Banerjee, A. y Duflo. E. (coords.) (2017): Hand-
book of Field Experiments, Northholland.
Bédécarrats, F., Guérin, I. y Roubaud, F. (2015):
«The gold standard for randomized evalua-
tions: from discussion of method to political
economy», Working Paper UMR Dial.
Breckon, J. (2020): Using Research Evidence. A
Practical Guide, Alliance for Useful Evidence.
Hopkins et al. (2020): The Experimenter In-
ventory: A catalogue of experiments for deci-
sion-makers and professionals, Nesta/Alliance
for Useful Evidence.
Medical Research Council (2013): Developing
and evaluation complex interventions: new
guidance.
Nesta (2013): Standards of Evidence.

Cartwright, N. y Hardie, J. (2012): Evidence-ba- Sunstein, C. y Thaler, R. (2010): Nudge: un pe-

sed policy: a practical guide to doing it better, queño empujón, Taurus.
Oxford University Press.
Wang, S. y Yang, D. Y. (2021): «Policy experi-
Casado, J. M. y Del Pino, E. (2021): «Evolución, mentation in China: The Political Economy of
situación actual y retos de la evaluación de Policy Learning», en National Bureau of Econo-
políticas públicas en las Administraciones es- mic Research. Working paper 29402. https://
pañolas (2000-2021)», Cuadernos Económicos www.nber.org/system/files/working_papers/
del ICE, 102, 13-39. w29402/w29402.pdf.
 
Corduneanu-Huci, C., Dorsch, M. T. y Maarek,
P. (2021): «The politics of experimentation:
Political competition and randomized contro-
lled trials», Journal of Comparative Economics,
49(1), 1-21. https://www.sciencedirect.com/
science/article/pii/S0147596720300652.

European Commission (2021): Design and

commissioning of counterfactual impact eva-
luations. A practical guide for ESF managing
authorities, Luxemburgo: Publications Office of
the European Union.

Fuente, A. de la (2022): «Algunos comentarios

sobre el proyecto de ley de institucionalización
de la evaluación de políticas públicas», FEDEA.

141
 LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

Anexo 4 – Listado de
instituciones y perso-
nas entrevistadas Observatorio de la Realidad
Social de Navarra
HOGAR SÍ
• Luis Campos Iturralde
• José Manuel Caballol Bartolomé

• Maribel Ramos Vergeles

Innovation Growth Lab (IGL)

Nesta

• Hugo Cuello Díaz

ISEAK – Initiative for Socio-

Economic Analysis and
Knowledge

• Sara de la Rica Goiricelaya

• David Martínez de Lafuente

Ivàlua

• Marc Balaguer Puig

• Mireia Borrell Porta

• Ramon Sabes-Figuera

• Jordi Sanz Porras

Laboratorio de Economía
Experimental y del
Comportamiento (LINEEX) de
la Universidad de Valencia

• Penélope Hernández Rojas

Loyola Behavioral Lab de la

Universidad de Loyola

• Pablo Brañas Garza

142
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS

COTEC.ES
143