2.

LPSP1302 – Modèles d’intervention en éducation &

développement :
Efficacité & évaluation de l’intervention

0. Introduction
Objectif d’une intervention : → Progrès, voir une amélioration, un changement positif.
→ Exemple : intervention qui maintient la MCT chez les plus âgés.

1. Exemple d’évaluation de l’impact de l’intervention

Mise en situation : Maria décide de mener une intervention. Elle étudie la question : les élèves qui
reçoivent des instructions en classe sur les dangers des armes au lycée ont-ils des attitudes différentes
vis-à-vis des armes que les élèves qui n’en reçoivent pas ? En utilisant deux classes de santé pour
participer à son intervention, elle donne à une classe le programme de santé standard et à l'autre classe
un programme standard ainsi qu'une série de cours sur les dangers des armes chez les adolescents. À la
fin du semestre, elle administre une enquête mesurant les attitudes envers les armes dans les écoles.
D’une part, au sein de son intervention, Maria veut implanter un curriculum qui a pour changer les
attitudes des étudiants par rapport à la possession des armes à l’école. D’autre part, l’objectif de cette
intervention est d’évaluer le danger des armes. Ainsi, l’intervention a permis de réduire les attitudes
envers les armes dans les écoles.

→ Maria trouve que les élèves qui ont suivi le programme et les cours sur les dangers des armes ont des
attitudes plus négatives envers les armes dans les écoles que les élèves qui avaient simplement le
programme de santé standard.

→ Le testing est une meilleure façon de prouver l’efficacité de l’intervention.

→ Elle utilise un groupe contrôle.

Cet exemple nous montre qu’en éducation, il y a une tendance à se diriger vers une approche « evidence
based education » → Montrer en quoi l’intervention présente un effet positif sur base de tests..

2. A l’origine
Investissement pour mettre en place des approches « evidence-based education » : prouver que
notre intervention est efficace & montrer ses effets positifs sur les personnes concernées dans notre étude
– Approche Quantitative.

8
Solène Pirotte – LPSP1302 Modèles d’interventions en éducation et développement – 2021-2022
Focus sur la recherche et les méthodologies expérimentales, quantitatives et post-positivistes :
nous établissons un groupe expérimental (qui a un traitement spécial pour présenter des effets positifs
vis-à-vis de l’objectif visé) et un groupe contrôle (qui a un traitement standard).

Approche réductionniste : mise en place des études d’intervention menées dans des environnements
complexes tels que les écoles ou les entreprises. La réalité est complexe en particulier dans le milieu
scolaire professionnel.

→ Les interventions éducatives et développementales se déroulent toujours dans un contexte

spécifique et un contexte situé car ce qui fonctionne dans un contexte ne fonctionnera peut-être
pas dans un autre contexte.

Par conséquent, nous cherchons à comprendre l’ensemble des conditions nécessaires pour que
l’intervention fonctionne, donc on a une approche mixte, c’est-à-dire quantitative et qualitative :

- Quantitative → Capable de dire pourquoi l’intervention fonctionne.

→ Capable de comprendre les mécanismes sous-jacents à l’intervention.

- Qualitative → Capable de dire pourquoi l’intervention fonctionne, de façon encore plus exacte que
l’approche quantitative. En effet, l’approche qualitative nous donne davantage
d’informations sur les effets de l’intervention.

2.1 From practice-based evidence to evidence-based practice

Nous démarrons de la pratique (practice-based evidence) pour voir si notre intervention fonctionne ou
si elle ne fonctionne pas pour montrer que notre pratique a un réel effet (evidence-based practice).

Par la suite, les auteurs ont développé l’échelle d’impact de Van Yperen et Vreeman. C’est une échelle
qui mesure l’efficacité d’une intervention à l’aide de plusieurs niveaux.

Chaque niveau nous donne des indications sur le cadre de développement dans le but de savoir où se
situe l’intervention.

9
Solène Pirotte – LPSP1302 Modèles d’interventions en éducation et développement – 2021-2022
Le niveau 0 : Il s’agit d’un niveau où nous mettons simplement l’intervention dans l’esprit des
individus. C’est une idée, une pensée, une réflexion.

Le niveau 1 : Il s’agit du niveau d’intervention avec une description. Nous trouvons déjà une description
de ce que les personnes ont réalisé comme intervention. De ce fait, nous observons et décrivons sur
papier ce que nous sommes en train de faire. Ceci permet déjà de répliquer l’intervention.

Le niveau 2 : Il s’agit du niveau d’intervention avec force probante théorique avec un cadre théorique
et une argumentation grâce à cette théorie.

Le niveau 3 : Il s’agit du niveau d’intervention avec force probante provisoire. Nous devons mesurer ce
que nous faisons, en récoltant des données. Pour ce faire, nous demandons aux participants si oui ou non
ils sont satisfaits de l’intervention qui a été mise en place. Nous constatons que ce type de mesure
commence à nous donner des résultats.

Le niveau 4 : Il s’agit du niveau d’intervention avec force probante causale concernant l’efficacité →
un véritable testing de l’intervention et nous réalisons par exemple des interviews ou des questionnaires
avec les participants pour mesurer réellement les effets de l’intervention. C’est le niveau le plus élevé.

La pratique evidence based n’est pas toujours mise en pratique. Or, il est important de comprendre et de
voir quels sont les effets de notre intervention. Donc, la pratique n’est pas toujours mise en pratique. Il
est donc difficile d’arriver au niveau 4 car c’est plus cher à mettre en place (besoin des ressources
humaines), ça demande plus de temps, la tâche est complexe et tous les professionnels n’ont pas
l’expertise pour savoir comment faire.

3. Modèle d’évaluation pour l’entrainement d’intervention : Kirkpatrick

Modèle de Kirpatrick = modèle d’évaluation des interventions de formation qui est généralement
utilisé dans le monde des entreprises.

10
Solène Pirotte – LPSP1302 Modèles d’interventions en éducation et développement – 2021-2022
Tout comme le modèle que nous venons de présenter, il présente quatre niveaux pour mesurer les effets
de l’intervention :
➔ Le niveau 1 – Niveau de la réaction : Est-ce que vous êtes satisfaits de l’intervention mise en
place ? Est-ce que l’intervention que nous avons établie vous semblent utiles ?
➔ Le niveau 2 - Niveau de l’apprentissage : via un test ou par un questionnaire, nous regardons
si les participants ont changé d’attitudes pendant l’intervention. Nous pouvons par exemple
nous poser la question de savoir s’ils voient les choses différemment, s’ils ont acquis de
nouvelles compétences, de nouveaux savoir-faire, etc.
➔ Le niveau 3 – Niveau du comportement : Observer si la personne a changé ou non de
comportement & s’il est capable de transférer les acquis dans son travail.
❖ Exemple : Nous pouvons regarder si l’employé change de comportement grâce à
l’intervention. Par exemple, nous regardons s’il est capable d’arrêter de fumer une fois
qu’il a suivi l’intervention.
➔ Le niveau 4 – Niveau de l’impact : sur l’individu, sur la société et sur l’organisation, à la suite
du changement comportement. Dans le cadre d’une entreprise, nous pouvons trouver ce niveau
dans les chiffres d’affaires. Mais ce niveau n’est pas simple à montrer car d’autres facteurs
peuvent intervenir.

3.1 Exemple d’intervention d’alphabétisation

Nous nous intéressons à une intervention d’alphabétisation qui a pour objectif d’améliorer la littérature
fonctionnelle :

➔ Le niveau 1 – La réaction : satisfaits ou non par rapport aux cours d’alphabétisation qui ont mis
en place ?
➔ Le niveau 2 – L’apprentissage : Nous regardons si les participants ont appris quelque chose
→ un test où les personnes doivent lire quelque chose à différents temps. Nous pouvons
constater l’évolution dans le processus de lecture et nous mesurons la compétence de lecture
pour voir si oui ou non le participant a appris quelque chose.

11
Solène Pirotte – LPSP1302 Modèles d’interventions en éducation et développement – 2021-2022
 ➔ Le niveau 3 – Le comportement : Nous demandons à la personne qui a du mal à lire, à écrire et
à interpréter l’information d’aller à la gare et d’aller lire le tableau où est indiqué les heures de
départ. Nous pouvons alors regarder si la personne est capable de prendre la bonne voie pour
partir à Bruxelles.
➔ Le niveau 4 – L’impact sur l’individu, la société et l’organisation : Regarder si le participant
trouve un travail ou s’il a une meilleure position dans la société après les cours qu’il a suivis.

4. Importance de la recherche pour évaluer les interventions dans

l’éducation &le développement.
4.1 Evaluation de l’impact & du processus
Impact – Quoi ?
Interventions éducatives qui cherchent à mesurer leur efficacité :
→ Elles se concentrent sur les résultats et les événements consécutifs liés à une intervention.
→ Important de savoir si ce que nous faisons a un impact sur les participants.

Objectifs – compréhension du processus

Examiner et comprendre les relations causales entre la MEO de l’intervention et les résultats → bien
comprendre le processus.

Questions centrales
Est-ce que l’intervention fonctionne ?
Quels sont les mécanismes sous-tendant un effet d’intervention ?
Dans quelles circonstances l’intervention fonctionne-t-elle ?
Est-ce que la VI a un impact sur la VD ? Pourquoi ?

4.2 Les obstacles à l’évolution de l’impact d’une intervention

Nous trouvons un travail intensif. Les praticiens effectuent dans un premier temps des thérapies et non
des recherches pour mettre en place des interventions. Ceci nécessite un grand travail de recherche, de
lecture de la littérature et de la théorie pour concevoir des impacts des interventions, les comprendre,
mesurer leurs effets, etc.

Nous trouvons un manque de savoir-faire de la part des praticiens (pas toujours les compétences et les
savoir-faire nécessaires pour réaliser des évaluations de l’impact et des effets d’une intervention). En
tant que psychologues, nous apprenons à mesurer les effets de l’intervention → capable d’avoir les
compétences et les savoir-faire pour mesurer les impacts des interventions.

Nous trouvons également un manque de temps : évaluer l’impact d’une intervention est un travail
laborieux et qui nécessite donc un certain temps.

12
Solène Pirotte – LPSP1302 Modèles d’interventions en éducation et développement – 2021-2022
Nous sommes ici dans une tâche complexe. Nous ne savons pas toujours où est-ce que nous pouvons
trouver les tests pour mesurer l’impact de notre intervention → Besoin d’un accès à ces tests et les
sélectionner en fonction de leur validité et leur fiabilité, ce qui nécessite une bonne connaissance.

Enfin, au sein de cette tâche complexe, nous devons faire attention à plusieurs éléments :
❖ Contrôle randomisé : condition expérimentale (traitement spécial) et condition contrôle
(traitement standard).
❖ Implication de différents acteurs : Il est nécessaire d’impliquer divers partenaires
comme les parents, les coordinateurs, les enseignants, les directeurs des écoles, les
membres des conseillers d’administration, etc. Ce qui rend la tâche d’autant plus
complexe.
❖ Influences environnementales : Un contexte spécifique qui implique que nous devons
le prendre en compte + comprendre les caractéristiques des apprenants, leur
motivation, leur personnalité, leur culture, etc.

Nous retrouvons des problèmes de fiabilité et de validité des outils d’évaluation.

À nouveau, en tant que psychologues, ce sont des éléments que nous sommes capables de faire en raison
de notre formation universitaire.

4.3 Mise en place des recherches pour les interventions

Les étapes du processus
Mise en place des interventions & sélection des outils de mesure :
→ Comment est-ce que nous allons mettre en place notre intervention ?
→ Comment allons-nous mesurer les effets de cette intervention ?

Assignation des personnes pour réaliser l’expérience dans différentes conditions :

❖ Condition contrôle : curriculum standard.
❖ Condition expérimentale : curriculum spécial.
❖ Condition de comparaison : quelle condition a le plus d’impact ? Condition expérimentale ou
comparaison ?

Déterminer si ceux qui ont subi l’intervention ont obtenu de meilleurs résultats que ceux qui ne l’ont
pas fait (avant et après le test). Nous espérons que l’intervention va présenter plus d’impact dans la
condition expérimentale que dans la condition contrôle. C’est grâce au pré et post-test que nous pouvons
mesurer le changement d’attitude entre les conditions.

13
Solène Pirotte – LPSP1302 Modèles d’interventions en éducation et développement – 2021-2022
 4.4 Les principales caractéristiques de la recherche pour l’évaluation de l’impact
des interventions.

L’attribution aléatoire
Nous trouvons différentes conditions, dont la condition contrôle, la condition expérimentale, etc. Dans
chacune de ces conditions, nous devons assigner d’une façon aléatoire les participants.

Ce n’est pas toujours possible, en particulier dans le domaine de l’éducation et du développement.

- Exemple : si nous établissons une évaluation de l’impact de l’intervention dans une classe,
nous comprenons très rapidement qu’il est difficile de pouvoir établir un groupe expérimental
et un groupe contrôle.

Le contrôle des variables étrangères

Lorsque nous mettons en place une intervention, nous définissons notre variable indépendante et notre
variable dépendante. Nous devons bien entendu contrôler ces variables. En effet, nous souhaitons être
certains que ce que nous faisons présente réellement un effet, et que ce n’est donc pas une tierce variable
ou une variable parasite qui créerait ou influencerait ce résultat.

Nous devons contrôler les variables qui pourraient intervenir en réalisant un prétest et un post-test.

Nous intégrons des co-variables.

❖ Exemple : Si nous mettons en place une intervention, mais que nous savons que l’âge joue
également un rôle important, nous allons demander l’âge de chaque participant et le contrôler
pour que celui-ci ne présente pas un impact sur les résultats de notre recherche.
❖ Notre objectif est d’être certain que, si l’intervention a un effet, c’est bien grâce à notre
intervention, et non en raison d’autres variables parasites.

Nous pouvons apparier les participants en réalisant un matching des participants sur la base d’une
caractéristique commune.
❖ Exemple : Si nous savons que le sexe présente un effet, nous pouvons choisir de mettre la moitié
des femmes d’un côté et la moitié des hommes de l’autre côté pour contrôler ce type de variable.

Nous pouvons travailler avec des groupes très homogènes, des groupes qui sont extrêmement similaires
entre eux, au sein desquels les personnes sont très semblables les unes avec les autres.

14
Solène Pirotte – LPSP1302 Modèles d’interventions en éducation et développement – 2021-2022
La manipulation des résultats
Nous trouvons plusieurs conditions → Groupe expérimentale.
→ Groupe de comparaison.
→ Groupe contrôle.

La comparaison de groupe
Nous comparons les scores de différents traitements sur un résultat, grâce à un prétest & un posttest.
Nous regardons si, sur une variable, nous pouvons bien trouver des différences.

Intervention pour faire corriger les erreurs.

Groupe expérimentale avec traitement.

Groupe de comparaison avec autres activité que

l’orthographe.

Groupe de contrôle.

Les menaces de la validité

Importance de la validité dans une intervention et dans la mesure de cette dernière. Nous faisons la
distinction entre :

➔ Validité interne = validité des inférences tirées sur la relation de cause à effet entre les VI
et les VD.
❖ Être certain qu’il y ait un effet causal entre ces deux variables, car il pourrait très bien
y avoir des variables parasites qui influencent le résultat.
❖ Exemple : Si nous mettons en place une intervention qui a pour objectif d’aider les
participants à arrêter de fumer, nous devons être certains que lorsque les personnes
arrêtent de fumer, il y a un effet causal entre notre intervention et le fait que les
personnes aient arrêté de fumé dans la condition expérimentale.
❖ Nous trouvons différents éléments puisque plusieurs variables peuvent intervenir :
- en relation avec les participants et leurs expériences :

15
Solène Pirotte – LPSP1302 Modèles d’interventions en éducation et développement – 2021-2022
 - en relation avec les traitements de l’étude d’intervention

- en rapport avec la procédure de l’étude d’intervention.

➔ Validité externe = validité de la relation de cause à effet pouvant être généralisée à d’autres
personnes, contextes et variables de traitement et de mesures.
❖ Incapacité de généraliser un cadre d’intervention à un autre cadre : possible que
nous ne puissions pas généraliser les résultats → Si nous avons trouvé un résultat positif,
nous devons nous assurer que ce résultat soit transférable à d’autres situations.
- Exemple : Si nous réalisons une intervention dans une école privée, ceci ne
veut pas dire que les résultats soient les mêmes dans une école publique. Si
nous effectuons une intervention dans une petite entreprise, les résultats ne
seront pas les mêmes dans une multinationale.
❖ Incapacité de généraliser au-delà des groupes dans l’intervention : Les participants
sont des êtres humains uniques, qui présentent différentes caractéristiques, nous
n’allons pas avoir les mêmes résultats chez tout le monde. Nous ne pouvons pas
transférer ces résultats.
- Exemple : Nous trouvons des résultats différents chez des personnes qui ne
présentent pas la même nationalité, le même âge, chez des personnes qui se
situent dans des places géographiques différentes, chez des personnes qui
présentent des professions différentes, etc.
❖ Incapacité de généraliser les résultats aux situations passées et futures : Les
résultats ne sont pas toujours transférables dans les situations, en fonction du temps.
- Exemple : Si nous établissons une intervention en début de l’année scolaire,
ceci ne veut pas dire que nous allons trouver le même résultat que si nous
établissons l’intervention à la fin de l’année scolaire.
- Le temps peut jouer un rôle et peut éventuellement donner d’autres résultats.

16
Solène Pirotte – LPSP1302 Modèles d’interventions en éducation et développement – 2021-2022
 4.5 Les types de conception pour la recherche interventionnelle
Lorsque nous mettons en place une intervention pour mesurer l’impact, nous trouvons plusieurs formats
possibles. De cette façon, nous faisons la distinction entre deux groupes :

Souvent le ‘between group design’ est favorisé !

5. Les questions éthiques importantes

5.1 Par rapport à la procédure
Faire attention à la question du refus des traitements des individus dans les groupes contrôle qui
pourraient être désavantagés en recevant pas le traitement bénéfique (aucun bénéfice à se trouver dans
cette situation).
→ Qu’est-ce que nous pourrions mettre en place comme solution ? Nous allons offrir le
traitement bénéfice au groupe contrôle après la fin de l’expérience.

L’éthique des assignations aléatoires : les expériences randomisées sont basées sur la loterie
d’assignation à des groupes, quels que soient les besoins ou les mérités des individus → Des
désavantages pour certaines personnes.

Est-ce que l’intervention donnera-t-elle la meilleure réponse au problème ? Il n’est pas dit que notre
intervention présente toujours des effets positifs → Important de décrire ce que nous faisons au sein de
notre intervention.

17
Solène Pirotte – LPSP1302 Modèles d’interventions en éducation et développement – 2021-2022
 5.2 Réplication du soutien
Comme nous avons pu le voir avec la validité externe, il est important de soutenir que l’intervention
puisse être répliquée et généralisée car nous voulons être capables de dire que telle intervention est
capable d’être appliquée à tel groupe.

Nous devons bien décrire l’intervention et établir un bon reportage de la façon dont les effets ont été
mesurés, pour que ce soit le plus réplicable possible. Nous trouvons une importance de transparence
dans ce que nous faisons.

QRM

Les résultats des interventions peuvent être évalués sur la base du modèle d’évaluation de Kirkpatrick. Quelles
affirmations sont vraies ?
1. La plupart des professionnels de la formation limitent leurs efforts d’évaluation de leurs interventions aux niveaux 1
et 2 de Kirkpatrick.
2. Les participants évaluent, sur une échelle de 1 à 5, à quel point ils ont trouvé l'expérience satisfaisante, pertinente et
engageante. Cela fait référence au niveau d'évaluation 1 de Kirkpatrick
3. Une entreprise industrielle de torréfaction de café vend ses torréfacteurs à des torréfacteurs régionaux, et ils offrent
une formation de suivi sur la façon d'utiliser et de nettoyer correctement les machines. Après instruction, chaque
participant est invité à nettoyer correctement la machine tout en étant observé par le formateur. Ceci est une évaluation
au niveau 3.
4. Les responsables des torréfacteurs régionaux surveillent de près les rendements des nouvelles machines. Lorsque les
machines sont propres, moins de grains de café sont brûlés. Lorsque les gestionnaires constatent des rendements plus
élevés de la part des torréfacteurs qui ont terminé la formation, ils peuvent tirer des conclusions sur le rendement que la
formation produit pour leur entreprise. Il s’agit d’une évaluation au niveau 4 du modèle de Kirkpatrick.
5. Les maîtres torréfacteurs qui ont suivi la formation reçoivent une évaluation écrite pour évaluer les connaissances
qu'ils ont acquises sur le nettoyage des machines à café. Ceci est une évaluation du niveau 3 de Kirkpatrick.

Solution : 1 – 2 – 4. → 3. Evaluation du niveau 2 car contexte de formation.

→ 5. Evaluation du niveau 2 car ils font un test de connaissance.

18
Solène Pirotte – LPSP1302 Modèles d’interventions en éducation et développement – 2021-2022