L’EVALUATION INTERNE OU L’AUTO-EVALUATION DANS LA LOI DU 2 JANVIER 2002

(Conférence organisée par l’URIOPSS le jeudi 13 mai 2004 à la Baume-lès-Aix) Contribution de Patricia BROTTO et François CHARLEUX (Cabinet RH & organisation – Marseille) : « Pour un projet d’établissement au service de la qualité »

Introduction Nous avons intitulé à dessein notre intervention « pour un projet d’établissement au service de la qualité » et il nous semble important, avant d’aborder l’évaluation interne dans la loi du 2 janvier 2002, de préciser deux choses : 1) L’évaluation dont il est question a pour champ, spécifiquement, l’Etablissement et ses activités, et non l’Association ou son projet fondateur. L’ « objet associatif » est hors de portée d’une démarche d’évaluation normative. Nous nous référons ici au travaux de Jean AFCHAIN (Les associations d’action sociale, Dunod, Paris, 2001) 2) L’évaluation ne peut s’envisager en dehors du cadre fixé par le projet d’établissement. L’existence d’un projet d’établissement nous semble donc un préalable à toute démarche d’évaluation. Notre intervention comprendra deux parties. La première, intitulée « Contexte réglementaire et démarche générale », après un rappel des exigences de la loi 20022 en matière d’évaluation interne, nous conduira à aborder : - la notion de « référentiel » au cœur du dispositif réglementaire, - la démarche méthodologique préconisée par la DGAS en matière d’évaluation interne, - le lien à établir entre « Évaluation interne » et « Évaluation externe ». La deuxième partie, « Du projet d’établissement à la démarche d’amélioration continue » permettra de préciser certains points de méthode, utiles au moment de la mise en œuvre d’une démarche d’auto-évaluation au sein d’un établissement. Il y sera évoqué en particulier : - la construction d’un référentiel d’auto-évaluation, - le système documentaire à mettre en place, sans lequel aucune évaluation formelle n’est évidemment possible, - la démarche d’auto-évaluation et d’amélioration continue.

www.rh-organisation.fr

Tél. 04 91 13 46 23

-1-

Première partie : Contexte réglementaire et démarche générale (F. CHARLEUX) - Les exigences de la loi 2002-2 Si la qualité a toujours été au centre des préoccupations des établissements, l’exigence réglementaire porte aujourd’hui sur l’obligation de formaliser (avant la fin de l’année 2006) une évaluation interne : « Art. L. 312-8. - Les établissements et services procèdent à l'évaluation de leurs activités et de la qualité des prestations qu'ils délivrent, au regard notamment de procédures, de références et de recommandations de bonnes pratiques professionnelles … » L’utilisation de l’expression « de références et de recommandations de bonnes pratiques professionnelles » est ici essentielle ; elle indique clairement que les « référentiels » vont constituer la pierre angulaire du dispositif d’auto-évaluation. La note de la DGAS du mois de mars 2004 dont nous aurons à reparler le confirme par ailleurs. Mais qu’est-ce qu’un « référentiel » ?

- La notion de référentiel d’auto-évaluation La notion n’est pas inconnue du secteur sanitaire et social. Nous citerons par exemple le référentiel « ANGELIQUE », de juin 2000, pour l’amélioration de la qualité en EHPAD (Ce référentiel est le fruit du travail de la mission MARTHE mission d’appui à la réforme de la tarification de l’hébergement des personnes âgées. Cette mission était composée de représentants des services de l’Etat, des conseils généraux, de l’assurance maladie, de responsables et de professionnels d’établissements publics et privés, ainsi que de cadres de l’Ecole Nationale de la Santé Publique). Mais plus connu encore, et qui s’inscrit dans une démarche analogue qui lie à la fois évaluation interne et évaluation externe, est le référentiel d’accréditation hospitalière (ANAES) de février 1999 pour sa première version. Dans cette perspective méthodologique, un référentiel est un guide d’auto-évaluation qui regroupe un ensemble de « références » ou de « bonnes pratiques professionnelles » par rapport auxquelles un établissement peut comparer ses propres pratiques. A titre d’illustration voici un extrait du référentiel d’accréditation hospitalière pour la partie concernant « le patient et sa prise en charge – Droit et information du patient ».
Référence 1 – L’établissement inscrit les droits et l’information du patient dans ses priorités. 1a – L’établissement a adopté les principes énoncés dans la charte du patient hospitalisé : le projet d’établissement intègre ces principes. 1b – La direction, la Commission médicale d’établissement et la DSSI ou le responsable du service de soins infirmiers développement une politique reposant sur les principes de la charte du patient hospitalisé. 1c – L’existence de la charte est portée à la connaissance des professionnels et le document est disponible dans tous les secteurs d’activités. 1d – Les professionnels sont formés à la question du respect des droits du patient.

www.rh-organisation.fr

Tél. 04 91 13 46 23

-2-

Le référentiel apparaît ainsi sous la forme d’une suite d’affirmations dont chacune constitue une exigence normative à respecter. Le champ de l’évaluation est explicitement l’établissement, et l’objet, le dispositif d’accompagnement social ou médico-social. La question qui circule par conséquent aujourd’hui à l’intérieur des établissements concerne la nature de ce référentiel ? Quel sera sa forme ? Quel sera surtout son contenu ?

- Le Conseil national de l’évaluation (CNE) La réponse dépend bien sûr du Conseil national de l’évaluation sociale et médicosociale qui, pour le moment, n’a pas fait connaître sa doctrine en la matière. On retiendra simplement que le décret du 26 novembre 2003 (création du CNE), précise que celui-ci, afin de promouvoir dans les établissements et services sociaux et médico-sociaux le développement de l'évaluation interne et de l'évaluation externe, sera chargé en particulier : « 1° De valider, ou d'élaborer dans le cas prévu au premier alinéa de l'article L. 3128 précité, et de diffuser les outils et instruments formalisant les procédures, références et recommandations de bonnes pratiques professionnelles applicables aux différentes catégories d'établissements et de services énumérés aux I et III de l'article L. 312-1 du même code ; » « 2° De donner un avis sur les organismes habilités à pratiquer l'évaluation externe mentionnée au deuxième alinéa de l'article L. 312-8 précité ; » etc. Il apparaît donc probable, à la lecture de ce texte, que chaque établissement devra choisir entre s’approprier un référentiel ou élaborer le sien propre. Cette hypothèse est par ailleurs confirmée par une note récente de la DGAS.

- Démarche qualité et évaluation interne – Guide méthodologique (DGAS – mars 2004) La direction générale de l’Action Sociale (DGAS) a diffusé en effet au cours du mois de mars 2004 un guide méthodologique (Démarche qualité – Evaluation interne dans un établissement ou service médico-social ou social et recours à un prestataire. Guide méthodologique. Préface de Jean-Jacques TREGOAT, directeur général de l’Action sociale) qui mérite d’être évoqué en raison notamment des précisions qu’il apporte sur les moyens à envisager en matière d’évaluation interne. Ni publication scientifique, ni texte réglementaire, ce guide se veut un outil « d’aide à la décision » destiné aux établissements et services que préoccupe la démarche qualité telle que l’entend la loi 2002-2.

www.rh-organisation.fr

Tél. 04 91 13 46 23

-3-

La première partie de ce guide est consacrée à la présentation des modalités de mise en œuvre d’une démarche qualité. Partant de la distinction qu’il convient de faire entre les notions de « démarche qualité » (processus d’amélioration continue) et d’«évaluation» (mesure ponctuelle du niveau d’atteinte des objectifs), les auteurs proposent la démarche suivante :

Information des acteurs Formation des personnels à la démarche qualité Appropriation ou élaboration d’un référentiel Évaluation interne au moyen du référentiel

Planification et mise en œuvre des actions d’amélioration

Nouvelle évaluation interne

La troisième étape « Appropriation ou élaboration d’un référentiel » est révélatrice et représente un point essentiel de ce guide méthodologique. A la différence du secteur sanitaire qui utilise un référentiel unique (le « guide d’accréditation » ANAES), il apparaît clairement ici que chaque établissement ou service devra choisir son propre outil d’auto-évaluation. On notera alors qu’« élaboration » ou « appropriation » forment deux opérations sensiblement identiques : pour « élaborer » un référentiel il sera toujours utile de consulter les référentiels existants, et s’ « approprier » un référentiel exigera inévitablement l’examen préalable des référentiels en question...

- Evaluation interne/évaluation externe A ce stade de notre exposé il nous semble important de formuler également une hypothèse sur le lien qui devrait exister au plan méthodologique entre évaluation interne et évaluation externe. Contrairement à certaine idée reçue qui tend à séparer ces deux opérations, nous souhaiterions montrer qu’elles sont au contraire intrinsèquement liées. Examinons ce lien en présentant ce que pourrait être la démarche d’évaluation externe. Nous nous inspirons ici de la démarche d’accréditation hospitalière.

www.rh-organisation.fr

Tél. 04 91 13 46 23

-4-

Demande d’engagement dans la procédure Validation du référentiel Évaluation interne Communication de l’évaluation interne à l’organisme habilité Évaluation externe Rédaction d’un rapport d’évaluation

D’un point de vue méthodologique, le référentiel utilisé pour l’évaluation interne devrait donc servir lors de l’évaluation externe. Certes, là encore, il appartient au Conseil national de faire connaître son avis. Mais il serait évidemment incohérent de laisser un établissement s’auto-évaluer à l’aide d’un instrument (validé par ailleurs ) différent de celui qui servirait ensuite à l’évaluateur externe.

Deuxième partie : Du projet d’établissement à la démarche d’amélioration continue (P. BROTTO) Nous avons vu la place accordée au référentiel dans la démarche générale d’évaluation interne. Considérons maintenant de plus près cet instrument, son organisation et son utilisation dans une démarche d’amélioration continue. - Le référentiel d’auto-évaluation : un contrat entre les parties prenantes Le référentiel se situe à l’interface des relations entre les différentes parties prenantes, comme la contractualisation du plus grand dénominateur commun :

www.rh-organisation.fr

Tél. 04 91 13 46 23

-5-

Bénéficiaires (usagers, familles…)

Établissement ou service

REFERENTIEL D’AUTOEVALUATION

Commande sociale

Association

1) Le référentiel est l’expression concrète du projet d’établissement ou du projet de service. 2) Le référentiel spécifie l’engagement pris par l’établissement à l’égard de ses bénéficiaires. 3) Le référentiel est une traduction de la commande sociale et des modalités de sa prise en compte 4) Le référentiel est l’attestation formelle de l’inscription du projet d’établissement dans les valeurs associatives Outil d’aide à la décision, le référentiel d’auto-évaluation doit se construire dans une perspective opérationnelle. Pour cela, il conviendra de s’assurer que : 1) Le référentiel développe principalement les domaines à forts enjeux pour l’établissement (Principe d’efficacité) 2) Il permet la définition d’objectifs réellement poursuivis, de résultats véritablement désirés (principe de réalisme) 3) Il se décline à l’aide d’un vocabulaire concret, compréhensible par tous (principe de simplicité)

- Les étapes de la construction d’un référentiel Le référentiel se structure sur la base de dimensions, définies chacune par plusieurs critères ; ces critères à leur tour se déclinant en indicateurs : Définir les dimensions du référentiel Décliner les critères pour chaque dimension Identifier les indicateurs pour chaque critère Dimensions: aspects clefs de l’organisation dont dépend le fonctionnement de l’organisation Critères: caractéristiques concrètes de chaque dimension.

www.rh-organisation.fr

Tél. 04 91 13 46 23

-6-

Indicateurs: ils décrivent le niveau de réalisation des exigences portées par chaque critère. C’est au travers des indicateurs que l’on arrive à cerner le modèle de fonctionnement souhaité. Exemple de dimensions :

Dimension 1 : Le processus de direction Dimension 2 : Le service rendu aux usagers Dimension 3 : Les partenariats Dimension 4 : Le management des ressources humaines Dimension 5 : La gestion des ressources matérielles

D’autres hypothèses sont toujours imaginables, mais celle à privilégier devra permettre une description fine du fonctionnement de l’établissement. A titre d’exemple également, voici déclinée en partie la dimension 4, « Le management des ressources humaines » :

Dimension

Critère

Management des ressources humaines

Gestion des compétences

Indicateurs 1 - Chaque salarié bénéficie d’un entretien annuel de progrès qui permet d’établir ses besoins en formation (enregistrement) 2 - Un plan de formation annuel est établi en fonction des priorités et des objectifs d’amélioration de l’établissement

Ces deux indicateurs représentent à la fois l’ambition de l’établissement en matière de « Gestion des compétences » et le moyen pour évaluer le niveau de réalisation d’un des critères de la dimension « Management des ressources ». La recherche des critères et des indicateurs doit aboutir de cette manière à la construction d’une image à la fois globale et contrastée de l’ensemble des activités de l’établissement.

- Répondre à l’exigence d’une auto-évaluation : la pyramide documentaire La pratique de l’évaluation oblige à concevoir un système documentaire qui permet la « traçabilité » sans laquelle aucune évaluation formelle n’est possible. On distinguera trois niveaux à cette « pyramide » documentaire :

www.rh-organisation.fr

Tél. 04 91 13 46 23

-7-

Le projet d’établissement (avec en annexe le référentiel d’autoévaluation) Les procédures et les modes opératoires Les enregistrements

Exemple :
Niveau 1 - Le projet d’établissement ou de service (et le référentiel) Niveau 2 - Les procédures et modes opératoires Niveau 3 - Les enregistrements « Chaque personne accompagnée bénéficie d’un projet personnalisé. Ce projet est élaboré et évalué selon une procédure documentée. »

Une procédure référencée décrit le processus d’élaboration et d’évaluation des projets personnalisés. Les exigences en matière documentaire (enregistrements) sont spécifiées dans la procédure. Le projet (ou une partie du projet) fait l’objet d’un document écrit enregistré.

- Évaluation interne et amélioration continue de la qualité Le pilotage de l’amélioration continue suppose des réunions périodiques permettant à la direction de suivre l’évolution du projet (actions entreprises, résultats obtenus, etc.). La démarche est la suivante : 1 - L’auto-évaluation guidée Le référentiel sert de base à un diagnostic qualité (identification des écarts) Ce diagnostic est conduit selon le principe d’une autoévaluation partagée qui associe les différents personnels Chaque écart constaté donne lieu à la planification d’une action corrective. L’ensemble des actions correctives constitue le plan d’amélioration continue Régulièrement, l’équipe de direction examine et réajuste le dispositif d’évaluation (référentiel et démarche d’évaluation partagée)

2 - L’élaboration du PAC (Plan d’amélioration continue) 3 - La revue de Direction et l’amélioration continue du dispositif d’évaluation

www.rh-organisation.fr

Tél. 04 91 13 46 23

-8-

Ces réunions formelles, souvent nommées « revues de direction » constituent un des moyens les plus efficaces dont dispose la direction d’un établissement ou d’un service pour appuyer ses décisions. C’est au cours de ces réunions que sont discutées les suites à donner aux différentes opérations d’évaluation de la qualité. Ces réunions feront l’objet d’un enregistrement spécifique.

Conclusion La pratique de l’auto-évaluation (voire l’évaluation externe) ne constitue pas une remise en cause (de la qualité) du travail des opérateurs. L’auto-évaluation ne vise pas davantage la standardisation a priori des pratiques professionnelles. L’autoévaluation ou l’évaluation interne concerne avant tout les pratiques managériales. Elle vise à développer notamment la capacité des établissements et des services à s’engager dans un processus d’amélioration continue de la qualité du service rendu à la personne accompagnée.

www.rh-organisation.fr

Tél. 04 91 13 46 23

-9-