L'évaluation des politiques publiques entre enjeu politique et enjeu de méthode

Claudine Belayche

Sur un sujet d’actualité dans toutes les organisations, et notamment depuis quelques années dans les bibliothèques publiques ou d’université – et avec l’entrée effective en 2006 de la fameuse Lolf (loi organique relative à la loi de finances), votée en 2001 –, cette journée, organisée le 24 mai 2005 à la Fondation nationale des sciences politiques à Paris, proposait aussi de regarder au-delà des frontières ce qui se passe dans quelques pays francophones.

Pierre Lascoumes, en introduction, fit le constat de la forte demande, de toutes parts, d’évaluation des politiques publiques, apparemment en divergence totale avec l’absence constatée d’une culture de l’évaluation en France, de la difficulté à capitaliser les expériences des uns et des autres et à en tirer les enseignements. Que de rapports sans décision, sans suivi dans le temps !

L’évaluation, enjeu politique

Frédéric Varone (Université catholique, Louvain) a fait une recherche dans les pays européens. Il note une forte dépendance selon le type d’État, le type d’organisation administrative. Si l’on cherche à aborder les degrés de la pratique concrète de l’évaluation, les indices mis en œuvre approchent la maturité de la pratique et les instances existantes de l’évaluation. Les pays anglo-saxons et scandinaves occupent les premières places, suivis par la France ; Espagne, Portugal viennent plutôt en fin… Mais cela change avec l’Union européenne.

Steve Jacob (Université Laval, Québec) apporta le point de vue québécois. Une commande politique claire, en 1997, donne le la d’une évaluation systématique dans tous les services de l’État. Le vérificateur général, traditionnellement en charge du contrôle du budget, voit son rôle renforcé. Ses interventions se complètent de remarques et commentaires sur l’exécution des programmes qui doivent désormais satisfaire à certains critères : améliorer les programmes par la mesure du rendement de l’action ; aider à la décision et à la gestion par le résultat des évaluations ; sur une durée de cinq ans, sélectionner des évaluateurs indépendants et veiller au suivi des actions et procédures sur la durée.

Chaque grand service doit sélectionner des critères d’évaluation internes et créer une « unité interne d’évaluation ». Le vérificateur général rédige des guides méthodologiques de l’évaluation à l’intention des services, pour harmoniser les pratiques et publier des rapports de synthèse.

Premières conclusions : dans le choix des actions, il apparaît que le Canada a fait le choix politique d’améliorer la qualité des services rendus, en exploitant les résultats des évaluations, mais a peu communiqué sur les méthodes. Les statistiques montrent que ces évaluations ont généré 15 % de changements radicaux de projets, 5 % de suppressions totales de programmes, 25 % de confirmations. Des réflexions sont en cours, notamment pour professionnaliser les « évaluateurs » et travailler sur une certification, comme souvent au Canada, dans le cadre de validation des pratiques.

Florent Loiseau, responsable à l’Unesco d’un service évaluation, a montré l’évolution des pratiques dans cet organisme intergouvernemental. La demande est claire de la part des États, notamment des plus contributeurs : les actions sont-elles conformes à la constitution de l’Unesco ? Peut-on évaluer le service réel rendu par l’Unesco aux États membres ? Plus globalement, que fait-on de l’argent des contributeurs internationaux, quels résultats peuvent être (dé)montrés ? La tendance depuis quelques années est de faire appel aux services de cabinets d’étude qui doivent procéder aux évaluations de programmes, après rédaction de cahiers des charges, appels d’offres…

Quelques réserves ou interrogations : cette méthode, de plus en plus utilisée par les organisations internationales, conduit à la constitution d’un petit groupe d’experts internationaux, qui font des études sur tous les pays, parfois sans se déplacer, rarement en connaissant le contexte local, et les données, recueillies par web-conférences, consultations téléphoniques, donnent parfois une idée relativement éloignée de la réalité du pays.

Se pose également, et de plus en plus, la question financière : les sommes consacrées à la rémunération des experts ne s’inscrivent-elles pas en déduction du budget total de l’action avec le risque de brider la mise en œuvre des programmes eux-mêmes ? L’évaluation est une forte demande, mais elle est aussi source de dépenses…

Enfin, quand une évaluation est trop « critique », qu’en fait le politique donneur d’ordres ? Dans une organisation internationale, la question est démultipliée par rapport à un seul pays.

Jean-Daniel Delley, anciennement professeur à l’Université de Genève, a relaté son expérience à la tête de la Commission d’évaluation des politiques publiques (Cepp) du canton de Genève. « Petite expérience », dit-il modestement, mais très concrète.

Cette Cepp créée, il y a une dizaine d’années, auprès du gouvernement cantonal, indépendante de tous les pouvoirs, est composée de journalistes spécialisés, universitaires, comptables, chefs d’entreprise. C’est ce que l’on appelle en Suisse une « milice », une commission de la société civile. Sa mission : chaque année, faire un programme d’évaluation de politiques, généralement assez bien circonscrites (vu ses effectifs et moyens), et donner à lire un rapport qui sera présenté publiquement, discuté largement, et devra donner lieu à une mise en œuvre par les administrations.

La commission, dans un premier temps, « tend le miroir », oblige à mettre en regard certains chiffres, certains constats et en fait une synthèse. Elle y ajoute des recommandations, sans se substituer au politique, et veille à ce qu’elles soient du domaine du faisable. Son évaluation du travail sur dix ans est notamment celle-ci : « Notre grande force, être proche du terrain ; conjuguer les observations méthodologiques et politiques. Et toujours rendre public, discuter autour des résultats et des recommandations. »

Une discussion large et ouverte

  • La discussion très large et ouverte avec les participants a tourné autour de plusieurs thèmes :
  • Quel pouvoir est donné aux évaluateurs ? Deviennent-ils ceux qui vont « orienter » les actions par le résultat de leurs rapports ? À l’inverse, si un rapport est trop défavorable au donneur d’ordres, celui-ci ne le mettra-t-il pas dans un coffre ?
  • Une évaluation n’a-t-elle de réalité que si elle est publiée, discutée, dans un parlement, une assemblée délibérante ?
  • Quelle est la transversalité entre les pouvoirs locaux et national, régional et fédéral, comme au Canada ou en Suisse ?
  • L’Union européenne a introduit dans tous ses appels à projets l’obligation de prévoir des critères d’évaluation : cela change-t-il la donne ? Quelle influence cela a-t-il sur les pratiques des États membres ?
  • Les politiques européennes d’aide, en termes de fonds structurels, doivent entrer dans cette logique. A-t-on des résultats pour les fonds structurels européens en France ?
  • Comment se fera la mise en œuvre en France de la Lolf (qu’un intervenant a jugée « déprimante » !) ? L’articulation entre le niveau national et le niveau régional est indispensable.

Stéphane Le Bouler, longtemps au Commissariat général au plan, a pu faire un constat au niveau interministériel. Le Conseil national de l’évaluation a diversifié ses objets de saisine, sans aucun contrôle ni restitution parlementaires néanmoins. Thématiques analysées depuis 1998 : dispositifs CES-CEC-emplois jeunes, lutte contre le sida, logement social dans les départements d’outre-mer, fonds structurels et politiques régionales, recours à des opérateurs externes dans la mise en œuvre de politiques de l’emploi…

L’intervenant insista sur la complexité du dispositif, long à mettre en œuvre, et fortement soumis à l’alternance politique : la rencontre entre le donneur d’ordres et l’évaluateur se fait rarement, sachant qu’un délai de trois ans change la donne politique. Pourtant, les participants aux évaluations, dans ce conseil, étaient variés, compétents et le CNE dispose d’un budget conséquent.

Méthodologie de l’évaluation des politiques publiques

Pour être crédibles, les évaluateurs, notamment s’ils interviennent de l’extérieur, ont besoin de présenter des méthodes « techniquement » assurées et font appel à une démarche scientifique, également réclamée par les donneurs d’ordres.

Sylvie Le Minez et Michèle Lefèvre (Direction des études et statistiques du ministère de la Santé) ont une expérience dans le ministère et au niveau européen, dans le calcul et l’évaluation de programmes sociaux. Le contexte des indicateurs sociaux se complexifie : à côté d’indicateurs économiques simples, comme le PIB (produit intérieur brut), il faut disposer d’indicateurs sociologiques, éventuellement composites. La construction d’un indicateur et ses qualités sont le gage d’une évaluation correcte : il doit être univoque, clair au sens des normes, robuste, fiable, régulier.

Il faut toujours se méfier des indicateurs complexes et composites, dont la variation peut prendre en compte des effets contradictoires et qui pourraient s’entre-détruire. Comment alors prendre en considération la pondération entre diverses données élémentaires le composant, c’est toute la question. Quand des politiques d’aide sociale tiennent compte des seuils mesurés sur des indicateurs, les interprétations peuvent mener à des erreurs importantes.

Les statistiques utilisables viennent du Panel européen des ménages, interrogation régulière d’un panel sur leur vie quotidienne, et d’un Système statistique européen de la protection sociale. La complexité rencontrée pour un seul pays se multiplie exponentiellement au niveau européen : difficulté à disposer des mêmes chiffres dans tous les pays, pour qu’ils soient comparables, dans des délais raisonnables : on ne dispose que de chiffres datant de 2000 pour mesurer les populations par rapport au seuil de pauvreté en Europe !

On voit les limites de la méthode : indicateurs trop globaux, et donc difficilement utilisables pour évaluer les résultats de politiques ciblées ; indicateurs disponibles trop longtemps après la mise en œuvre des actions (pas de feed-back pour réorienter les actions) ; difficulté de suivre un panel sur de longues durées.

Les intervenantes ont également pointé la difficulté politique que pose l’indicateur de niveau de vie : selon les pays, on voulait – ou non – prendre en compte les retraites versées aux personnes âgées dans les revenus déclarés. Elles ont mis en garde sur le fait qu’un indicateur n’est jamais neutre !

Jean-Luc Richard (Centre d’étude de la vie politique française, Cevipof) a beaucoup travaillé sur les données concernant l’origine des Français et sur les politiques de lutte contre les discriminations qui apparaissent explicitement lors de la création du Groupe d’étude sur les discriminations en 1997. L’Observatoire des statistiques de l’immigration a été créé il y a une quinzaine d’années, fortement appuyé par l’Union européenne qui demandait que soient mises en œuvre des politiques précises sur ce point.

J.-L. Richard bat en brèche une idée reçue : on dispose de données précises sur l’origine des Français (de naissance, naturalisés, par filiation), ainsi que sur les enfants d’immigrés (au sens français du terme, né de parents étrangers, car au niveau international, immigré signifie né hors le territoire national). On peut donc étudier très précisément des indicateurs comme la réussite scolaire, les diplômes, le chômage dans ces groupes de population. Et ils sont parlants : il y a discrimination, par exemple, dans les orientations scolaires (on n’oriente pas vers le même CAP ou BEP tel ou tel adolescent) ou à l’embauche. La déclaration de son origine par la personne elle-même ne lui semble pas pertinente : l’on se déclare d’autant plus « immigré » que l’on se sent discriminé. Ce type de déclaration présenterait le risque d’être biaisé…

Alain Chenut (Observatoire sociologique du changement et professeur à la FNSP) complète ces remarques en précisant l’importance de la stabilité des indicateurs à utiliser et leur caractère relatif : entre pays et quand ils sont établis sur des données déclaratives. La société, alors qu’elle évolue, doit « accepter » un indicateur sur une longue durée. En France, la Commission nationale Informatique et Libertés (Cnil) verrouille certaines études, notamment sur des points sensibles (religion, orientation sexuelle…) ; certaines données Insee (Institut national de la statistique et des études économiques) du recensement permanent sont considérées comme confidentielles.

La discussion là aussi fut vive et très intéressante.

  • Qui atteste de la pertinence d’un indicateur ? Les politiques ont certains objectifs, qui sont les « experts » ?
  • Indicateurs de moyens/indicateurs de résultats ; évaluation pour « donner à voir », pour expliquer les mécanismes ou pour réorienter une politique ?
  • Dans la mise en œuvre de la Lolf dans les ministères, les directions des études ont-elles été systématiquement associées, vu leur expertise ?
  • Micro-évaluation/macro-évaluation : il apparaît dans le débat que la micro-évaluation serait plus développée en Grande-Bretagne, alors que la France aurait plutôt une « culture Insee » de statistique globale ; en Belgique wallonne, l’effort porte, dans le domaine social, sur l’évaluation participative, qui inclut les experts, mais aussi les associations et acteurs de la société civile.

Ce trop bref compte rendu * ne donne qu’une idée très imparfaite d’une journée d’information et de débats très ouverts. Certes, on ne parla pas de politiques culturelles, mais beaucoup des réflexions émises pourraient sans difficulté, me semble-t-il, s’appliquer à nos publics et à nos métiers.

  1. (retour)↑  J’ai volontairement exclu la dernière table ronde qui présentait et discutait la méthode dite « analyse quali-quantitative comparée » pour laquelle les exemples étaient peu nombreux.