L'Évaluation en développement

rapport annuel sur l'évolution des pratiques d'évaluation des politiques publiques, décembre 1992

par Anne Kupiec

Conseil scientifique de l'évaluation

Paris : La Documentation française, 1993. - 193 p. ; 24 cm.
ISBN 2-11-002921-8 : 110 F

Le deuxième rapport du Conseil scientifique de l'évaluation - institution créée par le décret du 22 janvier 1990 1 - est davantage qu'un simple compte rendu d'activité. « Ouvrant des débats plutôt que foumissant des conclusions définitives », les deux tiers de ce document sont, notamment, consacrés aux pratiques, à la notion de qualité et à la place de l'information statistique dans l'évaluation.

Ils sont les bienvenus car l'on ne peut que constater l'accroissement des initiatives en matière d'évaluation tant du point de vue de l'action que de celui de la réfiexion ; tant du point de vue national que du point de vue local.

Des propositions

Outre un rappel des caractéristiques qui permettent d'identifier une évaluation, ce rapport rend évidemment compte de l'activité du Conseil scientifique de l'évaluation (CSE). Figurent, en particulier, les projets d'évaluation soumis au CSE, un compte rendu de la première des évaluations réalisée dans le cadre de la procédure prévue par le décret du 22 janvier 1990, déjà évoqué, et relative à l'évaluation de la politique publique concernant le développement de l'informatique et son impact sur l'efficacité de l'administration.

Quelques annexes alimentent la réflexion qui peut être engagée dans les bibliothèques. L'une d'elles porte sur la construction d'indicateurs de qualité et de satisfaction. L'on peut y lire : « La construction d'indicateurs de qualité permet à une administration de se doter de critères d'appréciation de ses résultats en fonction de normes préalablement définies, se référant aux attentes des partenaires et usagers ainsi qu'aux objectifs du service public. Ces indicateurs se différencient des indicateurs d'efficience en ce sens qu'ils ne mesurent pas l'utilisation des moyens, et des indicateurs d'efficacité qui analysent le rapport entre les objectifs et les résultats, mais ne précisent pas les normes que doivent respecter les services pour atteindre les objectifs (...). L'administration agit parfois comme si elle avait une connaissance naturelle et immédiate de ses partenaires. Même si de fait il apparaît que de nombreux agents sont proches des usagers et de leurs préoccupations, les analyses et les informations qu'ils peuvent en retirer sont rarement formalisées, utilisées ou mises en cohérence par la hiérarchie. La définition d'indicateurs de qualité oblige à organiser des procédures, des mécanismes d'expression ou d'analyse des attentes des usagers » (p. 48-49). Le propos n'est pas nouveau ; il reste essentiel. Ce texte insiste sur les aspects les plus délicats, en soulignant qu'aucune des parties - fonctionnaire ou usager -ne « dispose en tous temps des bons critères et des bonnes analyses » (p. 51). C'est précisément sur ces points que réside l'intérêt de ce rapport pour les bibliothécaires : des questions courantes en bibliothèques sont abordées dans un contexte différent par les membres du CSE qui - faut-il le préciser - ne sont pas des bibliothécaires.

La réputation des acteurs

C'est la seconde partie de ce document qui apparaît plus riche. Au long de plusieurs chapitres, l'action publique et son évaluation sont examinées. Dans une large approche, Bernard Perret note : « Les démarches d'évaluation de politiques qui se développent actuellement en France accordent une grande place à la régulation du jeu des acteurs par la connaissance. Elles sont cohérentes avec l'idée que le couple acteurs/problèmes joue un rôle plus décisif dans les processus de réformes et de reformulation des politiques que le couple objectifs/moyens » (p. 67). Le champ ainsi ouvert permet - indirectement - de resituer l'action de la bibliothèque et l'évaluation, éventuellement, menée.

Les questions liées aux objectifs - si déterminantes dans le cadre d'une évaluation - sont évidemment abordées. Qu'il s'agisse de lever les contradictions et les aspects implicites qui peuvent y être attachés ou qu'il s'agisse de reformuler et de se réapproprier ces objectifs. Ces aspects sont, du point de vue de l'auteur, étroitement liés à une logique de responsabilité et à la modernisation du service public.

A ce stade, l'on pourrait souhaiter davantage d'apports pratiques, davantage de comptes rendus de résultats. Or, en France, la complexité et la diversité des évaluations semblent rendre encore la satisfaction de cette demande particulièrement difficile. Il n'existe pas - comme outre-Atlantique -de métier d'évaluateur. Toutefois, le chapitre intitulé « la qualité en évaluation » propose une sorte de guide, succinct, permettant d'apprécier la qualité des évaluations et les modalités de réalisation d'une évaluation. Il est complété par le rappel des standards utilisés aux Etats-Unis dans le cadre des évaluations relatives à l'éducation et par celui des valeurs pouvant « fournir des principes directeurs dans la conduite d'une évaluation » (p. 133).

De même, l'ultime chapitre (« Les outils d'intelligence collective et l'évaluation ») offre, sous la plume de Patrick Viveret, une recension des outils de formation d'un jugement. L'on sait que c'est sur celui-ci que repose l'ensemble du processus d'évaluation. En quelques pages, sont ainsi présentés la méthode Delphi, l'Abaque de Régnier, le système Périclès, le diagramme de Pareto, etc.

L'auteur constate que ces outils sont utilisés dans le monde de l'entreprise et non « au sein des systèmes publics qui ont pourtant la responsabilité de s'attaquer à des problèmes dont la complexité et la gravité sont très supérieures à celles des entreprises » (p. 192).

En dépit de ce plaidoyer, il ne faudrait pas conclure, semble-t-il, en accordant la primauté à la méthodologie 2. L'un des auteurs est on ne peut plus clair 3 : « Les évaluations sont rarement, à supposer qu'elles puissent l'être, motivées par une pure curiosité académique ; elles sont réalisées (...) dans le but d'améliorer les opérations du programme et, en définitive, pour améliorer la société » (p. 135).

Ne pourrait-on pas substituer au dernier mot celui de bibliothèque ?

  1. (retour)↑  Les articles 8 et 9 de ce décret fixent les missions de ce conseil. Article 8 : Le Conseil scientifique de l'évaluation est chargé de favoriser le développement des méthodes d'évaluation et de définir une déontologie en la matière (...). Article 9 : Le Conseil scientifique de l'évaluation rassemble et diffuse l'information existant sur les méthodes et techniques d'évaluation, sur les organismes et personnes ayant une pratique en la matière ainsi que sur les travaux d'évaluation eux-mêmes (...).
  2. (retour)↑  Dans un article assez récent, Patrice DURAN et Eric MONNIER insistent sur la nécessité « d'intégrer l'incertitude comme composante irréductible de l'action ». Selon eux, l'évaluation ouvre sur « l'intelligence des situations » et n'est pas un « outil de gestion directe ». (« Le développement de l'évaluation en France : nécessités techniques et exigences politiques », Revue française de science politique, avril 1992).
  3. (retour)↑  Il s'inspire de l'ouvrage de HUEY-TSY CHEN, Theory-driven evaluation, Sage, 1990.