L'évaluation dans les bibliothèques centrales de prêt

Les journées d'études intitulées « Evaluer les résultats des BCP », organisées par l'Association des directeurs de BCP (ADBCP) à Périgueux du 19 au 21 novembre, ont connu un vif succès. En effet, plus de quarante directeurs de BCP ont participé aux débats, ainsi que plusieurs inspecteurs généraux des bibliothèques et des représentants de la Direction du livre et de la lecture (DLL) au ministère de la Culture ou encore du Centre national de formation des personnels territoriaux.

Que ce soit par volonté de mesurer leur service, de le légitimer vis-à-vis des bailleurs de fonds, du personnel direct ou indirect, du lecteur final ou pour se prémunir d'une menace, l'évaluation est, à l'évidence, un sujet qui passionne les directeurs de BCP.

Outre un intérêt général pour l'évaluation, ces journées de Périgueux ont dégagé quelques axes forts de réflexion, le premier étant qu'on n'évalue pas sans un appareil théorique en amont. Ce fut l'enjeu de la première journée que de définir les concepts et de proposer des outils destinés à l'élaboration d'une méthodologie de l'évaluation.

On doit, pour mieux cerner l'évaluation, dégager quelques notions préliminaires :
- l'évaluation est un outil de maîtrise, un contrôle de gestion, dont l'objectif est de faciliter la prise de décision ;
- elle doit être distinguée du contrôle administratif ;
- il ne peut y avoir d'évaluation sans objectifs ni sans stratégie,

Les concepts de l'évaluation

Evaluer, c'est mettre en relief trois phases de toute action, c'est donc tenir compte d'abord de:
- l'énoncé de la politique, c'est-à-dire la définition des objectifs avec l'utilisation des concepts de cohérence interne (entre les objectifs et la finalité) et de cohérence externe (entre les objectifs de la BCP et l'ensemble de la politique départementale) ;
- ensuite, de la mise en action des objectifs, mise en place des moyens. Il faut là s'interroger sur la pertinence des moyens que l'on met en oeuvre ;
- enfin, de l'analyse des résultats et des impacts avec l'émploi des concepts d'efficacité (mesure de l'atteinte ou pas des objectifs opérationnels), d'efficience (mise en rapport des résultats avec les coûts ou les moyens financiers de l'opération).

Le moment de l'évaluation est également un élément déterminant. Elle peut être ex ante (tout à fait en amont), concomitante (elle accompagne le processus), ou ex post (en partant de l'après).

Autre élément clé : la position de l'évaluateur, interne ou externe. Par rapport à l'évalué, l'évaluateur doit être assez proche pour évaluer, mais assez éloigné pour éviter l'évaluation complice. L'évaluation doit être une intervention négociée.

Toute évaluation doit répondre à la question de la légitimité, légitimité par rapport au commanditaire (conseil général), qui est une légitimité interne, donc descriptive, et légitimité externe, par rapport au public final (directement liée à la mission du service), qui est une légitimité prospective.

Les outils de l'évaluation

Il n'y a pas de modèle d'évaluation, a priori. Il faut s'adapter à l'objet à évaluer. Il n'y a pas de grille d'analyse universelle, chacun doit établir son propre tableau de bord, mais on peut établir les bases nécessaires à la construction des indicateurs.

Un tableau de bord est un ensemble de sept données chiffrées, organisées, dont l'élément de base est l'indicateur. Il y a les indicateurs de moyens (bibliobus), les indicateurs de réalisation (nombre de livres prêtés) et les indicateurs d'impact (population touchée).

Un indicateur doit répondre à certains critères : être significatif par rapport à l'objectif, s'inscrire dans la programmation des objectifs, et être pertinent pour un niveau de responsabilité donné (hiérarchie de l'information). L'utilisateur doit également trouver sa place dans l'évaluation, qui doit intégrer ses critères extérieurs de perception et non plus donner l'exclusivité aux critères d'efficacité du producteur.

Quant à l'après-évaluation, les résultats devraient être discutés entre le commanditaire, l'évaluateur et l'évalué. La publication du rapport devrait être érigée en règle, dans un souci de démocratie et de pédagogie.

L'autre grand apport de ces journées est que les outils d'évaluation existent, mais qu'ils sont insuffisants et dispersés.

Les pratiques

Un des ateliers de cette journée a fait l'inventaire des pratiques d'évaluation en BCP. Les actions entreprises s'inscrivent dans une stratégie de moyens. Cette information chiffrée, essentiellement quantitative, est encore le plus souvent conçue, moins comme un outil de gestion, que comme un outil de légitimation, un moyen de convaincre.

Le quantitatif est souvent le seul indicateur traditionnel pour évaluer la réussite ou l'échec d'une BCP. Cependant, les données chiffrées quantifiables, si elles sont nécessaires, ne sont pas suffisantes. Même s'il est difficile d'établir une méthodologie pour le qualitatif, car les BCP mettent en place des structures qui, partiellement, leur échappent et que les critères de réussite ou d'échec sont différents d'un département à l'autre, l'établissement des corrélations entre divers paramètres mesurables permet d'établir le taux de pénétration de la BCP dans une commune. La systématisation de quelques ratios (pourcentage de fréquentation, nombre de livres empruntés par le nombre de lecteurs inscrits, le franc par habitant pour les acquisitions, l'offre documentaire par habitant) permet d'obtenir une bonne image du réseau.

Les niveaux d'évaluation pris en compte sont la BCP, le réseau, le lecteur final. Le tableau de bord évalue le service rendu aux communes par la BCP, mais également les services rendus par le réseau aux lecteurs finals. A ce stade-là, la masse des données à capturer est si grande que Roland Ducasse, professeur à l'université de Bordeaux III, préconise l'utilisation de la micro-informatique qui doit être reliée aux gros systèmes de gestion existant dans les bibliothèques. Le recours à la micro-informatique se présente donc comme une solution technique à l'évaluation dans le contexte de la décentralisation, où les bibliothèques qui gèrent aujourd'hui des produits culturels, doivent rendre compte des résultats en fournissant aux politiques un tableau clair de leur situation.

Parmi les difficultés d'évaluation spécifiques aux BCP, il y a celle d'évaluer les services envers les écoles. S'il est aisé de mesurer les dépôts faits directement dans les écoles par la BCP, il est plus délicat de mesurer ceux effectués par les relais eux-mêmes.

La question de la légitimité se pose également dans la pratique courante de l'évaluation en BCP. Légitimité par rapport au lecteur final, au personnel et par rapport aux élus. Les directeurs de BCP étant avec les élus, dans une situation de pédagogie réciproque.

Les moyens

Parmi les outils existants, il y a l'enquête statistique annuelle de la Direction du livre et de la lecture, à laquelle Claudine Belayche ne donne pas vraiment valeur d'évaluation, mais qu'elle définit plutôt comme une photographie de la situation.

Il s'agit d'un contrôle administratif d'activité. Ce questionnaire refondu juste après la décentralisation, avait pour but de faire une image de la lecture dans un département (BCP-BM) et de savoir, non seulement ce que les BCP avaient dépensé, mais surtout les budgets votés par les assemblées départementales, afin de mesurer le taux de restitution des dotations générales de décentralisation (DGD). Ce but n'a pu être réellement atteint, puisqu'une part importante du budget des BCP n'est pas votée, mais se trouve noyée dans le budget départemental (imprimerie,...). Les seules dépenses significatives et incontestables aux yeux des directeurs de BCP sont les achats de documents et le personnel.

D'autre part, le retard de parution de ces chiffres atténue grandement l'efficacité du questionnaire qui, de surcroît, ne fournit que des données brutes.

Pierre Duvernoy, au nom de l'Association des directeurs de bibliothèques universitaires (ADBU) a fait part de l'expérience des bibliothèques universitaires dans le domaine de l'évaluation. Depuis la loi d'orientation, les bibliothèques universitaires passent avec les universités, des contrats quadriennaux. Dans ce contexte contractuel, l'évaluation a une importance accrue. S'appuyant sur les réalisations antérieures, l'ADBU a constitué un groupe de réflexion pour mettre en place, avec la Sous-direction des bibliothèques, les outils nécessaires aux tableaux de bord des BU. Pour être efficace et obtenir des réponses rapides, ce contrôle de gestion sera volontairement simplifié.

Le point de vue des conseils généraux

Pour Michel Lalande, directeur général des services départementaux des Deux-Sèvres, les conseils généraux doivent tirer toutes les conséquences du transfert de compétences de 1986, pour devenir des acteurs à part entière de la lecture en France. La décentralisation, qui est un phénomène irréversible, n'a de sens que par l'amélioration des services. La BCP, qui est un service du conseil général doit, à ce titre, rendre compte de son activité, s'évaluer avec des indicateurs techniques.

Pour ce qui est de la définition des missions, la BCP est un service concepteur (elle ne reproduit plus un modèle central, mais produit une conception en local), un service gestionnaire, un service animateur (animation en milieu rural), un service conseil auprès des administrations départementales et des élus municipaux.

Elle doit s'inscrire dans une unité de la politique culturelle départementale, la réussite ou l'échec de sa politique de lecture se mesurant d'abord par l'image qu'en a le public.

Ces journées de Périgueux sont un commencement. Elles témoignent de la volonté des BCP de se donner les moyens théoriques et opérationnels de leur propre évaluation. Sous l'aiguillon de la décentralisation, l'évaluation est passée du contrôle administratif au contrôle d'efficacité, ce qui conduit les BCP à dépasser le stade du pragmatisme pour celui d'une rationalisation des pratiques. L'ADBCP va mettre en place en 1991, un groupe de travail * pour répondre aux besoins de ses membres en matière d'évaluation. Ses conclusions pourront être proposées à la DLL pour validation.