Évaluer pour évoluer

L'évaluation serait-elle en voie de passer des bonnes intentions aux actes ? La journée consacrée à ce thème par la Bibliothèque publique d'information 1 est-elle la marque d'un éternel voeu pieux ou contribuera-t-elle à initier des processus dans les bibliothèques de lecture publique, qui semblent sur ce point disposer de moins d'outils et d'expériences que, par exemple, les bibliothèques universitaires ?

Court et rapide

La Direction du livre et de la lecture a présenté ses tentatives en la matière, et par exemple, sa volonté de refondre les formulaires et conceptions des rapports statistiques annuels demandés aux bibliothèques publiques.

La question est moins simple qu'il n'y paraît. La multiplicité des destinataires de ces statistiques (DLL elle-même, conseillers pour le livre dans les DRAC 2, le ministère de la Culture dans son ensemble, l'Etat, ou, par un retour aux répondants, les bibliothèques et les collectivités locales) se conjugue et redouble la diversité des besoins. Les objectifs des statistiques peuvent eux-mêmes être divers : mesurer le service rendu, mesurer l'efficacité des réseaux d'établissements, ou de services, ou encore mesurer l'égalité ou l'inégalité d'accès aux services sur l'ensemble du territoire. Ce qui doit être mesuré est aussi très divers et très inégalement présent dans les bibliothèques. Enfin, si l'on doit faire évoluer les modalités de l'évaluation, en l'occurrence des questionnaires annuels, il faut conserver une possibilité de comparaison avec les formulaires antérieurs.

D'où la proposition de la DLL : un questionnaire de base, court, sera envoyé à chaque bibliothèque (1 581 bibliothèques ont répondu au questionnaire annuel en 1991, il faudrait y ajouter une centaine d'autres pour avoir une idée plus exacte du nombre de bibliothèques municipales en France). Des questionnaires complémentaires seront envoyés aux plus importantes bibliothèques, offrant tel ou tel service particulier. De tels questionnaires n'empêchant évidemment pas des études plus lourdes, plus ciblées, plus qualitatives : la question de la consultation sur place, les nouveaux visages des bibliothèques, l'état des délocalisations, l'évaluation des collections, les modes d'approvisionnement en livres dans les villes dépourvues de bibliothèques, etc. La rapidité et la publicité des résultats devraient être renforcées 3.

Tout pour tous ?

La contribution de Nick Fox sera le temps fort de cette journée. Dans un français que bien des autochtones pourraient lui envier, et avec un humour très british, il posa d'emblée quelques questions embarrassantes : comment évaluer un service, la bibliothèque publique, qui, légitimement, se donne toutes les missions, et dit devoir « faire tout pour tous » ? Les bibliothécaires sont-ils les mieux placés pour faire leur propre évaluation ? Si les buts de l'évaluation sont de savoir comment un service fonctionne, s'il doit être amélioré et comment il doit l'être, les méthodes de l'évaluation sont, elles, diverses. Toute bibliothèque devrait en tout cas offrir un document de politique générale, une charte des utilisateurs, ainsi qu'un plan d'action agréé par le personnel. L'évaluation doit porter sur 9 points : l'accès aux services, les temps de réponse et d'attente, la qualité des collections, la pertinence de l'information, la performance du personnel, la satisfaction des clients, la pertinence des documents, le rapport coûts/bénéfices, les statistiques d'utilisation.

Prenant l'exemple du personnel, Nick Fox émet cette remarque aussi juste que perfide : puisque le personnel représente 50 % des coûts budgétaires, ne devrait-on pas consacrer 50 % du temps à le former ? Les trois qualités nécessaires reposent pour lui sur un savoir, un comportement, une compétence. Les façons d'évaluer le personnel sont diverses et ce n'est en tout cas pas le public qui peut le faire, pour la bonne raison que celui-ci est en général satisfait, ce qui ne veut pas dire bien servi...

Nick Fox a ainsi distillé un certain nombre d'exemples d'évaluations. Celle des temps et justesses des réponses aux questions des utilisateurs, par exemple dans 24 bibliothèques publiques (12 grandes et 12 petites). Si les performances des grandes unités sont meilleures que celles des petites, les petites répondent à plus de questions. Dans l'ensemble, seuls 17 % des réponses données étaient tout à fait incorrectes, 50 % étant tout à fait correctes.

Les fonds documentaires peuvent aussi être évalués de différentes manières : impressionniste, par un « passage en revue quotidien », par des enquêtes auprès des usagers (mais on sait que la demande n'est pas tout), par des listes de contrôle et de comparaison avec les choix faits ailleurs, par des évaluations budgétaires, etc. Du côté des bâtiments, l'évaluation doit porter sur la signalisation, l'orientation, la publicité, la communication, etc. Enfin, les relations avec la communauté desservie doivent elles aussi faire l'objet d'évaluations. Quels contacts ? Quels besoins ? Quelle participation ? En tout état de cause, dans une bibliothèque publique, l'utilisateur doit être au centre de l'évaluation.

Evaluation et récession

Charlotta Pawlowsky-Flodell fit part de la « pression » qu'exercent, en ces temps de restrictions budgétaires, instances politiques, administratives et public auprès des bibliothèques, pour qu'elles délivrent des informations précises sur leurs coûts, revenus et dépenses. L'évaluation à la bibliothèque de Bielefield en Allemagne est conçue comme un processus permanent, lié à un environnement qui doit être pris en compte : tous les services municipaux sont concernés, théâtres, musées, etc. Toute évaluation doit donc permettre des comparaisons entre les différents services culturels. Celles-ci doivent concerner principalement l'offre, l'usage et l'usager, les finances, le personnel. Elles doivent se baser sur ce qu'il est possible de collecter et non être rendues impossibles par une volonté de trop collecter.

Geneviève Boisard a rappelé la liste des principaux critères retenus par la Section « Statistiques » de l'IFLA 4 : pertinence des collections, degré de satisfaction des lecteurs, heures d'ouverture, délai d'attente pour la communication des documents, pourcentage de demandes satisfaites, pourcentage d'ouvrages présents dans la bibliothèque sur le total des demandes des lecteurs, performance des catalogues (pourcentage de recherches réussies), pourcentage des collections utilisées, importance du public.

Mesurer n'est pas évaluer

Pour François Reiner, directeur de la médiathèque de la Cité des sciences et de l'industrie, il ne faut absolument pas confondre mesure et évaluation, ni limiter celle-ci au recueil de données quantitatives. L'établissement de ratios est déjà plus intéressant. Et il est de toute façon nécessaire de lier toute évaluation à la détermination d'objectifs. La Cité des sciences s'est dotée d'une charte, et la médiathèque, dans cet ensemble, et en cohérence avec lui, s'est dotée d'une charte spécifique. Disposant d'une part de données évaluatives et d'autre part ayant déterminé clairement ses missions principales, la médiathèque peut ainsi mettre sur pied un plan d'action. Que donne dans les faits, par exemple, la mission de vulgarisation des sciences et techniques ? Comment mesurer et évaluer une mission de vulgarisation ? Evaluer, c'est donc aussi faire un travail d'interprétation des données recueillies ; et réaffecter ensuite des ressources rares, tel par exemple le travail humain...

Anne-Marie Bertrand, faisant la liste de la diversité des activités du public de la médiathèque de Nantes, interroge à nouveau notre incapacité à bien les connaître. Les données actuellement recueillies (en termes d'inscrits ou de nombre d'emprunts de tel ou tel document) n'épuisent pas, loin s'en faut, cette diversité et les questions que pose le succès actuel des médiathèques : comment gérer des files d'attente, la saturation des espaces, comment « évaluer » le fait que, dans tel quartier défavorisé, la bibliothèque soit l'un des rares lieux où des jeunes se rendent ? Anne-Marie Bertrand a une fois de plus regretté qu'à la difficulté de l'évaluation s'ajoute l'imprécision des missions des bibliothèques dans l'état juridique et législatif actuel.

Vouloir ou ne pas vouloir être évalué

Les bibliothèques universitaires disposent de plusieurs sources d'évaluation, rappelle Marie-Dominique Heusse : l'Enquête statistique générale auprès des bibliothèques universitaires (ESGBU) est un recueil de statistiques et de commentaires qui classe les bibliothèques selon leurs performances, permet récapitulatifs et tableaux des évolutions en matière de public, circulation des documents, prêt entre bibliothèques, recettes et dépenses, acquisitions documentaires, françaises ou étrangères, part des CADIST 5, etc. Mais chacun sait que l'offre documentaire sur un campus ne se réduit pas à l'offre de la bibliothèque universitaire : l'évaluation est là beaucoup plus délicate ; l'essai récent que constitue l'enquête de l'Inspection générale des bibliothèques sur la documentation offerte par les instituts et laboratoires en tout genre montre une fois de plus la difficulté de l'entreprise. Beaucoup de ces bibliothèques supportent mal ce qu'elles ressentent comme une forme de contrôle de l'administration centrale, les affectations budgétaires sont bien souvent peu claires, etc. Le Comité national d'évaluation des universités est, lui aussi, une instance d'évaluation. La Cour des comptes a fait en 1989-90 un rapport sur les bibliothèques universitaires. Enfin, depuis 1985, les bibliothèques universitaires disposent d'un tableau de bord, comportant une partie documentaire et une partie financière, proposant calculs de ratios et d'indices (encadrement, charge de travail, services rendus, part de libre accès, etc.). Ce tableau de bord est utilisé dans 25 % des bibliothèques universitaires.

La bibliothèque Sainte-Geneviève, où sont inscrites 48 000 personnes et dont la fréquentation quotidienne est le fait de plusieurs milliers d'entre elles, cherche à résoudre son problème de surfréquentation et d'occupation de l'espace : comme dans beaucoup de bibliothèques, pendant que certains ne peuvent ni entrer ni trouver une place assise disponible, d'autres réservent des places qu'ils n'occupent pas. La bibliothèque Sainte-Geneviève est donc en phase de test d'un système d'affectation de place aux entrants, place automatiquement redistribuée en cas de sortie par trop prolongée. Une tentative qui ne pourra qu'intéresser la Bibliothèque publique d'information, la Bibliothèque nationale et toutes les bibliothèques qui connaissent des phénomènes de files d'attente.

L'évaluation n'est pas plus facile dans le domaine de l'économie du livre, explique Hervé Renard. Des mesures telles que la loi sur le prix unique du livre se sont révélées très difficiles à évaluer, tant la multiplicité des facteurs intervenant dans l'évolution de la conjoncture économique est grande. L'on manque toujours, et de manière flagrante, d'outils d'évaluation de base, manque auquel vient s'ajouter, en ces temps de construction de l'Europe, l'hétérogénéité des façons de faire dans les différents pays, d'où la quasi-impossibilité de comparaisons sérieuses.

Une journée fertile, mais où l'on a senti que les bibliothèques n'en étaient bien souvent qu'aux balbutiements de l'évaluation. Pourtant, les conjonctures hexagonale et plus encore européenne à venir risquent bien de précipiter le mouvement : si les bibliothèques ne mettent pas au point elles-mêmes méthodologie et objectifs de l'évaluation, d'autres, et par exemple leurs partenaires ou leurs tutelles, dont les exigences ne seraient pas nécessairement guidées par les mêmes intentions, risqueraient bien de s'en occuper à leur place.