Évaluer la performance des bibliothèques

L'ISO vient de publier une norme internationale sur les indicateurs de performance des bibliothèques. Cette norme, qui s'est appuyée sur les manuels existants, est un outil essentiel pour évaluer la qualité du service rendu. Le dialogue entre les bibliothécaires, les usagers et les décideurs sera en effet facilité par la mise en uvre d'indicateurs permettant de confronter les résultats aux missions et aux objectifs de la bibliothèque. De la sorte, les indicateurs de performance constituent un élément central d'un système d'aide à la décision en bibliothèque.

The iso has just published an international standard for library performance indicators. This standard, which has relied on existing manuals, is an essential tool for evaluating the quality of service rendered. The dialogue between librarians, users and decision-makers will, in effect, be facilitated by putting to work indicators allowing the consideration of the results of libraries projects and objectives. In this way, the performance indicators constitute a central element in a decision support system in the library.

Die International Organization for Standardization hat gerade eine internationale Norm zu Leistungsindikatoren in Bibliotheken publiziert. Diese Norm, die sich auf schon existierende Handbücher stützt, ist ein grundlegendes Hilfsmittel, die Qualität einer Dienstleistung zu messen. Der Dialog zwischen Bibliothekaren, Benutzern und Entscheidungsträgern wird in der Tat durch die Verwendung von Indikatoren vereinfacht, die es erlauben, die Resultate dem Auftrag und den Zielen der Bibliothek gegenüberzustellen. Auf diese Weise stellen die Leistungsindikatoren ein zentrales Element eines Hilfssystems zur Entscheidungsfindung in Bibliotheken dar.

L’Organisation internationale de normalisation (ISO) vient de publier en avril dernier la norme NF ISO 11620 sur les indicateurs de performance des bibliothèques 1. Cette norme marque un pas décisif, sur le plan international, dans l’évaluation des bibliothèques. Elle est le résultat des efforts convergents que la communauté des bibliothèques a menés dans différents pays depuis le début des années 1980. En effet, elle n’aurait pas pu être élaborée si elle ne s’était appuyée sur des manuels d’évaluation rédigés par les associations de bibliothécaires, notamment anglo-saxonnes 2.

Certes, ces manuels étaient destinés à tel type de bibliothèque (publique ou universitaire), mais au-delà de leurs différences inévitables, ils ont permis d’appliquer de manière empirique et assez simple des indicateurs de performance et de renforcer une pratique commune – tout au moins dans les pays qui s’étaient le plus engagés dans cette voie, à savoir les États-Unis et le Royaume-Uni. Ces initiatives ont ensuite été relayées au niveau international par l’Unesco qui publiait en 1989 le manuel de Nick Moore 3, puis par la Fédération internationale des associations de bibliothécaires (IFLA) 4. L’ISO a donc pu s’appuyer sur ce socle fermement établi.

Un processus régulier d’évaluation

Le succès de ces manuels et la convergence croissante des efforts en ce domaine sur le plan international traduisent une prise de conscience grandissante dans la communauté des bibliothèques. Les bibliothécaires ne peuvent plus se limiter à rendre compte de leur service seulement à partir de données statistiques sur les ressources et l’activité de la bibliothèque. Ils doivent faire la preuve qu’ils répondent aux besoins des usagers et montrer de quelle façon et à quel point les services de la bibliothèque y répondent.

Ces besoins viennent de catégories d'usagers qui peuvent être différentes et ne s’expriment pas forcément directement dans les demandes des plus actifs, ce qui signifie que mesurer la satisfaction des lecteurs actifs ou l’augmentation de leur activité ne suffit pas. Par ailleurs, ces usagers ont d’autres besoins, culturels ou de loisirs par exemple, et n’accordent pas forcément la priorité à la lecture. De plus, au-delà des demandes ponctuelles de lecteurs actifs, l’expression et la hiérarchisation des besoins de lecture et de documentation des usagers sont elles-mêmes un processus médiatisé par des instances, par une autorité de décision et donnent lieu à une traduction politique et budgétaire.

Autrement dit, l’évaluation met en jeu trois partenaires (les usagers, les bibliothécaires et les décideurs) : les décideurs fixent les missions et les objectifs généraux de la bibliothèque, qui sont mis en œuvre par les bibliothécaires et ceux-ci ont une obligation croissante de résultat à l’égard des usagers qui sont mis de plus en plus au centre des préoccupations.

Ce rapport est plus ou moins formalisé et reste souvent implicite. Dans un domaine où le retour sur investissement n’est pas mesurable en termes directement économiques et où les variations de financement peuvent être importantes d’une année sur l’autre, il devient donc vital pour les bibliothécaires de se faire les meilleurs interprètes des attentes réelles de l’ensemble des usagers, de montrer que leur service est performant, que la qualité du service peut encore être améliorée, et de disposer à cet effet d’outils fiables et reconnus pour l’évaluation de la performance.

La norme 11620

Cette norme répond ainsi à un besoin exprimé par la communauté internationale des bibliothèques, même si l’attente en était exprimée plus fortement par les pays les plus avancés dans l’évaluation. On peut dire justement qu’elle s’avère encore plus utile dans la partie du monde où l’évaluation est peu développée, car elle fournit une référence internationalement reconnue et un ensemble de procédures et de méthodes pour mesurer la qualité des services. Elle constitue donc un levier pour introduire ou développer dans de nombreux pays – chacun selon les modalités et le rythme les plus appropriés – un processus régulier d’évaluation, et pour asseoir ainsi sur des bases objectives la prise de décision au niveau local ou national en matière de bibliothèques. De la sorte, la norme NF ISO 11620 peut contribuer au développement des bibliothèques dans le monde.

Par ailleurs, le fait qu’elle ait été élaborée par des experts d’une dizaine de pays 5 – dont certains peu avancés en ce domaine – a permis la prise en compte de la diversité des situations.

La norme NF ISO 11620 traduit l’état actuel des connaissances et des pratiques d’évaluation de la performance en bibliothèque, en s’appuyant sur la littérature professionnelle. Les rédacteurs étaient conscients dès le départ qu’elle serait destinée à évoluer, et ont laissé quelques lacunes faute d’indicateurs publiés et testés pour certains services ou aspects (la formation des usagers, la promotion des services, les ressources humaines, les services électroniques). Un travail d’élaboration des indicateurs manquants est en cours, selon une procédure de mise à jour précisée par la norme elle-même, le groupe d’experts qui a rédigé la norme étant reconduit à cet effet.

Si la norme NF ISO 11620 s’appuie sur les manuels existants, elle en diffère dans la portée et dans la forme. En effet, chacun de ces manuels est destiné à un type de bibliothèque (de lecture publique ou universitaire) et non à l’ensemble des bibliothèques. Par ailleurs, le même indicateur a des noms différents selon les manuels, ou encore des procédures de mise en œuvre sensiblement identiques peuvent comprendre des variantes d’un manuel à l’autre.

La norme, quant à elle, s’applique à tous les types de bibliothèques dans tous les pays, même si certains indicateurs peuvent être plus appropriés aux bibliothèques publiques et d’autres aux bibliothèques universitaires, ou d’autres encore à des bibliothèques faisant surtout du prêt. Elle établit une description unique d’un indicateur donné, même si elle peut proposer deux ou plusieurs méthodes. La norme a donc vocation à dégager un noyau commun et homogène à partir des manuels existants ou de la littérature professionnelle en général.

Si les manuels existants ont prouvé la validité d’une démarche homogène dans le même type de bibliothèque, leur but affirmé était de permettre l’évaluation d’une bibliothèque sur le plan local, dans son propre contexte, dans ses rapports avec ses propres usagers – qui ne sont pas supposés ressembler à ceux d’une autre bibliothèque. La démarche comparative en était donc absente. Or, si le but premier de la norme est aussi la mise en œuvre d’indicateurs sur le plan local, elle affirme en même temps qu’il peut être pertinent et utile de comparer ces bibliothèques entre elles, à condition de prendre certaines précautions.

La norme précise en effet que ces comparaisons peuvent être valides si l’on prend en compte les missions et objectifs de ces bibliothèques, si l’on considère les résultats pour un ensemble d’indicateurs et non pour un indicateur isolé, si l’on observe les similitudes ou les différences en matière de ressources, de catégories d’usagers, de structures de direction, de procédures de gestion.

Un langage commun

Par rapport aux manuels, un des avantages de la norme est l’adoption d’une terminologie propre aux indicateurs de performance des bibliothèques, qui constitue dorénavant pour cette communauté le langage commun dans ce domaine.

Les termes de base du vocabulaire de la performance appliqué aux bibliothèques ont donc maintenant une définition normalisée, notamment les termes suivants : disponibilité, efficacité, efficience, fiabilité, indicateur, indicateur de performance, mission, objectif général 6, objectif opérationnel, qualité, validité

Cela ne s’est pas fait sans débats, y compris sur des points qui peuvent paraître mineurs à des profanes. Faut-il, par exemple, parler de « mesure de performance » ou d’« indicateur de performance », le premier terme reflétant l’usage américain actuel ? Le terme d’« indicateur » a finalement été retenu, car il désigne plus exactement les outils mis en œuvre – qui ne se limitent pas à la mesure, un indicateur de performance étant une donnée jugée pertinente par rapport à un contexte défini.

Au centre de ces définitions se trouve la notion de performance, qui est le meilleur équilibre entre l’efficacité et l’efficience, et met en jeu trois termes : les objectifs, les moyens et les résultats.

L’efficacité est « la mesure du degré d’accomplissement d’objectifs don-nés » ; une activité est efficace si les résultats se rapprochent au maximum des objectifs qui ont été fixés (par exemple, si l’objectif est d’acquérir 50 % des nouveautés dans une discipline au lieu de 30 %, son accomplissement sera mesuré différemment selon que l’on acquiert 35 %, 40 % ou 45 % des nouveautés de cette discipline). On voit que la mesure d’un objectif demande une quantification (soit en termes de pourcentage, de délais ou de ratios) ou l’établissement d’une échelle, éventuellement chiffrée, permettant d’apprécier la qualité du service (de très bon à très mauvais, en passant par bon, moyen, insuffisant).

L’efficience est la mesure de l’utilisation des ressources pour atteindre un objectif donné : une activité est efficiente si elle emploie le minimum de moyens ou si elle produit un meilleur résultat avec les mêmes moyens (par exemple, si l’on acquiert la même quantité d’ouvrages à meilleur prix suite à des négociations fructueuses, ou, dans le même ordre d’idées, si l’on acquiert plus avec le même budget d’acquisition).

La performance se définit comme l’« efficacité dans la fourniture de services par la bibliothèque et [l’]efficience dans l’emploi des ressources pour fournir ces services ». Selon cette terminologie, un indicateur de performance est une « expression numérique, symbolique ou verbale, dérivée des statistiques des bibliothèques ou d’autres données, employée pour caractériser la performance d’une bibliothèque », qui « inclut à la fois des chiffres bruts et des ratios ». La performance, reposant sur le couple efficacité-efficience 7, il faut, pour évaluer le même service, croiser plusieurs indicateurs, car, de par leur structure même, certains indicateurs mesureront plutôt l’efficience (la mise en œuvre des moyens) et d’autres plutôt l’efficacité (l’atteinte des objectifs).

Caractéristiques des indicateurs

L’interprétation même des résultats est importante, car les indicateurs ne peuvent être isolés de leur contexte, et il faut se garder de faire une traduction automatique des résultats en décisions. De plus, ces indicateurs ont des limites :

– les résultats d’une bibliothèque ne peuvent être excellents pour tous les indicateurs en même temps, par exemple un très bon taux d’utilisation des collections ne peut coïncider avec un très bon taux de disponibilité des documents ; il convient donc d’optimiser les résultats et de les interpréter selon ce que recherche la bibliothèque et non en se limitant à un seul indicateur ;

– certains indicateurs ne peuvent être mesurés précisément (par exemple l’utilisation du libre accès) ;

– certains résultats médiocres révèlent un besoin de formation des usagers et non une mauvaise perfor- mance de la bibliothèque ;

– la relation entre le niveau des ressources et le niveau des services n’est pas automatique. Par exemple, une augmentation des moyens ne se traduit pas immédiatement en une amélioration de la qualité des services, et le retour sur investissement n’étant pas forcément financier, il faut apprécier les évolutions sur le moyen terme.

C’est aussi pour ces raisons que l’on doit comparer deux bibliothèques entre elles non pas en se fondant sur les résultats d’un seul indicateur, mais en s’appuyant sur un ensemble d’indicateurs.

Les indicateurs présentés dans la norme ont fait l’objet d’au moins une publication dans la littérature professionnelle, et ont été testés selon les six critères suivants :

– Contenu informatif : l’indicateur fournit une information qui permet de donner la mesure d’une activité, d’apprécier les réalisations, de déceler les problèmes ; cette information doit en effet permettre la prise de décision (qu’il s’agisse de fixer des objectifs, de répartir un budget, de choisir des priorités). Par exemple, le délai de traitement des documents mesure les délais aux différentes étapes (réception, catalogage, indexation matière, préparation de la reliure, reliure et équipement, mise en rayon), et permet de voir en quels points du circuit et de quelle façon des améliorations peuvent être apportées ;

– Fiabilité : l’indicateur produit le même résultat s’il est répété dans les mêmes circonstances ; cela signifie, entre autres, que, dans le cas d’un indicateur mettant en œuvre un sondage, la méthode est décrite de manière à pouvoir être appliquée de façon identique par les différents sondeurs ;

– Validité : l’indicateur mesure effectivement ce qu’il est censé mesurer et non autre chose. Ainsi, nous n’avons pas retenu un indicateur de disponibilité des ressources humaines par usager inscrit à la bibliothèque, qui établit un rapport entre le nombre d’agents disponibles pour le service public et le nombre d’inscrits. Cette donnée, en effet, ne mesure pas forcément une pleine utilisation du potentiel ; d’autre part, l’indicateur significatif aurait été à cet égard la proportion des ressources humaines de la bibliothèque consacrées au service public ;

– Adéquation : l’indicateur est adapté au but pour lequel il a été choisi, tant en termes d’échelle de mesure que de compatibilité avec l’organisation et l’agencement de la bibliothèque ;

– Applicabilité : l’indicateur emploie des données que la bibliothèque peut obtenir au prix d’un effort raisonnable en personnel, en coût de mise en œuvre et de façon supportable par les usagers ;

– Comparabilit é : certains indicateurs permettent des comparaisons entre bibliothèques, mais il faut y procéder avec beaucoup de prudence. Il convient de prendre en compte les similitudes et les différences dans l’organisation, dans les missions et objectifs de ces bibliothèques, dans la structure de leurs publics, etc., au moment de cette comparaison.

Autre avancée importante, même si elle peut sembler formelle : on dispose maintenant d’un cadre de description des indicateurs, qui comprend les éléments suivants, toujours présentés dans cet ordre :

– le nom de l’indicateur : chaque indicateur doit avoir une dénomination unique ;

– l’objectif : ou ce que l’indicateur a pour but d’évaluer ;

– le domaine d’application de l’indicateur : il peut concerner tel type de bibliothèque ou bien tous les types ; il y est précisé si des comparaisons entre bibliothèques sont possibles et s’il y a des limites à la comparaison ;

– la définition de l’indicateur : elle exprime les données à collecter et/ou les relations à établir entre ces données, et comprend éventuellement la définition de termes spécialisés ;

– la description concise de la méthode : pour la collecte des données et les calculs à réaliser. Deux méthodes ou plus peuvent être décrites et, dans ce cas, on présente d’abord la méthode la plus généralement applicable ;

– l’interprétation des résultats mesurés par l’indicateur et les facteurs affectant ces résultats : il y est précisé l’échelle de valeur de l’indicateur, les valeurs minimales et maximales, les variations à prendre en compte, et les facteurs internes et externes influant sur le résultat. Par exemple, dans le cas d’un indicateur relatif au prêt, l’interprétation tiendra compte du régime de prêt, c’est-à-dire du nombre de documents pouvant être empruntés simultanément par le lecteur et de la durée de prêt, de l’importance plus ou moins grande de l’accès libre, ainsi que des efforts faits par la bibliothèque pour valoriser ses collections par des actions de promotion ;

– les sources : les références des publications où l’indicateur est déjà décrit éventuellement sous un autre nom ;

– les indicateurs associés : pour l’évaluation de la performance d’un même service ou d’une même activité, il est souhaitable de croiser les résultats de plusieurs indicateurs afin de s’assurer que les différents aspects sont bien pris en compte. Ainsi, à la rotation des collections sont associés le taux d’utilisation des documents, la disponibilité des titres demandés, ainsi que les documents en prêt par personne de la population à desservir.

Ce cadre de description unique a permis d’analyser au fond des versions différentes pour le même indicateur et de faire le choix le plus approprié pour sa description normalisée.

Une démarche régulière et méthodologique

La norme réunit les indicateurs les plus utiles et constitue un noyau de base où chaque bibliothèque peut choisir les plus appropriés à son cas, selon les orientations qui lui sont fixées. En effet, il ne peut être question de les appliquer tous en toutes situations et l’évaluation doit être menée au regard des missions, des objectifs généraux et opérationnels de la bibliothèque considérée (ce qui peut motiver au préalable, ou bien entraîner en retour, une explicitation ou une énonciation de ces missions et objectifs).

Il est bon que les bibliothécaires se posent les questions suivantes pour choisir les indicateurs : sont-ils utiles au dialogue avec les partenaires ? Concernent-ils une activité ou un secteur où l’on a constaté un dysfonctionnement ? Dispose-t-on des forces suffisantes pour les mettre en pratique ? Les données sont-elles demandées par une autorité supérieure ? Pour que la démarche soit valide, les bibliothécaires ne doivent pas se contenter de mettre en œuvre ces indicateurs de façon occasionnelle (pour voir) ou tacite (sans concertation avec les partenaires). Il convient d’intégrer ces indicateurs dans une démarche régulière de planification et d’évaluation, d’en faire une base de dialogue entre les personnels, les autorités et les usagers, afin d’éclairer les décisions.

La norme NF ISO 11620 marque une nouvelle étape pour le développement de l’évaluation des services dans un esprit dynamique. Elle met au centre les usagers et les indicateurs choisis sont, en effet, ceux qui ont un sens quant au niveau ou à la qualité du service rendu aux usagers. Dans l’utilisation de cette norme, il convient de s’appuyer sur la politique de développement de la bibliothèque (ses missions, ses objectifs généraux et opérationnels), et le débat autour du choix et de la mise en œuvre de ces indicateurs – comme l’interprétation des résultats – peut conduire à clarifier ou ajuster ces missions et objectifs. Enfin, la clé de cette évaluation de la performance réside dans la disponibilité des données nécessaires aux indicateurs : une telle démarche va de pair avec la mise en œuvre d’un système d’information.

Septembre 1998