De nombreuses études abordent aujourd’hui la bibliothèque sous l’angle économique de sa « valeur » et s’attachent à mesurer son impact sur les populations à desservir. Pour comprendre cette démarche, il convient de revenir sur l’histoire et les méthodologies de l’évaluation, et d’interroger notamment la notion de « retour sur investissement ».

Many studies now look at libraries in terms of their economic value and aim to measure their impact on the population they serve. Understanding this approach means looking back at the history and methodology of such evaluations and exploring the concept of return on investment.

Le microcosme des bibliothèques se souvient encore de l’article paru dans les Échos du 18 septembre 2015 où la ministre de la Décentralisation et de la Fonction publique commentait la baisse de 30 % de la dotation globale de fonctionnement (DGF) que verse l’État aux communes et à leurs communautés au profit d’une enveloppe exceptionnelle, en ces termes : « Le milliard d’euros devra servir à des projets offrant des retours sur investissement. Il y a beaucoup d’émissions de télévision sur les gabegies locales. Les hôtels de région sont-ils trop grands ? Les médiathèques sont-elles un équipement toujours d’actualité au XXIe siècle ? On peut se poser la question. »

En bref, la ministre s’interrogeait sur le retour sur investissement des bibliothèques (de lecture publique, mais aussi, pourquoi pas, des bibliothèques universitaires qui n’étaient pas concernées par la remarque). Les gestionnaires peuvent effectivement se demander si les budgets d’investissement et de fonctionnement alloués à ces équipements se justifient au regard de l’évolution du nombre des inscrits actifs et des prêts dans ces établissements puisque ce sont ces indicateurs qui ont été traditionnellement utilisés pour évaluer l’activité des bibliothèques…

La dernière synthèse nationale publiée par l’Observatoire de la lecture publique sur les « données d’activité 2013  1 » chiffre à 2,80 € par habitant les dépenses documentaires moyennes  2 (dépenses totales d’acquisitions en 2013), et dans le même temps, relève 17 inscrits pour 100 habitants (dans les communes équipées d’un établissement de lecture publique ; la moyenne nationale, toutes communes confondues, y compris celles qui n’ont pas de bibliothèques, doit être plus basse). La logique nous permettrait de conclure que 83 habitants sur 100 contribuent d’une façon ou d’une autre à hauteur de 2,80 € à des acquisitions documentaires dont ils ne tirent aucun profit (pour ne pas parler du financement du personnel des bibliothèques qui se monte à 19 € en moyenne par habitant  3). Que décider alors ? Ne financer que les équipements qui profitent à la majorité ? Imaginer des taxes et impôts à configuration variable où l’on ne cotiserait qu’au financement des équipements que l’on utilise effectivement ? On le comprend, ces conclusions n’ont pas de sens. Cependant, dans un contexte de réduction drastique des budgets publics, il est important et salutaire d’avoir une vision éclairée du coût et de l’impact des services offerts à la collectivité.

Pour mettre donc un terme à ces débats oiseux où, d’un côté, des gestionnaires pressés par la réduction des budgets brandissent l’argument du coût pour la collectivité et le bénéfice de la majorité, et, de l’autre, des bibliothécaires inquiets pour leur avenir et celui de leur bibliothèque agitent le drapeau du service public et rappellent les missions des bibliothèques résumées dans le manifeste de l’Unesco (contre lequel aucun gestionnaire ne peut s’insurger…), des chercheurs pragmatiques ont mené des études.

Avant de présenter ces études sur le « Retour sur investissement  4 » des bibliothèques, il convient de revenir sur les méthodes d’évaluation qui ont été appliquées dans le domaine des bibliothèques depuis une trentaine d’années.

Au départ, il y avait les statistiques…
compter les « outputs »

Se souvenir de l’histoire de l’évaluation en bibliothèque permet de comprendre comment, depuis quelques années, on en est venu à vouloir mesurer leur impact.

Au « départ », les bibliothèques ont compté ce qui pouvait rendre compte de leur activité : d’un côté, ce qui entre (inputs) ; de l’autre, ce qui sort (outputs) : « Les inputs entrant sont les ressources que les bibliothèques utilisent. Cela comprend des biens corporels tels que le personnel, les collections physiques et les installations, aussi bien que des actifs incorporels comme les sites web de la bibliothèque, les collections numériques et les réseaux sans fil. Les outputs correspondent aux quantités de services produits par la bibliothèque. L’index du Library Journal  5 repose principalement sur quatre outputs interdépendants : les visites à la bibliothèque, la circulation des documents, l’accès du public à l’utilisation de l’ordinateur, et la participation aux manifestations ou formations  6. »

Pour mesurer l’activité, deux chiffres étaient le plus souvent cités : celui des inscrits actifs et celui des prêts (on comprend qu’il s’agit plus ou moins des mêmes données et que le second est une partie du premier). Ces chiffres en soi n’avaient pas beaucoup de valeur, si ce n’est que d’une année sur l’autre ils pouvaient indiquer si la tendance était à la baisse ou en hausse… Un peu plus tard, on a eu la bonne idée de construire des indicateurs plutôt que de se contenter d’observer des valeurs absolues. On a ainsi rapporté les inscrits à la population à desservir… On a pu segmenter ces mesures aux catégories d’inscrits (enfants, adolescents, adultes, seniors). Les plus exemplaires ont pu rapporter ces chiffres à la population concernée dénombrée par l’Insee pour chaque commune. À peine avait-on eu la bonne idée de se lancer dans ces ratios que les communes se sont regroupées en intercommunalités et il est devenu plus difficile de calculer un taux d’inscrits…

Changement de perspective : les « outcomes »

Dans les années 1990, aux États-Unis, ont commencé d’autres types d’évaluations qui se sont éloignés de la perspective « bibliocentrée » du comptage des prêts (je suis une bibliothèque, ma première activité est le prêt de document, je justifie mon existence par cette activité, donc j’observe comment elle évolue), pour s’intéresser à ce qu’en pensaient les usagers selon une méthode dite de « l’analyse des écarts » impulsée par l’outil Servqual : « La matrice Servqual envisage l’évaluation de la qualité des services selon cinq dimensions : leur caractère tangible (ou si l’on préfère réel ou concret pour l’usager), leur fiabilité (c’est-à-dire le caractère approprié et exact de l’information fournie), sa rapidité de réaction aux demandes (disponibilité, aptitude à répondre avec promptitude), son autorité ou sa crédibilité (ou la compétence et la pédagogie du personnel), et enfin sa convivialité (prévenance, attention portée aux usagers) 7. »

On connaît la déclinaison de cette méthode dans l’enquête LibQUAL+ pilotée par l’ARL (Association of Research Libraries) et maintenant largement diffusée dans les BU françaises  8. Il s’agit désormais d’interroger les usagers (et potentiellement les non-usagers) sur leurs attentes et sur la perception qu’ils ont des services offerts. L’écart qui s’exprime entre attente et perçu permet à la bibliothèque de décliner ses efforts en fonction des besoins et de la satisfaction des usagers.

La nouvelle norme ISO 16439 : Méthodes et procédures pour évaluer l’impact des bibliothèques, sur laquelle un livre blanc rédigé par la commission CN 46-8 de l’Afnor est paru en février 2016  9 (voir présentation dans l’encadré ci-dessous), insiste beaucoup sur l’usage des études de satisfaction dans les mesures d’évaluation des bibliothèques. Elle recommande de combiner autant que faire se peut les indicateurs induits des statistiques (inferred evidence  10) avec les indicateurs sollicités (sollicited evidence) et les indicateurs observés. La satisfaction peut être soit déduite de la fréquentation ou des prêts (un service beaucoup utilisé est sans doute un service apprécié !), mais aussi sollicitée (via une enquête LibQUAL+ par exemple).

En complément à la satisfaction, on pourra enfin évaluer l’impact des services offerts en termes de changements provoqués dans les comportements ou les pratiques des usagers (acquisition de connaissances, autonomisation dans les démarches de recherche documentaire, réussite à l’école, à l’université ou dans son travail, etc.). Peu à peu, on est passé de la notion d’output (une mesure chiffrée des données sortantes) à une notion d’outcome qui prend en compte le changement ou l’impact produits par le service offert sur l’usager dans la durée. Dans l’article précédemment cité, rédigé par Ray Lyons et Keith Curry Lance, les auteurs le définissent ainsi : « Les outcomes sont d’une tout autre nature. Ils représentent les changements dont les usagers de la bibliothèque font l’expérience – changements dans le niveau de leurs connaissances, leurs compétences, leur attitude, leurs pratiques, leur statut ou leur condition. Ainsi, on pourrait trouver utile de remplacer les termes à consonance proche, input, output et outcome, par “ressources documentaires”, “services de bibliothèque” et “changements chez l’usager”  11. »

La norme ISO 16439 présente la mesure de la satisfaction comme un des éléments qui pourra dessiner le paysage de l’impact de la bibliothèque, qui est une notion complexe qu’il est important de définir en amont de toutes ces évaluations. On peut le réduire à son aspect purement économique, mais, plus probablement, il en va des bibliothèques comme de toutes les institutions qui participent à l’éducation et au bien être culturel et intellectuel des usagers, il est également social et sociétal. C’est la raison pour laquelle, encore une fois, la norme recommande de ne pas mener une étude de retour sur investissement économique sans mener en complément une étude du retour sur investissement social. C’est ce qu’ont fait, par exemple, les bibliothèques publiques de l’État du Minnesota qui évoquent l’influence multiple des bibliothèques sur leur environnement : « Le retour social sur investissement des bibliothèques publiques de l’État du Minnesota est plus important qu’un simple retour sur investissement quantifiable. Les autres bénéfices significatifs que l’on peut identifier comprennent la collection des documents en elle-même et les nombreux services offerts par la bibliothèque ; les programmes de formation, ainsi que les bénéfices éducatifs qui découlent de la mission de la bibliothèque, y compris l’alphabétisation des usagers ; la mise à disposition d’ordinateurs dans la bibliothèque ; l’expertise du personnel ; la bibliothèque en tant que lieu de rencontre de la communauté ; le “halo” des dépenses faites par les usagers de la bibliothèque dans les établissements situés à proximité de la bibliothèque ; et le surcroît de valeur que génère la bibliothèque dans l’immobilier du quartier où elle est implantée ainsi que sur les partenariats avec le quartier  12. »

Dans la lignée de ces travaux, il existe toute une littérature sur le outcome-oriented assessment dont l’ambition est de mesurer l’impact des services en fonction des outcomes de l’institution et de ses missions : ainsi, pour les bibliothèques universitaires, on se demandera en quoi la BU participe à la réussite des étudiants. C’est ce qu’a fait l’université de Toulouse dans cette étude qui demeure la seule à ce jour en France : Usage de la documentation et réussite en licence 13.

D’autres auteurs  14 ont eu l’heureuse initiative d’interroger les usagers et les différentes parties prenantes sur ce qu’était pour eux la valeur de la bibliothèque. Ils en ont déduit une « Roue de la valeur de la bibliothèque » (schéma ci-dessous) qui présente la satisfaction, la productivité, l’apprentissage des étudiants, le retour sur investissement, l’engagement social et la récompense du travail comme autant de valeurs distinctes en fonction de qui on interroge.

Interroger sur la valeur recouvrirait donc une multitude de facettes dont l’argent ne serait qu’une partie, la face émergée de l’iceberg pour les gestionnaires.

ROI : de quoi parle-t-on ?

C’est dans ce cadre que s’inscrivent les études économiques sur la valeur des bibliothèques dont l’ambition est d’évaluer en quoi elles contribuent à des activités qui créent des ressources et de la valeur pour leurs usagers directs ou pour l’ensemble des communautés au sein desquelles elles sont implantées.

Au cours d’une journée d’étude qui s’est déroulée lors du congrès de l’ADBU de Strasbourg, le 3 septembre 2014, Françoise Benhamou a présenté de façon limpide la méthodologie et les enjeux des études de retour sur investissement. Le compte rendu qui alors avait été fait de cette intervention reprenait les termes de l’économiste qui expliquait : « Pour mesurer cet usage direct et indirect, immédiat, futur ou potentiel, les spécialistes distinguent quatre sources de valeur : la valeur d’usage, la valeur d’option (le bien n’a pas de valeur d’usage mais son utilisation potentielle dans le futur détermine une valeur d’option), la valeur d’existence (l’existence même du service a une valeur, même s’il n’est pas utilisé) et la valeur de transmission (le service fait partie du patrimoine à transmettre).

Ces valeurs sont importantes car, au-delà de l’usage, l’existence de ces institutions non marchandes que sont les bibliothèques se justifie également par ce qu’elles représentent et transmettent à l’ensemble de la communauté des usagers et des non-usagers.

Ainsi, explique Françoise Benhamou, les bibliothèques ont un effet sur leurs usagers et au-delà d’eux, par capillarité, elles induisent des effets d’externalité plus difficiles à mesurer. Par exemple, elles favorisent la recherche. C’est ce que cherchent à mesurer deux types d’études : les études d’impact et les analyses coût/bénéfice  15. »

On distingue deux sortes d’études :

• Les analyses de la valeur monétaire des services offerts par la bibliothèque qui peuvent se décliner selon deux méthodes :
•  – l’analyse coût / bénéfice : on mesure les coûts de la bibliothèque et on les met en regard des bénéfices commerciaux et des bénéfices sociaux qu’elle génère ;
•  – l’analyse contingente qui mesure le consentement à payer ou le consentement à renoncer au service du public interrogé, ainsi que le coût marginal de remplacement.
• La mesure de l’impact de la bibliothèque sur son environnement et les « effets d’externalité ». On cherche ici à distinguer les effets moteurs des activités de l’institution culturelle sur la vie économique, par exemple, les moyens par lesquels les BU créent de la valeur en participant et en favorisant l’excellence de la recherche, de la formation et de l’éducation au sein de leur université.

La première étape de ces études est donc de rechercher la valeur des services rendus que l’on mettra en regard du coût de fonctionnement de la bibliothèque. La difficulté étant d’estimer la valeur des services rendus qui pourra être mesurée soit :

• en interrogeant les usagers (cette méthode est appelée évaluation contingente : elle repose sur la mise en place d’une enquête permettant d’interroger le public sur la valeur qu’il attribue au(x) service(s) de la bibliothèque) ;
• en recherchant le coût d’un service marchand alternatif (méthode du market pricing) : l’American Library Association (ALA) propose ainsi un calculateur  16 basé sur des prix moyens de référence par type de service pouvant aider les bibliothèques à transposer la méthode dans leur établissement ;
• en estimant la valeur monétaire de tous les services offerts (comme ci-dessous dans l’exemple des bibliothèques du Minnesota).

Que l’on choisisse l’une ou l’autre de ces méthodes, il convient dans un second temps de mener une analyse du ratio coût/bénéfice ou retour sur investissement. Il s’agit du rapport entre le bénéfice produit par la bibliothèque et les investissements de la collectivité (entre la valeur des services « bibliothèque » et son coût d’investissement et de fonctionnement). Les coûts de fonctionnement à prendre en compte sont très nombreux comme on peut le lire dans le rapport rédigé pour les bibliothèques du Minnesota  17.

Dans cette étude très complète, les bibliothèques de l’État du Minnesota, aidées par la Labovitz School of Business and Economics (LSBE) et le Bureau of Business and Economic Research (BBER) ont ainsi dressé l’inventaire exhaustif de leurs dépenses et des revenus qu’elles généraient (voir les deux tableaux ci-dessous). Au bout d’évaluations complexes, dont il est impossible de rendre compte ici, l’étude a abouti aux deux chiffres suivants :

– retour sur investissement : 4,62 $

– valeur totale des bibliothèques : 898 041 512 $

La spécialiste de ces études, Carol Tenopir, professeure émérite au département des Sciences de l’information de l’université du Tennessee, Knoxville (États-Unis), en a piloté un nombre important. Lors d’une intervention en 2014 à la journée d’étude Elico-Couperin  18, elle rappelait que « l’université du Tennessee a mené un grand projet : Lib-Value : Measuring Value and Return on Investment of Academic Libraries. La première phase a consisté à évaluer le ROI en cherchant une éventuelle corrélation entre l’utilisation des ressources de la bibliothèque par le corps enseignant et la génération des revenus de dons / subventions pour l’université. L’objectif était de démontrer la valeur économique de la bibliothèque en réponse à la demande croissante des tutelles au travers d’une analyse coût / bénéfice permettant d’établir que la bibliothèque contribuait à ce que l’université atteigne ses objectifs stratégiques. Cette étude a permis d’estimer à 4,38 $ le revenu généré par les subventions à l’université pour chaque dollar investi dans la bibliothèque ».

On pourrait multiplier les exemples tant ils sont nombreux à l’étranger (notamment aux États-Unis et au Royaume-Uni, mais aussi en Espagne et au Danemark). Dans le monde des bibliothèques de lecture publique, c’est le réseau des bibliothèques de Toronto qui s’est récemment distingué avec une étude 19 assez percutante réalisée par le Martin Prosperity Institute dont les différentes conclusions aboutissent à la synthèse suivante :

• l’impact économique total de la Bibliothèque publique de Toronto sur la ville de Toronto est de 1 milliard $ canadiens ;
• pour chaque dollar investi dans la bibliothèque, les Torontois reçoivent 5,63 $ can. de valeur en retour ;
• pour les usagers de la bibliothèque, la valeur de leur adhésion à la bibliothèque « représente une valeur » de 500 $ can.

La méthodologie de l’étude consistait à quantifier l’impact économique global et le retour sur investissement des services de la bibliothèque. Un peu plus de la moitié de l’impact total de la bibliothèque est généré par le libre accès aux livres et autres 11 millions de documents de sa collection. L’impact total restant est divisé par la valeur des autres services de la bibliothèque (en bleu clair), les dépenses directes (en gris), et les avantages tangibles indirects (orange) qui sont permis par les dépenses directes. On le voit clairement, les avantages ou bénéfices (en bleu) sont bien plus importants dans ce camembert que les dépenses (en gris).

Le centre du graphique montre la valeur de l’impact économique total pour chaque ménage résidant dans la ville de Toronto (955 $ can.) et pour chacun des résidents de Toronto tout âge confondu (358 $ can.).

Des arguments pour un plaidoyer

En conclusion de cet article qui ne fait qu’ébaucher un sujet foisonnant ayant émergé il y a une quinzaine d’années à l’étranger et qui commence à intéresser les bibliothèques françaises, il convient de retenir que la mesure de l’impact est indispensable. Mieux connaître son impact et sa nature sur les communautés à desservir permet non seulement de mieux adapter l’offre aux besoins, mais aussi et surtout de se confronter à la réalité de son influence et de sa valeur. Pour qui, pour quoi compte-on ? C’est grâce à ces éléments que l’on peut alors plaider, en toute transparence, auprès de ses tutelles et discuter, cartes sur table (et rubis sur l’ongle), de son avenir et de ses missions, les développer, les réorienter, et finalement les enrichir, puisqu’il faut bien parler d’argent.