Traduire et analyser l’activité en bibliothèque : nouveaux outils et évolutions des pratiques d’évaluation

Si les bibliothèques ont une longue tradition d’évaluation, cette activité a son actualité et ses pratiques évoluent. On peut citer aussi les travaux récents de la commission Afnor/CN 46-8 « Information et documentation – Qualité, statistiques et évaluation des résultats » présentés lors de la journée du 27 mai 2021. La démultiplication des gisements de données exploitables, les attentes des gouvernances comme des usagers, l’évolution des compétences des professionnels constituent autant de paramètres concourant à la vitalité du sujet de l’évaluation en bibliothèque. Odile Jullien Cottart et Cécile Touitou nous livrent leurs analyses des enjeux de l’évaluation en bibliothèque.

***

BBF : Dans le domaine de l’évaluation, quels sont vos projets en cours, au sein de votre établissement comme dans d’autres instances professionnelles ? Quelles actualités suivez-vous avec une attention particulière ?

O. Jullien Cottart : Au sein des bibliothèques universitaires (BU) Jean-Moulin Lyon-3, notre projet actuel est d’ajouter une brique BU au système d’information décisionnel (SID) de l’université. Je précise : les objectifs du SID sont de centraliser l’information, de partager des données et des tableaux de bord, et de gagner en transparence 1

. À Lyon-3, le SID comporte déjà une brique finances et une brique RH ; une brique formation est en cours de finalisation, l’ajout d’une brique BU permettrait d’une part d’enrichir le SID et d’autre part de permettre l’automatisation d’indicateurs croisant données BU et données financières par exemple. Avec cette démarche, nous ne visons pas l’exhaustivité des données mais bien une sélection d’indicateurs nécessaires au pilotage de l’établissement.

C. Touitou : Je suis responsable de la cellule « Prospective » de la bibliothèque de Sciences Po Paris. Dans le cadre de l’ouverture très prochaine d’un nouveau campus 2

qui abritera une nouvelle bibliothèque, à la demande du comité de direction de la bibliothèque, nous travaillons à la création d’un observatoire des usages. Plusieurs circonstances plaident pour la mise en place aujourd’hui de cet observatoire, que l’on appelle aussi baromètre. Il a vocation à étudier de façon longitudinale l’évolution des usages. Ces circonstances exogènes d’origines diverses auront potentiellement un impact sur les usages. Citons, suite à la pandémie et aux confinements :

• la restriction des accès ayant potentiellement modifié les habitudes concernant les lieux de travail privilégiés ;
• la restriction de l’accès à la documentation imprimée ;
• la découverte par certains usagers de l’étendue de notre offre électronique.

Au moment de l’ouverture d’un nouveau campus et d’une nouvelle bibliothèque :

• de nouveaux espaces, de nouvelles proximités géographiques ;
• une répartition différente des collections imprimées, réduction du libre accès…

Par ailleurs, dans le cadre de la participation de Sciences Po à l’Alliance d’universités européennes CIVICA 3

et au projet CIVICA Research 4, des travaux conjoints seront menés dans les mois à venir. Ils s’inscrivent aussi dans la perspective d’une réflexion autour de l’évaluation à l’évaluation des travaux des chercheurs et à l’ouverture des données.

Je suis membre de la commission Afnor CN 46-8 5

, présidée par Gaëlle Denni. Au sein de cette commission, nous travaillons de façon continue à la relecture des trois normes en vigueur : 2789, 11620 et 16439. Un travail particulier est en cours sur les modalités de comptage de la fréquentation.

Enfin, dans le cadre de ma participation à la commission « Évaluation et pilotage » de l’ADBU 6

, nous préparons la journée d’étude sur les enquêtes le 16 novembre 2021 où j’aurai le plaisir d’animer la table ronde qui réunira des collègues de grands établissements menant des enquêtes nationales tout à fait intéressantes pour nous.

Je pense que les bibliothèques universitaires doivent en 2022 mesurer l’impact des confinements et de la fermeture des bibliothèques dans l’inflexion possible des usages. On commence à lire des études 7

sur le sujet.

Quelles compétences mobiliser pour mettre en œuvre une approche plus qualitative de l’évaluation ?

O. J. C. : Être curieux et ouvert, accepter de remettre en question ses certitudes. Ne pas se contenter de compter des entrées, des emprunts ou des heures de formations, mais observer les usagers dans leur appropriation de l’espace, des collections, des services ; les interroger également, les faire participer. Se mettre à la place des utilisateurs du service. Dialoguer également avec les tutelles, les partenaires, ne pas considérer que la présence des bibliothèques va de soi, et que chacun sait ce qui s’y passe.

C. T. : L’évaluation qualitative doit s’appuyer sur les résultats quantitatifs qui peuvent être collectés via les traces d’usage (fréquentation, circulation des documents, etc.). Cependant, parce qu’un chiffre pris isolément ne veut rien dire, il est effectivement essentiel de mobiliser une approche plus qualitative. D’ailleurs, la norme 16439 « Méthodes et procédures pour évaluer l’impact des bibliothèques » sur laquelle la CN 46-8 avait rédigé un livre blanc, recommande de croiser les approches : compléter les données quantitatives issues des outils métier (SIGB, compteur d’entrée, etc.) par des données qualitatives collectées via des questionnaires ou des entretiens (données sollicitées), voire des données observées. J’aime bien aussi rappeler cette phrase que l’on attribue à Einstein qui voudrait que « Ce qui compte ne peut pas toujours être compté, et ce qui peut être compté ne compte pas forcément ».

Bref, se lancer dans une approche plus qualitative demande, comme le dit Odile, curiosité et ouverture d’esprit. Ces approches étant chronophages, je dirais qu’il faut aussi mobiliser beaucoup de patience et de persévérance pour aller jusqu’au bout de l’analyse. Enfin, je crois que le qualitatif demande encore plus de rigueur que l’analyse quantitative, dans la mesure où traiter de chiffres est relativement facile, car encadré par des méthodes documentées. Se lancer dans le questionnement qualitatif peut sembler plus « facile » car on traite de mots, de témoignages, de verbatims, mais imposera beaucoup de travail pour que la collecte soit intéressante, et que l’analyse soit pertinente.

Ce type d’étude est une belle occasion de partager avec les collègues un protocole d’observation ou de collecte de témoignages dont les résultats permettront de discuter en interne de ce qui fait la « valeur » de la bibliothèque en tant qu’espace de vie et de travail, car on le sait une « histoire vraie » vaut mille chiffres désincarnés.

Dernière qualité : beaucoup de pédagogie et de capacité de conviction. Un chiffre, un résultat ne s’imposent pas de façon évidente auprès des décideurs, loin de là. Il faut réussir à porter la voix des usagers, et c’est un défi quotidien !

Selon vous, quels sont les avantages et les limites de l’approche evidence-based en bibliothèque 8

par rapport à d’autres méthodes ?

O. J. C. : L’approche evidence-based en bibliothèque (EBL) est une pratique calquée sur l’evidence-based medicine (EBM) : elle privilégie l’observation et les faits. Elle a l’avantage de placer l’usager au centre de la prise de décision. Prenons l’exemple de CollEX-Persée qui, au premier semestre 2020, a donné accès à l’ensemble de la collection d’e-books en sciences politiques de Cambridge University Press. Le 2 septembre 2020, les 110 e-books les plus consultés ont été acquis, selon un modèle basé sur l’usage 9

. Ce sont donc a priori les e-books les plus utilisés par la communauté universitaire française qui ont été retenus. Mais il y a des biais à cette méthode, j’en citerai un : la temporalité, ce sont les 110 e-books les plus consultés pendant ce laps de temps qui ont été acquis ; sont-ils le reflet fidèle de la recherche en sciences politiques en France ?

Constituer des corpus documentaires destinés au plus grand nombre est une des missions des BU ; l’EBL peut être une aide à la décision, mais ne doit pas constituer le seul outil de constitution des collections.

Le programme national Services Publics + est également centré sur l’expérience usager, comme l’était le référentiel Marianne. Ces dispositifs donnent la parole aux usagers, permettent d’offrir un service plus adapté aux besoins et favorisent l’amélioration continue.

C. T. : Cette méthode « evidence based library and information practice » a même un acronyme en anglais : EBLIP ! C’est dire sa popularité. Il y a également une revue professionnelle 10

qui porte ce nom.

Cependant, il me semble que cette méthode n’est pas véritablement enseignée en France, et si certains l’appliquent, c’est un peu comme Monsieur Jourdain. On pourra lire la notice 11

que Wikipedia consacre à cette méthode pour s’en faire une idée.

Ce que j’en comprends serait de fonder les actions, ou plus largement le pilotage de la bibliothèque, à la lumière des « preuves » ou des usages attestés par les statistiques collectées par le SIGB ou autre outil de collecte des usages.

Si la vertu de cette approche pour des questions de politique documentaire semble incontestable, on comprend que le manager français peut avoir quelques réticences à piloter la totalité de son navire bibliothèque exclusivement par le chiffre. Il est clair que les professionnels ont une vision de leur mission et des services à rendre qui ne peut se fonder uniquement par la mesure de l’usage dans un sens bottom-up : la trace d’usage ne peut être seule à fonder la décision.

Cependant, une fois le plan stratégique déployé, on peut avoir à cœur de piloter ce navire à partir du succès mesuré des services offerts. C’est ce que j’ai pu observer lors de ma semaine de mobilité Erasmus+ dans le service Marketing de la bibliothèque de l’université de Manchester en juillet 2019 où un très impressionnant tableau de bord multidimensionnel mesurait l’activité, le succès et l’impact des services offerts en adéquation avec les objectifs stratégiques du plan pluriannuel de l’université.

Je ne connais pas véritablement d’exemple français qui se revendiquerait spécifiquement de EBLIP, mais beaucoup de bibliothèques se lancent dans le suivi des indicateurs, et pour citer le plus impressionnant, mentionnons le « Contrat d’objectifs et de performance 2017-2021 » 12

de la BnF qui a été écrit dans cet esprit, dans la mesure où l’usage mesuré doit permettre de rétroagir sur l’allocation de moyens, voire le pilotage.

Denise Koufogiannakis et Alison Brettle soulignent la difficulté de saisir ce qui relève du professional knowledge 13

. Dans quelle mesure est-il possible de l’« objectiver » ? Et comment le rendre plus intelligible pour les gouvernances et les usagers 14 ? Mais aussi, en interne, comment rendre plus compréhensibles les compétences des uns et des autres au sein d’un service ?

O. J. C. : Je répondrai à la dernière partie de la question, en l’illustrant d’un exemple concret. À Lyon-3, à l’issue d’une assemblée générale en 2018, nous avons décidé de mettre en place des « formissions » 15

. Il s’agissait de renforcer les liens au sein des équipes et de mieux connaître ce que chacun faisait. Des personnes volontaires ont listé ce qu’elles pouvaient présenter : la gestion des plannings, l’ingénierie de formation, etc. D’autres personnes ont listé ce qu’elles aimeraient découvrir. Chacun s’est ensuite organisé pour proposer et/ou assister à des formissions. Ce dispositif, qui permet de mieux appréhender les compétences de chacun, a rencontré un tel succès qu’il a été reconduit en 2020 et 2021.

C. T. : Je ne connaissais pas ces auteurs et leur ouvrage 16

. Ce que je comprends des recensions disponibles en ligne est qu’elles insistent sur le fait que l’on ne peut pas uniquement fonder son pilotage sur les résultats des enquêtes dans une stricte application de la méthode EBLIP présentée précédemment. Denise Koufogiannakis et Alison Brettle défendraient justement cette thèse que le professional knowledge doit infléchir, nourrir, éclairer les données collectées. On ne peut que convenir de cela. Bien souvent, j’ai pu présenter des chiffres (le mot anglais de evidences permet peut-être que les chiffres s’imposent là-bas plus qu’en France !) qui ont pu être relativisés (voire balayés) par le « savoir professionnel ». Comment les deux s’articulent, se répondent, s’enrichissent ou s’annulent, cela doit sans doute dépendre des contextes professionnels. Un dialogue doit naître de la confrontation des deux ; quand c’est l’un ou l’autre qui est seul à guider la décision, il y a appauvrissement de la réflexion. Après, il y a sans doute tout un apprentissage collectif à faire pour devenir une « organisation apprenante » où chacun apprend les uns et des autres 17, ça pourrait figurer dans les objectifs stratégiques des bibliothèques !

La diversification des « preuves », des sources de constat, est présentée comme un enjeu majeur pour étayer la prise de décision. Il s’agit d’élargir les points de vue sur une question. Pourriez-vous nous expliquer ce qu’est le NPS. En quoi s’agit-il d’une autre manière de mesurer la satisfaction ?

O. J. C. : Le NPS® (Net Promoter Score) est un indicateur de fidélité, utilisé en marketing pour vérifier si les clients sont prêts à recommander un produit ou un service et dans quelle proportion. Les clients votent sur une échelle allant de 0 à 10 ; ceux qui votent de 0 à 6 sont des détracteurs, ceux qui votent entre 7 et 8 sont neutres ou passifs, ceux qui votent 9 ou 10 sont des promoteurs. En soustrayant le pourcentage de détracteurs au pourcentage de promoteurs (les passifs étant écartés), on obtient le NPS : « Le NPS mesure le potentiel de votre capital client. Au-delà de la valeur instantanée du NPS, c’est surtout son évolution dans le temps qui est fondamentale. » 18

Le NPS ne doit pas être utilisé seul pour rendre compte de la satisfaction globale des usagers. Florence Gillet-Goinard et Bernard Seno mettent en garde sur le fait que le NPS mesure l’intention de recommandation et non pas la recommandation réelle. À Lyon-3, nous souhaitons utiliser le NPS à l’issue des transactions liées au prêt long d’ordinateurs portables, service mis en place il y a neuf mois. C’est donc un NPS transactionnel que nous mesurerons. Le NPS peut être utilisé en bibliothèque, mais il ne doit pas à mon sens se substituer aux enquêtes de satisfactions plus globales, à l’observation et à la mesure des usages.

C. T. : Pour ce qui concerne la diversification des preuves, la norme 16439 invite justement à croiser (trianguler) les données induites, sollicitées et observées pour obtenir des résultats corrects qui permettent d’éviter les principaux biais liés notamment aux enquêtes par questionnaire.

Sur la question de la mesure de satisfaction, il y aurait beaucoup à dire. On peut lire ce qui est dit dans cet excellent mémo : « Une approche renouvelée des études de satisfaction. Guide pratique pour réaliser son étude de satisfaction pas à pas » 19

, qui invite à être très prudent lorsqu’on interroge les usagers sur leur satisfaction d’un service. On se souvient de l’expression du spécialiste du marketing en bibliothèque Joseph R. Mathews dans son article, « Customer satisfaction, a new perspective » 20 qui disait également qu’en raison d’un « effet apple pie », les usagers ont tendance à donner d’excellentes évaluations aux bibliothèques qu’on aurait peine à critiquer car elles offrent un service gratuit qu’on a envie de remercier (plus qu’un guichet des impôts ou d’une préfecture, par exemple). Pour éviter ces écueils, on peut effectivement utiliser le Net Promoter Score qui permet de distinguer trois catégories d’usagers : les détracteurs, les promoteurs et les neutres. Soustraire les premiers aux deuxièmes permet d’obtenir des niveaux de recommandation plus fins reposant sur l’avis des usagers qui ont envie de s’exprimer sur votre service. À la différence d’un calcul de satisfaction moyen qui prend en compte la note de tous les usagers, y compris ceux qui n’ont pas vraiment d’usage de la bibliothèque, ou ceux qui ne la fréquentent pas vraiment, le NPS reflète l’avis des plus volontaires et neutralise l’avis des « tièdes ».

À la bibliothèque de Sciences Po, c’est un indicateur que nous utilisons systématiquement pour toutes nos enquêtes qui donne des éléments de comparaison sur la façon dont les services sont perçus les uns par rapport aux autres.

À l’instar des bibliothèques publiques australiennes, les bibliothèques publiques danoises ont conçu des indicateurs standardisés 21

. Leur guide insiste sur la nécessité de concevoir des indicateurs plus inclusifs, tenant compte des différences d’âges, de genre, d’usage de la bibliothèque. Au-delà des exemples cités, comment développer une approche inclusive de l’évaluation 22 ?

C. T. : Cette question est très compliquée et appelle des développements à part entière. Brièvement, ce qu’on pourrait en dire est que cette idée de rendre les bibliothèques « inclusives » est absolument évidente, dans le sens où fondamentalement leur mission est de lutter contre les exclusions. Ainsi, on peut écrire que la bibliothèque « est un lieu où l’on va lutter contre les exclusions dues, par exemple, à l’âge, à la pauvreté, à l’insuffisance d’éducation et de formation, sans oublier les propositions pour les personnes en situation de handicap » 23

.

Cependant, comment le mesurer dans un contexte français ? Comment mesurer que le public que l’on accueille reflète la diversité du public à desservir et qu’il trouve dans nos établissements l’ensemble de l’offre à laquelle il peut prétendre ? Légalement, on dispose de peu de moyens pour mesurer la réussite en la matière. Par exemple, les enquêtes de l’Observatoire de la vie étudiante interrogent les revenus, la nationalité, la profession des parents, l’âge et le genre des étudiants interrogés. En bibliothèque, on ne peut guère s’aventurer à poser d’autres questions qui qualifieraient des minorités ethniques ou sexuelles, par exemple, afin de s’assurer qu’elles sont bien présentes dans nos établissements.

Concevoir des indicateurs qui mesureraient l’activité, la performance, ou encore l’impact de la bibliothèque du point de vue de tous les usagers serait un vaste chantier. Il faudrait mesurer le pluralisme ou diversité des collections, la qualité des espaces permettant l’accueil de publics nécessitant des aménagements particuliers (de la circulation des personnes en fauteuil, à la création de toilettes « neutres », par exemple, comme le proposent désormais certains établissements 24

), etc.

Sans multiplier les angles de façon excessive, on pourrait engager un dialogue avec les usagers afin de co-construire des indicateurs qui permettrait de mesurer l’adéquation de l’offre à leurs besoins dans le cadre des missions de la bibliothèque. Il faut être pragmatique. On ne peut pas rentrer dans une myriade de spécificités, on ne peut pas non plus totalement ignorer une partie de notre public. Donc, être « inclusif », évidemment ; le mesurer, c’est plus compliqué.

La plus grande exclusion en bibliothèque demeure certainement l’exclusion culturelle. Comment faire en sorte que les publics « éloignés » ne soient plus intimidés par les bibliothèques ? Résoudre cette question n’est pas simple, en mesurer la réalité est peut-être possible au travers d’une approche par niveau de revenu, si tant est qu’il y ait causalité entre les deux, ce qui est encore un autre débat. Les travaux d’Olivier Donnat sur les pratiques culturelles des Français procédaient à ce type d’analyses soulignant tous les progrès qu’il restait à faire pour que les bibliothèques publiques soient des lieux véritablement « inclusifs ».

Difficile de parler d’indicateurs sans évoquer la notion d’objectif. Quels sont les différents types d’objectifs ? Qu’est-ce qu’un aspirational goal par exemple ? Est-il utile en bibliothèque de définir ce type d’objectif ?

O. J. C. : Un indicateur ne peut en effet pas se concevoir sans objectif précis, de préférence ambitieux.

Pour éviter de se perdre dans la masse de données mesurées en bibliothèque et choisir les indicateurs adéquats, il est essentiel de partir d’objectifs stratégiques, politiques, à décliner ensuite en objectifs tactiques et opérationnels (service par service).

Les objectifs stratégiques sont sur le long terme ; ils sont définis par la direction (ou la présidence, ou la municipalité) et concernent les grandes orientations de l’organisation. Ils doivent être définis en nombre limité pour garantir la lisibilité et l’efficacité.

Les objectifs tactiques ou intermédiaires concernent le moyen terme ; ils sont définis par les cadres (responsables de départements, de services) et permettent à chaque service de contribuer à la réalisation des objectifs stratégiques.

Les objectifs opérationnels relèvent du court terme ; ils permettent à tous les membres de l’équipe de participer à la réalisation des objectifs tactiques.

Un indicateur avec une cible ambitieuse adossé à cet objectif est une source de motivation pour les équipes à condition qu’elle soit atteignable, sinon c’est l’effet contraire qui se produit.

C. T. : Effectivement ! Pourquoi mesurer ? Rien ne sert de se fixer des indicateurs de réussite, si on ne sait pas vraiment quel est notre objectif.

Avant de se lancer dans des enquêtes et autres évaluations, il faut réfléchir aux objectifs stratégiques de notre bibliothèque. À chacun de ces objectifs stratégiques (par exemple « Renouveler la relation avec les publics »), on pourra assortir un certain nombre d’objectifs opérationnels (par exemple : « Recruter et fidéliser le public “cœur de cible” » ou « Diversifier les publics sur place et en ligne »). Ce sont ces opérations qu’il conviendra de suivre en mesurant leur succès au travers d’indicateurs d’activité, de performance ou d’impact (par exemple : « Indicateur de diversification : évolution du nombre de lecteurs non-académiques »).

On le voit dans cet exemple, l’évaluation au travers de l’indicateur n’est qu’un instrument de mesure de l’accomplissement de son objectif opérationnel et, plus largement, stratégique. Il est donc très utile de définir ce type d’objectif en bibliothèque comme ailleurs : « À quoi je sers ? », « Que veux-je offrir à mes publics ? », « Quels indicateurs vais-je construire pour le mesurer ? ». En fonction du résultat de la mesure, je pourrais rétroagir sur ma politique, lui allouer plus ou moins de moyens, continuer ou arrêter !

Pour conclure, quelle est votre définition de la transparence en bibliothèque ?

O. J. C. : En creux, je commencerai par dire ce qu’à mon sens la transparence n’est pas en bibliothèque. La transparence n’est pas le trop-plein ; je précise : donner un accès libre aux données brutes sans traitement complémentaire (indicateurs, ratios…) risque de noyer les usagers sous une avalanche de données non hiérarchisées. La transparence, c’est accompagner, expliquer.

La transparence consiste aussi à sélectionner et rendre intelligibles les indicateurs nécessaires à la compréhension des objectifs et des missions fixés par les bibliothèques.

La transparence, ce n’est pas l’existence. Les bibliothèques n’ont rien à cacher et peuvent tout montrer, mais surtout, elles doivent s’attacher à démontrer leur rôle inclusif dans la ville, dans l’université.

C. T. : Je suis tout à fait d’accord avec Odile : « Les bibliothèques n’ont rien à cacher et peuvent tout montrer. » Il y a sans doute une distinction à faire entre ouverture et transparence. Ouvrir les données, dans le respect de la confidentialité de certaines données collectées par les bibliothèques, est indispensable ; souhaiter la transparence des dépenses publiques, aussi. Après, la dictature, ou le mythe, de la « transparence » est un sujet également complexe qui mériterait sans doute d’écouter d’autres expertises.

En bibliothèque, la transparence me fait tout simplement penser à ce que disent souvent les usagers. Ils aimeraient des bâtiments transparents, lumineux, ouverts sur la ville, tout en étant clos, silencieux, calmes et paisibles. Les paradoxes sont nombreux, ils sont peut-être le fil rouge de cet entretien entre pilotage par la donnée et savoir professionnel, « transparence » et contextualisation ; respect des données personnelles et inclusion ; anonymat et traçage ; on voudrait un peu tout et son contraire !

Understanding the Social Wellbeing Impacts of the Nation’s Libraries and Museums

par Cécile Touitou

Dans le rapport paru récemment Understanding the Social Wellbeing Impacts of the Nation’s Libraries and Museums¹, the Institute of Museum and Library Services (IMLS) examine le rôle des musées et des bibliothèques dans le bien-être social dans ce que l’on nomme les « communautés » aux États-Unis. Comme il est écrit dans la synthèse préliminaire, l’étude documente les différentes façons dont les bibliothèques et les musées américains répondent aux préoccupations et aux aspirations des communautés qu’elles desservent au travers de leurs programmations culturelles et de leurs partenariats stratégiques. Les auteurs ont choisi le parti pris de situer le travail des bibliothèques et des musées dans le cadre conceptuel du bien-être social pour décrire les contributions de ces institutions dans leurs communautés locales. Il sera particulièrement intéressant dans le cadre de ce dossier consacré à la transparence de s’attarder à l’annexe de ce rapport consacré à la construction d’indicateurs.

Les rédacteurs de l’étude ont déterminé 10 indices qui représentent selon eux différentes dimensions du « bien-être social ». Chaque indice a été calculé pour tous les comtés des États-Unis pour lesquels des données étaient disponibles. Ces indices ont été créés pour aider les auteurs de l’étude à comprendre comment la présence et le recours à ces institutions sont liés à différentes dimensions du bien-être social.

C’est un exemple tout à fait intéressant de déconstruction de l’activité des bibliothèques (et des musées) non pas mesurée au prisme des indicateurs bibliocentrés mais via des indicateurs qui visent à mesurer la valeur de l’activité de ces établissements pour le bien-être des usagers. C’est un peu comme lorsque certains économistes veulent substituer un indicateur de bien-être au monolithique calcul du PIB.

1. Disponible en ligne : https://www.imls.gov/publications/understanding-social-wellbeing-impacts-nations-libraries-and-museums

Présentation des auteurs

Odile Jullien Cottart est conservatrice en chef des bibliothèques. Après neuf ans passés en lecture publique, elle s’est orientée vers les bibliothèques universitaires. Elle est actuellement chargée de mission indicateurs et qualité au sein des bibliothèques universitaires de Lyon-3, et participe à la commission « Évaluation et pilotage » de l’ADBU.

Cécile Touitou est chargée de mission à la cellule « Prospective » de la bibliothèque de Sciences Po Paris après avoir été chef de projet « Public et démarche qualité » à la Délégation à la stratégie et à la recherche de la BnF. Elle a exercé comme consultante au cabinet Tosca consultants et comme documentaliste en France, aux États-Unis et au Canada. Membre de la commission CN 46-8 de l’Afnor, elle a contribué à la rédaction du livre blanc Qu’est-ce qui fait la valeur des bibliothèques ? Elle a dirigé les ouvrages La valeur sociétale des bibliothèques : construire un plaidoyer pour les décideurs et Évaluer la bibliothèque par les mesures d’impacts.

Sélection de ressources sur l’évaluation

par Sabrina Granger

• KOUFOGIANNAKIS, Denise et Alison BRETTLE. Being evidence based in library and information practice. Londres : Facet Publishing. 2016.

EBL est l’acronyme d’Evidence Based Librarianship¹. L’approche est inspirée par les pratiques qui se sont développées à la fin des années 1990 dans le domaine de la santé. Le point de départ de la démarche réside dans la formulation d’une question précise ; il ne s’agit donc pas seulement d’évaluer le degré de performance d’un service ou de mesurer l’utilisation d’une ressource (service, documentation).

Afin de formuler l’hypothèse à tester de manière efficace, Denise Koufogiannakis et Alison Brettle préconisent de s’appuyer sur le modèle PICO, issu également des sciences de la santé :

– P comme « patient » ou « problème » : qui est-il ou quel est le problème primaire ?

– I comme « intervention » : quelle est la piste principale envisagée pour résoudre le problème ?

– C comme « comparaison » : quelle serait l’alternative principale ?

– O comme « outcome » (résultat) : quels sont les effets anticipés ?

Pour résumer les étapes à suivre, certains auteurs évoquent le modèle des « 5 A » :

– Ask (définition du problème) ;

– Acquire (collecter les informations) ;

– Apprise (analyser les informations) ;

– Apply (appliquer la solution) ;

– Assess (évaluer la performance).

La spécificité de l’EBL consiste en l’articulation et l’analyse critique de sources d’information diversifiées : les preuves fournies par le contexte local sont étayées par les éléments issus de la recherche et par le savoir opérationnel des professionnels.

Le tableau ci-dessous, extrait d’un article de Lili Luo publié dans la revue College & Research Libraries, synthétise les différents types de gisements d’information mobilisables dans une démarche EBL :

Tableau extrait de l’article de Lili LUO, « Experiencing Evidence-Based Library and Information Practice (EBLIP) : Academic Librarians’ Perspective », College & Research Libraries. 2 mai 2018, vol. 79 n^o 4. En ligne : https://crl.acrl.org/index.php/crl/article/view/16731 [consulté le 30 août 2021].

Les informations collectées sont ensuite hiérarchisées selon trois critères principaux : leur validité ou leur crédibilité (c.-à-d. : l’approche comporte-t-elle des biais, des lacunes évidentes ?) ; leur fiabilité (c.-à-d. : à quel degré les travaux sont-ils répétables ou au contraire, liés à un contexte spécifique ?) ; leur applicabilité (c.-à-d. : dans quelle mesure les résultats peuvent-ils être mis en œuvre ?). Concevoir des check-lists pour analyser les preuves collectées peut faciliter le travail.

Si l’ouvrage de Denise Koufogiannakis et Alison Brettle constitue une incitation à faire évoluer ses pratiques, il ne fait pas l’impasse sur les difficultés de mise en œuvre : « The quality and the quantity of the LIS research literature has often been lamented, and noted as a potential barrier to implementing EBLIP »² (Koufogiannakis et al., 2016, p. 29). Confrontés à des textes privilégiant trop souvent la description de situations à l’analyse, les professionnels de l’information désireux d’appliquer la méthodologie EBL sont incités à poser des questions proches et à interroger d’autres types de littérature pour surmonter la difficulté.

Un autre élément mérite d’être souligné : au-delà des questions de sources à mobiliser et de rigueur de l’analyse, l’EBL représente aussi un enjeu managérial : « Employers, or senior library managers, need to create a climate in which evidence-based decision making is valued. They should foster a culture in which decision-making processes are transparent and use evidence sources that are important to the question, as opposed to implementing decisions that leave librarians wondering why a particular decision was made. »³

• KENNY, Graham. « Customer Surveys Are No Substitute for Actually Talking to Customers », Harvard Business Review. 17 janvier 2019. En ligne : https://hbr.org/2019/01/customers-surveys-are-no-substitute-for-actually-talking-to-customers [consulté le 23 août 2021].

Une approche extérieure au monde des bibliothèques mais qui pourra nourrir les réflexions des professionnels : « A dozen interviews can be more useful than thousands of responses to a questionnaire. »⁴

• Australian Public Library Alliance et Australian Library and Information Association. Standards and Guidelines for Australian Public Libraries. 2021. En ligne : https://read.alia.org.au/apla-alia-standards-and-guidelines-australian-public-libraries-may-2021

Le guide conçu par les bibliothèques de lecture publique australiennes fournit un exemple de mise en œuvre d’EBL. Il répond également à une question majeure : comment aboutir à des standards répondant aux besoins d’établissements très différents les uns des autres, en termes de taille, d’environnements, de gouvernance ? L’une des forces de l’approche adoptée est sa flexibilité puisqu’il s’agit de permettre à chaque structure de trouver les indicateurs vraiment adaptés à son contexte. Des check-lists sont disponibles p. 94-101.

Notes

1. L’acronyme EBLIP est aussi utilisé : Evidence-Based Librarianship and Information Practice

2. « La qualité et la quantité de la littérature de recherche sur les sciences de l’information et des bibliothèques ont souvent fait l’objet de déploration et considérées comme un obstacle potentiel à la mise en œuvre du programme EBLIP. » (Traduction obtenue via DeepL.com, version gratuite.)

3. « Les employeurs, ou les cadres supérieurs des bibliothèques, doivent créer un climat dans lequel la prise de décision fondée sur des données probantes est valorisée. Ils doivent favoriser une culture dans laquelle les processus décisionnels sont transparents et utilisent des sources de données factuelles importantes pour la question, plutôt que de mettre en œuvre des décisions qui amènent les bibliothécaires à se demander pourquoi une décision particulière a été prise. (Traduction obtenue via DeepL.com, version gratuite.)

4. « Une douzaine d’entretiens peuvent être plus utiles que des milliers de réponses à un questionnaire. » (Traduction obtenue via DeepL.com, version gratuite.)

Tous les contenus publiés sur le site du Bulletin des bibliothèques de France sont placés sous licence libre CC BY-NC-ND 2.0 : Attribution – Pas d’utilisation commerciale – Pas de modification 2.0 France.