Évaluer un service de référence

Les services de référence répondent à des exigences particulières d’observation des usages, d’organisation de l’offre et d’évaluation des prestations. Cet article vise à réunir et à compléter les divers outils statistiques figurant dans des sources jusqu’ici éparses ou peu accessibles.

Reference services meet particular requirements by observation of uses, organisation of the material on offer and evaluation of what is provided. This article aims to bring together and supplement the various statistical tools that appear in sources that until now have been scattered and hardly accessible.

Der Informationsdienst muss bestimmten Anforderungen entsprechen, die sich aus dem Zusammenspiel von beobachtetem Benutzerverhalten, Angebotsorganisation und Dienstleistungsbewertung ergeben. Der Artikel versucht verschiedene statistische Methoden, die bisher nur selten oder in schwer zugänglichen Quellen veröffentlicht wurden, zu vereinen und zu ergänzen.

Los servicios de referencia responden a exigencias particulares de observación de los usos, de organización de la oferta y de evaluación de las prestaciones. Este artículo apunta a reunir y a completar las diversas herramientas estadísticas que figuran en fuentes hasta aquí esparcidas o poco accesibles.

Depuis quelques années, les professionnels français ont acclimaté les services de référence, à l’origine cultivés sous des latitudes plus favorables à l’épanouissement des services aux publics des bibliothèques. En outre, les méthodes modernes de gestion des établissements connaissent un usage désormais formalisé par la norme sur les indicateurs de performance des bibliothèques 1.

Toutefois, ni ce document normatif, ni les rapports d’activité exigés par les autorités de contrôle des bibliothèques 2, ne comprennent, à ce jour, de chapitre consacré à l’évaluation des services de référence. Supposant acquise la définition de ceux-ci 3, nous proposerons donc une énumération de mesures et d’indicateurs, surtout destinés à faciliter la gestion courante ou à faire connaître l’activité du service de référence dans tout rapport ou document de présentation que le responsable du service ou de l’établissement peut estimer opportun de consulter ou de diffuser.

Cette énumération s’appuie sur trois ouvrages trop peu connus, et qu’il conviendrait de prescrire comme manuels d’enseignement et comme guides de gestion 4. À l’inverse de ces textes pédagogiques et théoriques qui livrent des définitions précises et complètes, nous tenterons de donner ici de simples outils d’usage modulable. Enfin, l’observation d’un service de référence porte sur le fonds documentaire (documents imprimés et documents électroniques en ligne ou hors ligne) et sur les services rendus au public.

Mesures

La collecte de statistiques représente la base de tout indicateur. Elle prend la forme de tableaux régulièrement tenus, ou de sondages limités à une durée précise et sélectionnés sur des périodes significatives de l’activité (cf. tableau, 1 Mesures)

. La mesure des moyens et des usages, même réalisée par sondage, peut porter sur une journée ou sur une semaine, un mois, une année. Selon la période concernée, la mesure aura un usage différent, faisant par exemple apparaître (ou confirmant) le besoin de renforcer certains services à des périodes données.

Rubriques 1 à 6

Si le service de référence s’appuie sur une salle spéciale et sur des collections et matériels en libre accès, les méthodes de mesures de consultation de documents, d’usage du service et de ses coûts ne diffèrent évidemment pas de celles des autres services de la bibliothèque. Il convient d’appliquer les mesures d’une manière justement identique, aux fins de comparaisons avec les autres services (par exemple, le fonds ancien dans une bibliothèque municipale, ou les sections et salles des bibliothèques universitaires).

Rubriques 7 et 8, puis 9 et 10

En France, la répartition entre « services publics » et travaux internes implique pour chaque agent de calculer le temps qu’il consacre au bureau d’information et d’additionner les plages horaires hebdomadairement d’abord, puis annuellement, afin d’obtenir une représentation de l’effectif total, exprimé en nombre de postes à temps plein. S’il n’existe pas de « service de référence » constitué comme salle spécifique – ou si des bureaux existent dans diverses salles, en plus d’un service général de référence –, cette mesure permettra d’obtenir une représentation des forces que l’établissement consacre aux bureaux de renseignement, au-delà de la simple mesure du temps d’ouverture de ces bureaux ; cela devrait rendre possible une comparaison entre, par exemple, les diverses catégories de services au public (services de prêt, bureaux d’information). Enfin, la distinction entre « professionnels » et « non-professionnels », possible sur la base statutaire des fonctions publiques (mais pas exclusivement), n’a d’intérêt que dans le cadre d’une attention particulière portée sur les besoins de formation et de répartition des compétences ; une telle mesure concernera principalement les grands établissements.

Les usages des rubriques 9 et 10 sont les mêmes que ceux des rubriques 1 à 6.

Rubriques 11 et 12

Une telle mesure – celle du calcul du montant annuel des salaires – présente deux difficultés majeures.

La première concerne le calcul de ce coût en raison de la répartition évoquée en 7 et 8, entre services « internes » et « services publics » ; la seule méthode efficace consistera à diviser le salaire annuel des agents concernés et à le rapporter à leur temps de présence, préalablement calculé pour les rubriques 7 et 8.

Soit, par exemple, le cas de deux agents rémunérés à des niveaux très différents et affectés au bureau d’information pour des durées variables : pour un agent X, dont le traitement annuel est de 110 250 F, et qui est affecté, pour un quart de son temps de travail, au bureau d’information, le coût de la participation au service est de 110 250 F / 4 = 27 562,50 F.

Pour un agent Y, dont le traitement annuel est de 283 470 F, et qui est affecté un tiers de son temps de travail au bureau d’information, le coût de la participation au service est de 283 470 F / 3 = 94 490 F.

La somme de ces participations représente le coût en personnel du bureau d’information. Il va de soi que la spécialisation des équipes dans le cadre d’un service, au sens organisationnel du terme, simplifie la gestion.

La seconde difficulté est d’ordre culturel, les professionnels français répugnant à traduire une activité de conseil au public en des termes financiers, particulièrement sur la base de leurs traitements et salaires. Or les éclairages apportés par une telle mesure peuvent s’avérer utiles, en termes de comparaison interne, notamment avec les autres prestations et services de la bibliothèque ; ainsi le même mode de calcul pourrait, par exemple, suggérer une comparaison entre les coûts respectifs du service de référence (ou, s’il n’est pas structuré comme tel, les activités des bureaux d’information) et du service des expositions et animations, en bibliothèque publique. Cette mesure peut également constituer la base d’un indicateur d’impact ou d’efficacité, en terme externe (cf. infra).

Rubriques 13 et 14

La formation des usagers, pratiquée par toutes les bibliothèques, dépend de l’équipe des bibliothécaires « de référence », dans deux circonstances bien connues. Les sessions individuelles (mesure 13) relèvent d’une logique d’opportunité, en fonction de l’affluence dans les bureaux d’information et de la demande ponctuelle d’usagers, le plus souvent passagers ; l’importance de ce chiffre peut prendre plusieurs significations, comme la faible fréquentation des bureaux d’information (on s’en inquiétera…), ou le besoin, mal couvert, de formations collectives. Ces dernières (mesure 14), préparées pour des groupes supposés homogènes, et gérées sous forme de rendez-vous, se placent souvent à des moments précis de l’année (particulièrement en milieu universitaire). Associée au calendrier, la tenue de cette statistique aidera à la gestion des flux et à la répartition des compétences.

Rubriques 15 et 16

Une « transaction de référence » est un entretien ou une demande par laquelle l’utilisateur sollicite l’aide du bibliothécaire sous quelque forme que ce soit (présence physique, appel téléphonique, courrier électronique) en vue de l’obtention ou de l’interprétation d’un document primaire ou secondaire, ou de l’aide à l’utilisation de celui-ci quel qu’en soit le support. La mesure de l’activité des services d’information (téléphonique et par courrier électronique) relève d’une même attente des usagers, soit une réponse dans la journée.

Leur mesure sera donc de même nature et reposera sur un relevé quotidien, élaboré par plage horaire, selon la grille suggérée dans le tableau 2

 5. Dans le cas des demandes téléphoniques et électroniques, on peut cependant adapter le formulaire en comptant dans la rubrique D (usage des machines, orientation) les questions à caractère pratique (horaires de l’établissement, règlement de prêt et de communication, etc.)

Rubriques 17 à 19

La mesure et l’évaluation de l’activité des services de prêt entre bibliothèque et de la qualité des serveurs Internet font l’objet d’indicateurs spécifiques et affinés ; il semble opportun de les reprendre, sous forme simplifiée dans cette mesure globale de la fonction de référence, dont ils relèvent en tant que service d’aide à la fourniture d’information.

Indicateurs d’efficacité et d’impact

La plupart des bibliothèques pratiquent des mesures et des dénombrements, sous forme statistique simple (cf. tableau 3, Efficacité)

. La construction d’indicateurs proprement dits relève d’une autre logique, dynamique (indicateurs d’efficacité et d’impact) et financière (indicateurs de coûts).

Rubriques 1 à 3

Comme les mesures, les indicateurs des services de référence ne diffèrent pas de ceux que l’on réalise pour les autres salles ou services de la bibliothèque. Ils représentent principalement une aide à la gestion des collections et des matériels ; on doit, en effet, s’inquiéter si l’on constate un faible taux de consultation de certains ouvrages de référence dans la salle qui leur est consacrée ; mieux vaut alors les affecter différemment… ou les désaffecter. On peut affirmer, bien qu’il n’existe aucune statistique publiée pouvant servir d’étalonnage, que les documents d’une salle de référence doivent faire l’objet d’une consultation importante.

Rubriques 4 et 5

Le calcul des taux d’occupation est identique pour la salle de référence et pour les autres salles de la bibliothèque. Dans les deux cas, on l’obtiendra par tranches horaires additionnées au niveau quotidien, soit le nombre de sièges (ou de postes informatiques) occupés divisé par le nombre total de sièges, sur la base d’un décompte à heures fixes : par exemple, sur 20 sièges, 10 étaient occupés à 9 h 30 (50 %), 18 à 13 h 30 (90 %), 13 à 15 h 30 (65 %).

Mais cet indicateur d’efficacité demeure délicat et renvoie à des usages bien différents selon l’objet visé ; il signifiera, dans une salle « ordinaire », le succès de celle-ci, ou l’inadaptation de l’offre de sièges. Outre ces mêmes indications, dans une salle de référence, le taux de remplissage peut révéler un usage détourné ; prévue en principe pour des consultations rapides, une salle de référence peut faire l’objet d’une utilisation par des lecteurs s’installant avec des documents personnels, ou provenant d’autres salles (si les transferts sont autorisés), ou encore, et en toute bonne foi, par des lecteurs s’installant avec des ouvrages de référence se prêtant à une lecture continue. Dans tous les cas, il appartiendra aux responsables de veiller aux flux de documents, de rappeler les usages au moyen d’une signalisation adaptée, et d’organiser l’accès aux documents de manière à distinguer les documents de consultation rapide des documents de « lecture continue ».

Rubriques 6 et 7

Les indicateurs de consultation des documents numériques et de fréquentation globale viennent compléter les deux précédents ; en application de la logique évoquée supra, ils doivent livrer des valeurs élevées, selon la taille de l’établissement. On attend, en effet, que la fréquentation d’une salle de référence reçoive un nombre important d’utilisateurs, qui trouveront rapidement l’information ponctuelle qu’ils cherchent, dans les rayons et/ou sur des écrans.

Rubrique 8

Le taux de satisfaction (TS) est la division du nombre total des demandes d’information satisfaites par le nombre total des demandes déposées dans ces secteurs. La notion de satisfaction est limitée par l’appréciation du personnel, auquel il arrive de surestimer – ou de sous-estimer – la qualité du service rendu. Si la bibliothèque ne peut pas fournir exactement l’information demandée, une réponse de substitution est souvent donnée par le bibliothécaire à qui il reviendra alors de juger s’il a ou non satisfait l’utilisateur. D’ailleurs, un TS élevé peut témoigner en effet d’un optimisme excessif des bibliothécaires de référence sur leurs propres résultats. Mais la littérature bibliothéconomique anglo-saxonne révèle que les TS plafonnent couramment à 60 %. Dans la pratique de notre pays, les professionnels constatent empiriquement qu’une annexe de bibliothèque municipale, un bibliobus, une petite unité d’information (centre de documentation d’établissement scolaire) obtiennent des TS inférieurs à 40 %. Ceux qui exercent dans ces établissements savent bien que la bibliothèque est d’autant plus sollicitée qu’elle reste le seul service public local, ou le plus accessible. De nombreuses demandes seront donc différées ou réorientées, affaiblissant le taux de satisfaction. En fait, ce taux ne saurait avoir de valeur générale et comparative entre les établissements, et mieux vaut l’utiliser comme repère dans l’évolution du service.

Rubriques 9 à 11

La satisfaction des demandes d’information par courrier postal ou électronique relève d’abord d’une logique de délai ; quotidiennement, la personne chargée de cette activité relèvera le nombre de jours entre la date de la demande (porté sur le cachet de la poste ou dans la messagerie) et la date d’expédition par ses soins. Ces chiffres additionnés, puis divisés par le nombre de demandes, indiqueront un délai moyen de réponse, exprimé quotidiennement ou hebdomadairement selon le trafic propre à l’établissement.

Tout professionnel en charge des activités de réponse postale ou de fourniture de document à distance éprouve le besoin d’améliorer les délais, donc d’abord de se donner des repères ; ces derniers sont absolument nécessaires dans le cadre d’une activité souvent saisonnière, à la fluidité de laquelle peut contribuer une demande de renfort ponctuel, argumentée sur la base des indicateurs ainsi construits. Ceux-ci s’appliqueront aussi bien dans le sens de la demande formulée auprès de la bibliothèque par des usagers extérieurs (demandes de prêt entre bibliothèques reçues d’une autre bibliothèque, demandes individuelles d’information) qu’en sens inverse, par la bibliothèque, au bénéfice de ses utilisateurs, des ressources extérieures, tant il est vrai que l’efficacité du service consiste à trouver le bon interlocuteur pour le profit de ses propres clients.

Rubrique 12

Le serveur Internet de la bibliothèque (ou les pages qui sont consacrées à celle-ci sur le serveur de l’institution dont elle relève) feront l’objet d’une veille constante, qui relève organiquement du service de référence ; les méthodes, nombreuses et souvent liées à des logiciels spécifiques, ne seront pas commentées ici.

Rubrique 13

Portant sur un service par nature immatériel, ce point de contrôle de l’efficacité du personnel représente à la fois la principale mesure d’efficacité… et la plus contestable. Cet indicateur ne se confond pas avec le taux de satisfaction, mais a au contraire pour but d’introduire un élément qualitatif. La mesure de base concerne chaque personne en charge d’un bureau d’information, mais l’évaluateur aura soin de légitimer sa démarche dans le cadre de l’efficacité globale du service ; les Anglo-Saxons préconisent une notation de 1 à 4 sur les 6 critères suivants :

– capacité à traiter avec succès une demande d’information immédiate ou rapide ;

– capacité à traiter avec succès une demande de recherche bibliographique (ou d’aide à la consultation du catalogue) ;

– connaissance et maîtrise des outils de recherche informatisés, internes et externes ;

– connaissance au moins élémentaire (maîtrise du vocabulaire) du domaine, dans le cas d’un service d’information spécialisée (dans un établissement lui-même spécialisé ou dans une section spécialisée d’une bibliothèque générale) ;

– connaissance et maîtrise des ouvrages de référence les plus courants (encyclopédies et dictionnaires, traités, bibliographies) ;

– capacité à mener « l’entretien de référence » avec l’utilisateur, c’est-à-dire à analyser sa question, à obtenir d’éventuelles précisions et à mener la démarche de recherche avec tact, rigueur et clarté.

Les notes attribuées dépendront des réponses à un jeu de questions élaborées à partir d’une sélection et d’un arrangement de questions fréquemment posées par les utilisateurs. La méthode la moins traumatisante, selon les professionnels d’outre-Atlantique, est la méthode « discrète », qui consiste à tester les bibliothécaires de référence sans les en informer, en confiant les questionnaires à des enquêteurs se présentant comme de simples usagers. Techniquement, le choix des questions relève d’une autorité particulièrement compétente en la matière ; fondamentalement, on ne présentera jamais l’évaluation comme un test d’aptitude, encore moins comme un examen lié à la carrière. Il s’agit seulement d’améliorer globalement le service de référence, en appelant l’attention des acteurs principaux sur des points d’excellence ou des lacunes à combler.

Indicateurs d’impact

La norme ne distingue pas les indicateurs d’impact des indicateurs d’efficacité ; cependant, leur usage permet non seulement de suivre l’évolution du service d’information lui-même, mais encore de situer l’influence de celui-ci par rapport aux autres services, et, au-delà, d’évaluer l’influence de la bibliothèque sur la communauté qu’elle dessert.

Dans le tableau 2

, le nombre total des transactions de référence correspond à l’addition des rubriques A + B + C. Le total annuel des transactions de référence sera divisé par la population desservie, afin d’établir le « taux de transactions de référence per capita » (TTRPC). La population desservie correspond au nombre d’habitants que la bibliothèque publique a pour mission de desservir, ou au nombre d’étudiants inscrits à l’université ou dans les enseignements auxquels est liée la section de bibliothèque universitaire. Par exemple, pour une population desservie de 11 502 habitants, 25 490 questions ont été posées dans une année ; le TTRPC est donc de 2,21. La collecte quotidienne sur toute l’année représente une charge assez lourde et de nombreux établissements seront tentés de travailler par échantillonnage ; dans ce cas, l’échantillon sera créé sur la base de deux sondages d’une semaine, à quelques mois de distance sur une année, afin d’écrêter de possibles variations saisonnières.

Cependant, la mesure de base n’est en rien qualitative, et ne reflète que le nombre de questions posées par le public. Un TTRPC élevé indique le recours fréquent au bibliothécaire, ce qui peut révéler des difficultés dans l’utilisation de la bibliothèque, ou un excès de confiance du public envers le personnel...

La construction de cet indicateur autorise à la fois une comparaison dans le temps, comme repère pour l’impact du service de référence, et une comparaison avec d’autres services de la bibliothèque : prêt, expositions. Ainsi, le nombre de prêts par habitant est un « classique » des indicateurs exigés par l’autorité de contrôle. Sur la base des TTRPC et du nombre de prêts par habitant, un responsable d’établissement imaginera, dans ce sens, un redéploiement des postes les plus qualifiés du prêt, où leur présence apparaîtra sans grand intérêt, vers les postes d’information où ils devraient s’avérer plus utiles ; mais on peut très bien découvrir (ou confirmer), à cette occasion, que le public préfère questionner les bureaux de prêt que les bureaux d’information. L’utilité des indicateurs est ici, non seulement de justifier des réorganisations, mais aussi, et avant tout, d’éclairer les usages.

Indicateurs de coût

Les indicateurs de coût ont pour objet l’évaluation des moyens et la comparaison de ceux-ci entre eux. On peut construire ces indicateurs à partir de chacune des mesures définies dans le tableau 1, en les globalisant (par exemple, coût global du service de référence = coûts documentaires + matériels + personnels), ou en les limitant à certains aspects (coûts matériels). Assimilable à une comptabilité analytique, cette méthode trouvera rapidement ses limites dans le cadre des administrations publiques. Mais les évolutions réglementaires en cours favorisent la globalisation des budgets et viennent à propos s’adapter à la diversité des supports documentaires dans le domaine des ouvrages de référence ; il devient notamment plus aisé (et plus justifié) de moduler les licences d’utilisation des cédéroms en version monoposte ou réseau, selon l’usage évalué dans les diverses salles.

Du bon usage des mesures et indicateurs

À quoi servent les statistiques et les indicateurs ? À satisfaire la manie gestionnaire et l’idéologie qui la sous-tend, répondront de nombreux professionnels. On ne reprendra pas ici les propos plus ou moins ironiques ou amers, mais souvent justifiés, des réfractaires à une évaluation mal comprise car mal présentée.

Dans l’organisation quotidienne d’une bibliothèque, la seule observation empirique suffit aux responsables et à leurs collaborateurs, lorsqu’il s’agit de renforcer un bureau d’information, débordé par l’affluence, ou, par exemple, de différer une exposition, dévoreuse de temps pour un personnel très sollicité au moment des inscriptions. Mais dans une bibliothèque, l’élaboration d’indicateurs contribue au débat autour de ses missions.

Et la comparaison de ces indicateurs pose des questions parfois douloureuses ; le nombre de prêts par habitant et le TTRPC risquent, dans bien des bibliothèques publiques, d’afficher une prépondérance écrasante par rapport à un indicateur identique pour les expositions réalisées par cette même bibliothèque (nombre d’entrées par rapport à la population desservie).

Faut-il céder à « l’audimat » et renoncer à une activité qui atteint peu d’utilisateurs tout en mobilisant des forces importantes en effectif et qualification ? Certains professionnels, considérant la latitude que leur autorisent les textes, favoriseront la mission d’information remplie par les bibliothèques, d’autres en accentueront le rôle culturel. On voit que la maîtrise des outils de gestion ne dispense pas des choix politiques.