Statistiques et évaluation dans les bibliothèques universitaires françaises

Historique et présentation de la mise au point de l'appareil d'évaluation statistique dans les bibliothèques universitaires françaises. L'enquête statistique générale qui fonctionne depuis 1976 va être renforcée par le tableau de bord qui est un système de pilotage au niveau local, utilisant un certain nombre d'indicateurs exprimés en valeurs relatives ou en ratios (taux de pénétration du public, degré de libre accès, taux de renouvellement des collections, etc.), moyennes (délais d'acquisition, prêt entre bibliothèques). Ce tableau prévoit une répartition fonctionnelle des coûts de gestion et permet de mieux cerner le coût unitaire de chacune des transactions (acquisition ou catalogage d'un volume). Il comporte aussi des éléments d'évaluation qualitatifs.

A review and a presentation of statistical evaluation in French university libraries. ESGBU (General statistic attempt in university libraries), created in 1976, will be strengthened by the instrument panel, a local piloting system. The indicators of this system plan to share out the management costs functionally and to define the unitarian cost of each transaction (acquisition or cataloguing of a document). In this panel there are also some qualitative evaluation elements.

Du bon usage des statistiques. Longtemps instrument rébarbatif destiné à d'obscures tâches de bureaucratie, les statistiques finissent par retrouver leur destination initiale : information, comparaison, mais surtout gestion. La révolution statistique a mis plusieurs années à s'introduire dans le monde des bibliothèques. Celles-ci deviendront-elles le secteur de pointe de l'université ?

L'initiative en matière de collecte et de publication de statistiques relatives aux bibliothèques universitaires est venue en France, non pas de groupements de bibliothèques ou d'associations professionnelles, comme dans d'autres pays, mais du ministère de l'Education nationale, dans le cadre de ses responsabilités administratives à l'égard des bibliothèques. Les premières données publiées remontent au début des années 1950. C'est la décision, prise en 1952, de publier ces statistiques qui a permis de commencer à unifier les méthodes de collecte des données et de progresser dans ce domaine. Ainsi disposons-nous des résultats des années 1953-1954 à 1959-1960, qui ont paru dans le Bulletin d'information de la Direction des bibliothèques de France, puis dans le Bulletin des bibliothèques de France. Tableaux et commentaires s'appuyaient sur quelques données essentielles relatives au service public (usagers, fréquentation, nombre de places, communications et prêts) et aux services intérieurs (accroissement des collections).

Les années 60 ont marqué un bond dans l'essor des universités. Ont été créés de nombreux centres universitaires, qui se sont transformés ensuite en universités de plein exercice avec, pour conséquence, la construction de nouvelles bibliothèques. Nous ne disposons pas de statistiques publiées pour ces années d'essor rapide, de 1960 à 1973. Cette période s'est caractérisée cependant par la participation de la France à la normalisation internationale des statistiques de bibliothèques.

L'enquête statistique

Ce travail de normalisation a porté ses fruits dans le cadre français en 1976, année de création de l'Enquête statistique générale auprès des bibliothèques universitaires (ESGBU), dont le premier bilan porta sur l'année 1974. L'ESGBU est une enquête statistique annuelle, en deux questionnaires. Le fascicule « Sections » concerne chaque point de desserte et dresse le bilan du service public, établit l'inventaire des moyens (personnels, locaux, matériels, collections), mesure l'accroissement des collections et les dépenses documentaires correspondantes. Le fascicule « Ensemble de la bibliothèque » concerne chaque unité administrative et présente le bilan financier de l'exercice budgétaire : les recettes sont distinguées selon la source de financement et les dépenses sont ventilées par nature (locaux, personnel, acquisitions, reliure, fonctionnement courant).

Les résultats de l'ESGBU ont été publiés dans le Bulletin des bibliothèques de France pour les années 1974 à 1984, puis ont fait l'objet depuis 1985 d'une diffusion sous forme de fascicule par la Direction des bibliothèques, des musées et de l'information scientifique et technique (DBMIST), dépendant du ministère de l'Education nationale. L'ESGBU, qui est le fruit de la réflexion de l'ensemble de la profession, a connu des perfectionnements jusqu'à atteindre sa forme la plus complète en 1982.

Parallèlement à l'ESGBU, a été introduite en 1975 une enquête annuelle sur le prêt entre bibliothèques, dont les résultats ont été publiés régulièrement. Enfin, une enquête statistique sur la recherche documentaire informatisée a été créée en 1985, mais elle n'a pas donné lieu jusqu'à maintenant à une publication officielle.

L'année 1982 est une période charnière pour les statistiques des bibliothèques universitaires françaises. Un événement marquant en fut l'organisation du colloque de l'Association des universités partiellement ou entièrement de langue française (AUPELF), à Nice, en décembre 1982, sur l'Evaluation des bibliothèques universitaires (3). Y ont participé des représentants de 30 bibliothèques universitaires françaises, et ces journées ont joué un rôle d'incitation au développement des études sur le fonctionnement des services. Selon une enquête réalisée par la DBMIST en 1984, une dizaine de bibliothèques se sont ensuite intéressées à des thèmes tels que l'utilisation des collections de périodiques et de manuels, les causes de non-satisfaction des usagers, les délais de satisfaction des demandes de prêt entre bibliothèques, le fonctionnement des services de recherche documentaire informatisée ou d'enseignement assisté par ordinateur, ou le prix de revient des photocopies.

Cependant, selon le rapport de la DBMIST, ces études ne répondaient pas pleinement à la démarche de l'évaluation, car il y manquait une dimension à la fois globale et dynamique, faute de définition d'objectifs auxquels on puisse comparer les résultats obtenus. Seule une bibliothèque, celle de l'Université de technologie de Compiègne, disposait alors d'un tableau de bord. Restait pour l'ensemble des bibliothèques à faire' le chemin allant du constat de l'existant à l'évaluation.

Evaluer, une nécessité

L'enquête statistique nationale ne permettait pas une démarche dynamique d'évaluation. Certes, les statistiques publiées au niveau national sont utiles à l'ensemble des bibliothèques, à condition que les données en aient été collectées selon des méthodes uniformes; elles permettent à chacune de se situer par rapport à des établissements de taille comparable. Elles sont cependant, de par leur caractère général, muettes sur bien des aspects et ne remplacent pas un travail d'évaluation de chaque bibliothèque au plan local. En effet, seul ce travail, qui mérite d'être partie intégrante de chaque activité, peut dire si la bibliothèque remplit ses fonctions de façon satisfaisante.

Cette remise en question coïncidait avec l'ouverture de services nouveaux, et le développement de nouvelles technologies, qui ont posé aux bibliothèques des problèmes économiques et les ont rendues conscientes des nécessités d'une évaluation des coûts et des performances. Certains services (le prêt entre bibliothèques, la recherche documentaire informatisée) sont devenus payants pour l'usager, ce qui a amené à réfléchir à la politique tarifaire, et, en contrepartie, à s'interroger sur les taux de satisfaction des usagers et sur l'adéquation à la demande du public. Le développement de l'informatisation du catalogage a joué un rôle non négligeable dans cette prise de conscience : la charge en investissement et en fonctionnement qu'elle implique rend les choix en la matière lourds de conséquences, et contraint à une évaluation comparée des coûts et des résultats attendus ou obtenus.

Cette modernisation des bibliothèques s'opérait en même temps qu'une réflexion sur l'organisation de la documentation au sein d'universités disposant d'une autonomie accrue, réflexion qui a conduit à une transformation de la bibliothèque universitaire en service commun de la documentation universitaire. Le but est de parvenir à une intégration de la bibliothèque au sein de l'université et de constituer un système documentaire unique et cohérent, fédérant toutes les bibliothèques de l'université dans un même service. Certes, les différentes bibliothèques peuvent participer à des degrés divers à ce service selon qu'elles y sont intégrées ou associées, mais les instances responsables (président, conseils, directeur du service de documentation universitaire) sont amenées à élaborer une politique documentaire commune à l'ensemble de l'université et à fixer des objectifs de développement en fonction des priorités retenues.

En même temps que cette évolution statutaire, se développait une évolution dans la politique d'allocation de crédits au niveau national, avec le lancement de contrats quadriennaux de recherche ou de contrats pour la rénovation des enseignements de premier cycle universitaire. Ces contrats comportent des volets documentaires, et la répartition des moyens aux bibliothèques universitaires ne se fait donc plus uniquement selon des critères normés (lecteurs potentiels, disciplines), même si cette enveloppe normée représente encore de loin la part la plus importante. Cette démarche contractuelle, complétée par la mise au point de contrats de modernisation des bibliothèques et intégrée dans les nouveaux contrats d'établissement lancés en 1989, suppose la définition d'objectifs documentaires ou relatifs au fonctionnement et à l'organisation des services, et l'élaboration d'outils de contrôle des résultats. Ainsi, ce sont ces volets documentaires contractuels qui ont entraîné la mise en place de plans de développement des collections, selon la méthode CONSPECTUS.

Tout cet ensemble amenait à considérer que les bibliothèques ne devaient pas simplement être jugées et financées selon des critères de potentialités, mais selon les objectifs définis et les résultats obtenus. Le bilan statistique annuel établi au niveau national que représente l'ESGBU ne pouvait répondre à l'ensemble de ces questions. Il fallait en effet un outil basé sur des indicateurs récents et pertinents, les résultats devant être mesurés rapidement, avec la marge d'incertitude corrélative à cette célérité, de façon à pouvoir infléchir à temps le cours de l'action. Ce ne pouvait être l'objet de l'enquête statistique annuelle, qui vise à l'exactitude d'un bilan a posteriori, et montre son utilité pour la consolidation des données sur la base de vérifications plus précises.

Un tableau de bord

C'est pourquoi la DBMIST a constitué à l'automne 1984 un groupe de réflexion, chargé de l'élaboration d'un tableau de bord de gestion, réunissant des directeurs de bibliothèques universitaires et présidé par Gérard Thirion, inspecteur général des bibliothèques. Un projet a été diffusé à l'ensemble des bibliothèques universitaires au cours de l'année 1986. Ce projet fut discuté et amélioré à la suite de larges réunions d'information auxquelles ont participé plus de 200 professionnels. Il fait l'objet depuis 1987 d'un test dans 8 bibliothèques : Amiens, Montpellier, Mulhouse, Nancy, Cujas, Paris VI, Paris X et Paris XI.

Le but est de constituer un sytème de clignotants, permettant de vérifier l'évolution de la bibliothèque et la direction dans laquelle elle poursuit son action. A l'aide de cet instrument, on peut comparer les objectifs fixés, les moyens mis en œuvre et les résultats obtenus. Le tableau de bord développe une analyse des données en termes d'écart dans le temps (comparaison de la bibliothèque à elle-même) ou d'écart par rapport à un comportement moyen (comparaison entre des bibliothèques semblables). Cette méthode, loin de viser à l'homogénéité des comportements, présente surtout de l'intérêt en ce qu'elle met à jour les situations particulières.

Le tableau de bord ne remplace donc pas l'enquête statistique nationale, mais est un instrument de pilotage au plan local: il ne permet évidemment pas un pilotage automatique, mais il constitue un outil de dialogue et d'aide à la décision pour les divers intervenants de la documentation universitaire sur la base d'informations compréhensibles par tous, fiables et récentes. Il aide ainsi les instances universitaires à mieux s'adapter à la demande, et à optimiser les ressources disponibles. A ce titre, il est complémentaire de l'élaboration de la politique documentaire de l'université ; il éclaire la formulation des choix de développement, qu'il s'agisse de déterminer les priorités entre disciplines, de décider de l'organisation des services ou de choisir des équipements adaptés aux besoins de la collectivité ou au volume des activités.

Le tableau de bord, servant à l'élaboration de ces décisions, doit également avoir un effet en retour grâce à un contrôle régulier de la réalisation des objectifs ; c'est ainsi qu'il rend possible de corriger ou d'infléchir les actions en cours. Il est par là un outil indispensable pour une gestion autonome des universités en matière documentaire.

Le tableau de bord s'appuie donc sur un système d'indicateurs. Ainsi que le rappelle Daniel Renoult, alors directeur de la Bibliothèque universitaire Paris X Nanterre, « l'indicateur peut être défini comme la représentation chiffrée d'une variable significative pour la gestion. Représentation chiffrée signifie exactitude, constance, comparabilité dans le temps, équité. En somme, un indicateur devrait dans l'idéal être indiscutable ou au moins dépourvu de toute ambiguïté » (5). De ce fait, les indicateurs sont exprimés dans la plupart des cas sous forme de valeurs relatives, plutôt que de valeurs absolues, afin d'avoir un sens par rapport à la situation de l'organisme à un moment donné. Ce tableau de bord, s'il repose sur la collecte régulière de données brutes, est donc distinct dans sa démarche d'une simple enquête statistique.

Les indicateurs du tableau de bord sont en effet des interprétations des données statistiques. Certaines données recueillies sont exprimées ensuite sous forme de ratios, tel le taux de pénétration du public, le degré de libre accès, le taux de satisfaction des demandes de prêt entre bibliothèques, le pourcentage d'emprunt des nouvelles acquisitions ou le taux de renouvellement des collections.

D'autres données aboutissent à une synthèse sous forme d'indices, établis par comparaison entre les sections d'une même bibliothèque ou bien d'une même discipline : il s'agit des indices d'activité et des indices d'encadrement et de charge de travail par catégorie de personnel. A ce sujet, les tests en cours n'ont pu confirmer l'hypothèse du projet ' initial : il visait en effet à exprimer la mesure de l'activité ou de la charge de travail en un seul indice synthétique, qui serait fabriqué par pondération d'indices propres à chaque secteur d'activités (le prêt, les acquisitions, la recherche documentaire, la formation des usagers, etc.). Si l'on peut disposer d'indices propres à chaque activité, les bibliothèques tests n'ont pu trouver une formule de pondération incontestable et applicable à toutes. La mesure des activités, si elle peut être quantifiée, ne peut trouver toute son expression dans un nombre unique. Cet indice unique, en effet, masquerait la singularité du comportement de chaque secteur, et ne traduirait pas de façon exhaustive toute une série d'activités difficilement quantifiables.

Enfin, d'autres données sont exprimées sous forme de moyenne, tels que les indicateurs de délai, relatifs au fonctionnement des services d'acquisition et de traitement des documents, ou au prêt entre bibliothèques.

Analyser les coûts

Les principaux indicateurs du tableau de bord, présentés dans les documents en annexe, sont relatifs à l'évolution du public et à l'encadrement en personnel, à la mesure des activités et de la charge de travail, à l'évolution des ressources documentaires et au coût des services.

L'un des aspects les plus novateurs de ce tableau de bord pour les bibliothèques universitaires françaises est l'analyse fonctionnelle des coûts de gestion. Les dépenses y sont en effet étudiées par fonction ou par service : acquisition, traitement, conservation, communication, référence, recherche documentaire informatisée, prêt entre bibliothèques, réseaux, formation, administration, maintenance des locaux. Si de telles méthodes d'analyse fonctionnelle sont bien connues au niveau international et ont déjà fait l'objet d'applications, les études. dans ce sens dans les bibliothèques universitaires françaises sont rares jusqu'à maintenant. On peut citer, à titre d'exemple, l'analyse des tâches menée par Gérard Thirion à Nancy en 1976 (8).

L'analyse fonctionnelle des coûts de gestion vise à calculer le coût global de chaque fonction, à partir de l'étude des différents éléments de dépense rattachés à chacune. Elle suppose en premier lieu que l'on connaisse la répartition des effectifs de chaque catégorie de personnel par fonction, les dépenses en personnel imputables à chaque fonction pouvant ensuite être chiffrées sur la base d'un coût moyen annuel par catégorie. Cette ventilation des effectifs par fonction n'est pas une évidence en France, où les bibliothèques universitaires sont organisées en sections disciplinaires et où les personnels accomplissent souvent les tâches les plus diverses. Une telle représentation par fonctions nécessite donc la mise en place préalable d'un organigramme (sans préjuger du type d'organisation réelle de la bibliothèque : par nature de documents, par fonction, par discipline ou par niveau de lecteur). Cette approche repose donc sur la définition des responsabilités de chacun au sein de la bibliothèque : elle joue ainsi un rôle dynamique, car elle va de pair avec la responsabilisation des personnels à la gestion de l'établissement.

La répartition par fonctions des coûts de gestion s'appuie d'autre part sur la notion d'environnement documentaire. Tout ce qui sert à une fonction documentaire (qu'il s'agisse d'équipements en matériels ou de prestations de services) entre dans le coût de cette fonction.

La mesure des services rendus pendant la même période permet de pousser plus à fond l'analyse des dépenses de chaque service par la détermination des coûts unitaires des services. Le rapport entre le coût global d'une fonction et le volume d'activités correspondant exprime ce coût unitaire : par exemple le coût de traitement d'une acquisition ou de catalogage d'un volume, le coût d'une transaction de prêt ou d'une minute d'interrogation. Ce coût est global, car il comprend les frais directs et indirects, que les dépenses soient supportées sur le budget de la bibliothèque ou non. La connaissance de ce coût global aide à fixer une politique tarifaire pour les services payants en délimitant ce qui est subventionné et ce qui est dû par l'usager.

Les données sur les coûts unitaires et sur la charge de travail contribuent à mesurer les effets de la modernisation des activités ou à en projeter les effets dans l'avenir, de façon à formuler une politique de développement adaptée aux besoins de la bibliothèque. Ce sont également des données indispensables pour opérer des choix d'implantation de matériels qui soient proportionnés à la taille de l'organisme et correspondent aux objectifs préalablement définis.

L'analyse des coûts de fonctionnement des services ne peut être complète sans poser la question de l'opportunité des dépenses. L'évaluation de l'activité n'est pas seulement quantitative, elle comprend un deuxième volet essentiel, relatif à la qualité du service. Celle-ci peut être appréciée objectivement (par l'étude du fonctionnement de la chaîne documentaire) ou bien subjectivement (par sondage auprès des usagers). Elle repose notamment sur l'analyse de l'adéquation des services et des fonds aux demandes des usagers et sur les enquêtes relatives aux délais et aux taux de satisfaction.

Les précautions à prendre

Le projet de tableau de bord présenté en annexe en est à l'étape du test. Parmi les conclusions provisoires de ce test, on peut relever tout d'abord que la réussite du tableau de bord dépend de l'existence d'un socle statistique solide. Il faut en effet disposer de séries significatives concernant les données à partir desquelles sont constitués les indicateurs, afin d'éviter des erreurs d'interprétation concernant des variations ou des à-coups.

Le deuxième point est que la mesure de l'activité, pour être complète et significative, doit s'appuyer sur des évaluations relativement difficiles à réaliser et nécessitant des sondages, si l'on ne veut pas se limiter à une vision traditionnelle de la bibliothèque. Ainsi, la consultation des collections doit être mesurée non seulement d'après les communications dûment enregistrées (prêt et communications sur bulletins), mais aussi en fonction d'une estimation de l'utilisation des fonds en accès libre. De même, l'évaluation de la fréquentation réelle de la bibliothèque ne peut se cantonner à la mesure des lecteurs inscrits pour le prêt ou la consultation, et il faut s'efforcer de chiffrer, par des sondages, les usagers réels de la bibliothèque. Ces deux exemples, parmi d'autres, ont une grande importance pour l'image de marque de la bibliothèque : en effet, les bibliothécaires n'ont pas pour but de mettre en place des modes de fonctionnement où tout soit forcément mesurable en sorte qu'ils puissent prouver à leurs instances de décision les progrès effectués, mais de favoriser l'usage le plus libre possible des collections par les lecteurs ; encore faut-il qu'ils mettent en place des dispositifs pertinents et les plus légers possible permettant d'évaluer les services rendus par des bibliothèques fonctionnant effectivement de façon moderne.

Le troisième point est qu'il faut veiller à ne pas introduire trop rapidement et de façon volontariste ce tableau de bord ; il vaut mieux avancer avec prudence, en assurant d'abord une large information et une formation des personnels aux statistiques et à l'évaluation, cette formation devant être renforcée dans les cursus de formation initiale de bibliothécaires.

Le dernier point et le plus important, est que préalablement à l'application du tableau de bord, il faut définir, en se basant sur le dialogue entre personnels et usagers et sur la délibération dans les instances de décision, les objectifs correspondant à la politique de développement de la bibliothèque. Une fois les objectifs fixés, on peut s'appuyer sur ce modèle pour y choisir des indicateurs qui soient adaptés aux besoins, et veiller ainsi à une introduction progressive de ce tableau de bord.