Bibliothèques universitaires

L'enquête statistique annuelle à l'épreuve du changement

Alain Colas

Depuis trente ans, l’Enquête statistique générale des bibliothèques universitaires (ESGBU) constitue un outil national et régulier de mesure de l’activité, des collections et des moyens des bibliothèques universitaires. Son approche comparative permet aux BU de se situer, et à l’État de les piloter dans leur ensemble. L’ESGBU connaît actuellement deux changements majeurs. Le premier provient de la mesure, depuis 2004, de la consultation de la documentation électronique. Le second est lié à la mise en œuvre de la Loi organique relative aux lois de finances : dans le cadre du nouveau dispositif de financement public, qui s’appuie sur des contrats entre l’État et les établissements, l’ESGBU devient un élément central de l’évaluation de leur performance.

For the last 30 years, The University Library General Statistical Survey (ESGBU) has been the national mechanism and regulator of measures of activity of the collections and resources of university libraries. Its comparative approach allows university libraries to position themselves, and for the State to have overall control over them. At present, ESGBU is undergoing major changes. Since 2004, the first change derives from the measurement of access to electronic documents. The second is linked to the implementation of the Constitutional Law relative to laws of finance: in the context of new methods of public finance, which are based on contracts between the State and establishments. Hence, the ESGBU becomes a central component in their performance evaluation.

Seit 30 Jahren ist die jährliche statistische Erfassung von Universitätsbibliotheken (ESGBU) ein Instrument das die Aktivitäten, Sammlungen und Mittel der Universitätsbibliotheken regelmässig und auf nationaler Ebene misst. Über den vergleichenden Ansatz können Universitätsbibliotheken sich einerseits gegenüber den anderen positionieren, andererseits ermöglichen sie es dem Staat sie gemeinsam zu steuern. Die ESGBU hat vor kurzem zwei wichtige Änderungen erfahren. Die erste durch die statistische Erfassung der Nutzung von elektronischen Ressourcen in Bibliotheken (seit 2004) und die zweite über die Durchführung eines auf dem Finanzrecht beruhenden Gesetzes: im Rahmen der neuen Massnahme für öffentliche Ausgaben, die sich auf Verträge zwischen dem Staat und den Einrichtungen stützt, wird die ESGBU zum zentralen Teil für die Bewertung ihrer Leistungen.

Desde hace 30 años, la encuesta estadística general de las bibliotecas universitarias (ESGBU) constituye una herramienta nacional y regular de medida de la actividad, de las colecciones y de los medios de las bibliotecas universitarias. Su enfoque comparativo permite a las BU de situarse, y al Estado de pilotarlas en su conjunto. La ESGBU conoce actualmente dos cambios mayores. El primero proviene de la medida, desde el año 2004, de la consulta de la documentación electrónica. El segundo está ligado a la ejecución de la Ley orgánica relativa a la ley de finanzas : en el marco del nuevo dispositivo de financiación pública, que se apoya en contratos entre el Estado y los establecimientos, la ESGBU se vuelve un elemento central de la evaluación de su performance.

Si l’on devait célébrer en cette année 2006 un anniversaire de plus dans le microcosme des bibliothèques, on pourrait oser celui-ci : les trente ans de l’Enquête statistique générale des bibliothèques universitaires (ESGBU), qui fut lancée pour la première fois en 1976. Cet ultime avatar de ce que Pierre Carbone appelait, dans un article paru en 1989 dans le BBF  1, la « révolution statistique » est aujourd’hui installé dans le paysage documentaire français, constituant un point de rendez-vous annuel pour les responsables des bibliothèques de l’enseignement supérieur.

Faut-il le rappeler ici, il fut un temps où, année après année, les résultats de cette enquête étaient présentés dans ce même BBF  2. Du reste, la lecture de la première présentation qui en a été faite 3 est des plus instructive : on y apprend en effet qu’il s’agissait, pour le Service des bibliothèques du secrétariat d’État aux Universités, de mettre en place un outil national et régulier de mesure des activités et des moyens des bibliothèques universitaires, dans une approche comparative. Cet objectif est toujours d’actualité.

Pour autant, en trente ans, l’ESGBU a nécessairement connu, par touches successives, des mutations dans sa sphère de mesures, épousant, autant que faire se peut, les évolutions de l’environnement aussi bien institutionnel et politique que strictement documentaire. De fait, elle est aujourd’hui à un tournant pour des raisons de nature différente mais tout aussi prégnantes :

  • la dématérialisation des ressources impliquant de nouveaux besoins et modes de consommation dans un environnement économique spécifique et contraignant ;
  • une politique nationale budgétaire recomposée des services publics au travers de la mise en œuvre de la Loi organique relative aux lois de finances (Lolf).

Une logique comparative

Un outil de pilotage

Dès 1976 4, l’ESGBU devait constituer, pour l’État, un outil de pilotage des bibliothèques de l’enseignement supérieur : répartition des moyens, développement et coordination documentaires. Elle aura eu de ce fait la vertu de regrouper des données statistiques jusqu’alors fragmentaires et d’unifier la méthode de collecte 5. Cette logique jacobine à la française n’est pas sans force : inscription de cet outil dans la durée, recouvrement cohérent de l’ensemble des services documentaires des établissements de l’enseignement supérieur. Elle n’est pas non plus sans faiblesse : la prise en compte de cette enquête par les bibliothèques concernées ne se fait pas toujours dans une pleine adhésion loin s’en faut, considérée encore aujourd’hui par d’aucuns comme un instrument de contrôle, d’autant plus qu’elle ne répond que partiellement aux besoins d’évaluation qui touchent à la qualité des services et aux usages.

Néanmoins, si on la considère dans ses différentes déclinaisons depuis son origine, elle reflète bien, peu ou prou, les évolutions de l’environnement documentaire : constitution des services communs de la documentation (SCD), modernisation, progression des budgets documentaires, amélioration de l’offre, explosion des ressources électroniques…

Fiche d’identité

Chaque année donc, entre les mois de mars et mai, l’ESGBU se rappelle au bon souvenir des services documentaires. Elle concerne aujourd’hui 157 bibliothèques des universités, des INSA (Instituts nationaux des sciences appliquées), des IUFM (Instituts universitaires de formation des maîtres) et des grands établissements. Il convient de souligner, et c’est une constante depuis maintenant de très nombreuses années, que toutes répondent à l’enquête, à l’exception notable de l’université de Corte (cela n’est évidemment pas de nature à influer sur les moyennes ou les ratios).

La collecte des données se fait par voie électronique depuis 1999, via un site web dédié, cette opération étant entièrement pilotée par la Sous-direction des bibliothèques et de l’information scientifique (SDBIS), à la Direction générale de l’enseignement supérieur (DGES). Les résultats sont présentés et commentés dans l’Annuaire statistique des bibliothèques universitaires, publié par la Documentation française, qui paraît en septembre-octobre, et sont consultables en ligne au travers de l’application Asibu 6. Cette dernière permet, outre la consultation des données, l’élaboration de tableaux comparatifs par établissement, académie ou dominante disciplinaire, la production d’indicateurs quantitatifs et le calcul de ratios.

Que mesure l’ESGBU ?

Trois grandes entrées structurent cette enquête 7 : l’activité et les services ; les collections et les acquisitions ; les moyens, locaux et personnels.

L’enquête, dans le respect de la norme ISO 2789 (information et documentation, statistiques de bibliothèques), comprend près de 280 champs à renseigner pour des données qui recouvrent l’année civile, à l’exception des lecteurs inscrits, pour lesquels c’est l’année universitaire qui est concernée. Ceux-ci se répartissent entre une quinzaine de groupes d’indicateurs (voir tableau 1).

Illustration
Tableau 1. Ce que mesure l'ESGBU

Les bibliothèques Cadist (Centres d’acquisition et de diffusion de l’information scientifique et technique) font en outre l’objet de questions spécifiques dans le cadre de leurs principales missions : acquisitions et prêts.

À côté de la mesure des stocks qui reste à un niveau très général (collections en mètres linéaires et en volumes), et en définitive peu regardée, c’est la mesure des flux qui, bien évidemment, appelle toute l’attention : fréquentation, prêts, acquisitions, dépenses documentaires…

Cette enquête ne s’arrête pas à la mesure de l’activité des services documentaires dans leur globalité, ou au niveau de chaque établissement. Il s’agit bien ici de donner du sens aux simples données statistiques brutes, en les croisant entre elles dans une double perspective : inscrire les activités et les moyens dans le temps et construire des ratios.

À ce titre, l’approche comparative est au centre de l’ESGBU : chaque service documentaire peut « se mesurer » à un autre et à l’aune de ceux de sa catégorie, au sein de cinq familles de bibliothèques :

  • GP : grandes pluridisciplinaires (desservant plus de 12 000 étudiants potentiels) ;
  • PMP : petites et moyennes pluridisciplinaires (moins de 12 000 étudiants) ;
  • DSTM : dominante Sciences, Technique, Médecine ;
  • DLSH : dominante Lettres, Sciences humaines ;
  • DSE : dominante Droit, Sciences économiques.

Cette nécessaire approche comparative peut paraître un truisme dès qu’il s’agit de mesures nationales. Mais, comme l’a rappelé Roswitha Poll (bibliothèque universitaire de Münster, Allemagne) dans sa communication présentée au dernier congrès de l’Ifla, à Séoul 8, encore faut-il que les indicateurs choisis obéissent à cette logique d’une manière pertinente. En d’autres termes, et c’est ce qui fait le paradoxe du carcan normatif, un tel outil doit être in fine corvéable à merci, ouvert à toutes les combinaisons possibles (moyennes, ratios…), prêt à toutes les mutations.

Par ailleurs, l’ESGBU intègre une dimension que R. Poll n’a pas développée dans son intervention, celle du temps. En l’espèce, l’ESGBU présente, d’une certaine manière, une acculturation essentielle à son intérêt, fruit d’assimilations raisonnées, à commencer par des enquêtes statistiques qui ont préexisté. Parallèlement, elle donne, si on la considère dans la durée, la mesure de l’évolution des bibliothèques universitaires, dans leur encore jeune existence. On peut ainsi fixer quelques exemples :

  • la forte progression des dépenses documentaires, améliorant très sensiblement le ratio par étudiant (voir graphique 1) ;
  • l’augmentation du niveau d’activité des bibliothèques, qui a suivi la massification des universités dans les années 1990 (voir graphique 2) ;
  • un taux d’inscriptions stable ces dernières années correspondant à une légère décrue des effectifs étudiants ; mais une progression de la fréquentation ces trois dernières années (voir tableau 2) ;
  • une remontée des achats de monographies depuis 2002, malgré la pression des coûts des périodiques papier étrangers et des ressources électroniques, parallèlement à la mise en œuvre du LMD – licence, master, doctorat (voir tableau 3) ;
  • et, bien sûr, l’explosion des ressources électroniques.

Illustration
Graphique 1. Evolutions comparées des effectifs étudiants en université et des moyens de la documentation (base 100 en 1990)

Illustration
Graphique 2. Evolutions comparées des effectifs étudiants en université et de l'activité des services (base 100 en 1990)

Illustration
Tableau 2. Taux d'inscriptions et fréquentation.

Illustration
Tableau 3. Achats de monographies

Illustration
Ressources électroniques

Une évolution majeure en 2004

Dans cette chaîne de l’évolution, on s’arrêtera plus particulièrement ici sur l’apport le plus récent et le plus significatif qui concourt à l’enrichissement de l’enquête. Intégrée pour la première fois en 2004 (pour 2003), la mesure de la « consultation de la documentation électronique » vient combler un manque dans le champ des indicateurs d’usage de l’ESGBU, notamment par rapport à des outils statistiques du type de l’Association of Research Libraries (ARL) 9 aux États-Unis. Il résulte d’un travail fait en 2002 et 2003, à la demande du Ministère, par des professionnels des bibliothèques, et dans le respect des normes ISO. Chaque champ est explicité dans le mode d’emploi général accessible en ligne.

Il s’agit de mesurer la consultation de la collection électronique d’une part dans l’établissement et d’autre part hors de l’établissement (hors les murs) via le site web. Deux indicateurs permettent de mettre en perspective ces données :

  • un indicateur de gestion : le rapport coût/utilisation ;
  • un indicateur de performance : le rapport offre/utilisation 10.

Aux termes de deux campagnes de recueil de ces données (2004 pour 2003 et 2005 pour 2004), le bilan est contrasté. La première année, seul un quart des services documentaires a été en mesure de répondre pour la consultation des ressources électroniques. Les taux de réponses étaient très hétérogènes selon les types de documents, selon qu’il s’agissait de sessions ou de requêtes, selon les familles de bibliothèque. En outre, les données n’étaient pas toujours fiables ni consolidées. En 2004, les taux de réponses ont été globalement meilleurs, et la mise en perspective de ces deux indicateurs (de gestion et de performance) sur deux années commence à prendre sens, par type d’établissement.

Les conditions de recueil des données au niveau de l’établissement ou du service documentaire posent, on le voit, un réel problème, et débordent le simple cadre de l’ESGBU. Il est en effet moins difficile de se mettre d’accord sur ce qu’on veut mesurer dans ce domaine. Nous nous heurtons ici à des limites techniques quant aux statistiques d’usage : ni les systèmes de gestion intégrée de bibliothèque (SIGB), ni les systèmes d’information documentaires (SID) ne possèdent de modules réellement efficaces et complets en la matière.

Quoi qu’il en soit, cette mesure reste à améliorer pour répondre au moins à trois niveaux de besoins :

  • une visibilité au niveau national de ces usages, importante dans le cadre de la Lolf ;
  • un outil indispensable au pilotage des services documentaires au niveau de l’établissement ;
  • des données utiles pour la conduite des négociations avec les fournisseurs.

Les dispositifs techniques permettant d’exploiter les données statistiques et de construire les indicateurs sont émergents, et il reste à les évaluer : Shibboleth, Counter 11, ou des solutions locales.

Enfin, il convient de rappeler que l’ESGBU connaît, au-delà de la seule mesure statistique, un prolongement annuel depuis 1998 12, à travers l’enquête sur les ressources électroniques (ERE) qui vise à établir un recensement, aussi exhaustif que possible, des acquisitions de ressources électroniques payantes, établissement par établissement, et par grands secteurs disciplinaires.

Le paradigme de l’évaluation

Pour peu que l’on observe ce qui se fait actuellement hors de nos frontières, il apparaît que toute l’Europe ou presque soit prise de frénésie d’évaluation de la performance de son enseignement académique et de sa recherche. Celle-ci n’épargne pas les services documentaires, en Allemagne, en Autriche, en Suède… et depuis déjà plusieurs années en Grande-Bretagne. Pour ce qui est de la France, la mise en œuvre de la Lolf place cette démarche au centre de son dispositif de financement public.

Les bibliothèques dans la Lolf

La Lolf, faut-il le rappeler, a été mise en place pour restaurer le pouvoir de contrôle du Parlement, sur la base notamment de ces deux principes :

  • lisibilité des politiques publiques ;
  • transparence sur l’utilisation des moyens.

Dans l’architecture budgétaire de la loi organique, la politique de développement des bibliothèques et services de documentation fait l’objet de l’Action 5 du Programme 150 « Formations supérieures et recherche universitaire ». On le sait, deux documents structurants accompagnent chaque programme :

  • le Projet annuel de performance (PAP) qui présente les objectifs poursuivis, les coûts et les résultats attendus ;
  • le Rapport annuel de performance (RAP) qui rend compte des résultats obtenus et indique les écarts avec ceux attendus.

Dans ce cadre, deux indicateurs nationaux du PAP et du RAP, soumis au Parlement, concernent les bibliothèques et répondent à l’objectif « optimiser l’accès aux ressources documentaires pour la formation et la recherche » :

  • disponibilité hebdomadaire théorique des places de bibliothèque par usager ;
  • nombre de documents communiqués et prêtés, nombre de documents téléchargés (base de données), nombre de périodiques électroniques téléchargés, consultation du site web.

Ces indicateurs, qui ne sont pas gravés dans le marbre, et sont donc susceptibles d’évoluer, ont le mérite d’exister au niveau de ces deux documents essentiels, même si on en connaît les limites.

On l’aura compris, la Lolf établit une sorte de dialectique entre objectifs et moyens, sur la base d’une recherche de cohérence. C’est tout l’enjeu du dialogue entre l’État et les établissements, à travers notamment les contrats d’établissement. De fait, la procédure contractuelle fixe un cadre évaluatif complet dans lequel l’ESGBU joue un rôle central pour les bibliothèques.

La démarche évaluative s’incarne dans les contrats

Le contrat d’établissement constitue un des dispositifs réellement opératoires de l’application des principes de la loi organique (logique de justification des moyens) pour l’enseignement supérieur et la recherche. Évaluer les établissements du point de vue de la tutelle, et c’est une banalité que de le dire, suppose que celle-ci soit en capacité de fixer des objectifs nationaux. Ainsi, les contrats d’établissement permettent :

  • de fixer les projets d’un établissement dans le cadre d’une politique nationale ;
  • d’allouer des crédits en fonction d’objectifs chiffrés sur une durée de quatre ans, fruits d’un dialogue entre l’État et l’établissement.

Ces deux points d’entrée constituent le socle de l’évaluation d’un établissement dans la procédure contractuelle. Les projets documentaires des contrats s’inscrivent dans cette démarche et il n’est pas inutile de rappeler ici le cadre qui fixe les grandes orientations nationales en la matière, et qui sont notamment :

  • évaluer les besoins dans une logique de la demande ;
  • améliorer les services aux usagers : horaires d’ouverture, formation des usagers, accès direct aux ressources ;
  • développer les ressources documentaires dans un cadre cohérent : formalisation des politiques documentaires, intégration des bibliothèques de composantes, mutualisation des financements ;
  • développer et moderniser -l’accès en ligne de la documentation : renouvellement des SIGB, catalogue unique, mise en œuvre des SID, conversion rétrospective des catalogues sur fiches, numérisation ;
  • conserver et valoriser le patrimoine documentaire ;
  • participer aux réseaux documentaires locaux et nationaux : Sudoc, Cadist, conservation partagée, cartes documentaires.

L’impact de la Lolf sur la démarche d’évaluation s’est traduit dès 2006, à partir des contrats qui courent de 2007 à 2010 (contrats de la vague « A »), par une refonte significative de la procédure contractuelle. Celle-ci comprend dorénavant deux étapes majeures :

  • une phase de caractérisation : il s’agit de mesurer la performance d’un établissement sur l’ensemble de son spectre d’activité : la recherche, la formation, les relations internationales, la gestion des ressources humaines, la politique documentaire… ;
  • l’évaluation proprement dite du projet contractuel à l’aune de la caractérisation : il s’agit de dégager la stratégie globale de l’établissement, de juger de la pertinence des objectifs opérationnels et des résultats recherchés…

Illustration
Schéma

Dès lors, il n’est plus possible aujourd’hui de considérer l’ESGBU isolément, mais comme un élément d’un dispositif qui vise à évaluer un service documentaire dans le cadre de ses missions et des moyens qui lui sont alloués. À l’occasion de cette phase de caractérisation, qui doit initier tout processus contractuel, un diagnostic complet est donc maintenant fait pour chaque service documentaire, dans une logique d’analyse de la performance, et avec le souci d’identifier précisément les forces et les faiblesses de chacun. Pour ce faire, la SDBIS s’appuie notamment sur :

  • l’ESGBU qui reste l’instrument central de mesure des activités et des moyens des services ;
  • les « indicateurs documentation » qui figurent dans les projets documentaires des contrats, construits pour une grande part sur la base de l’ESGBU et qui précisent également les objectifs chiffrés à atteindre dans les quatre ans à venir ;
  • les enquêtes spécifiques menées dans le cadre des contrats : état des horaires d’ouverture et situation des bibliothèques non intégrées ;
  • le bilan de la précédente période contractuelle fourni par l’établissement.

L’analyse des projets contractuels, dans ce processus qui se met en place, ne peut plus se résumer, comme cela pouvait l’être parfois, à un simple exercice rhétorique consistant à répliquer, bon an mal an, une déclinaison d’intentions plus ou moins précises, mais sera fondée, dans toute la mesure du possible, sur des données objectives et des axes de développement indexés à des résultats chiffrés.

Perspectives

On le voit, l’ESGBU, qui constitue un outil cohérent et historique, s’inscrit aujourd’hui dans un paysage évaluatif mondialisé (le classement de Shanghai en est un symbole discuté) et protéiforme. Grâce aux personnes qui l’ont maintenue et l’ont fait vivre depuis son lancement, elle reste l’instrument de référence du point de vue de la tutelle pour mesurer les activités et les moyens des bibliothèques de l’enseignement supérieur. Pour autant, elle n’a pas vocation à absorber l’ensemble des besoins touchant à l’évaluation des services documentaires, au risque de devenir une « usine à gaz », mais participe bien d’une démarche évaluative globale qui s’incarne, comme on l’a vu, dans la nouvelle procédure contractuelle. De ce point de vue, on évoquera pour conclure quelques chantiers à ouvrir.

Les contrats d’établissement sont l’occasion de commencer à mesurer les dimensions émergentes de l’activité des services documentaires, et pour n’en citer que deux :

  • les nouveaux visages de la modernisation : implication dans les environnements numériques de travail (ENT), dans la diffusion des archives ouvertes… ;
  • les formes de ce que l’on peut appeler « l’effet réseau » notamment dans le cadre de la mise en place des pôles de recherche et d’enseignement supérieur (PRES).

La Lolf nous oblige à mesurer la qualité et la performance des activités et des services et, au-delà, rapportées aux coûts, à évaluer leur efficience. Pour ce faire, il faudra étudier attentivement les expériences et les réalisations qui ont déjà pu être menées, y compris à l’étranger, et intégrer la future norme ISO révisée sur les mesures de performance des bibliothèques 13.

Pour pousser cette logique jusqu’au bout, mesurer la place de la documentation dans l’université devrait signifier évaluer son impact sur les formations et la recherche.

Enfin, avec les réserves qu’il convient d’avoir en la matière, il faudrait pouvoir tendre vers des comparaisons internationales.

Au niveau des services documentaires, la démarche évaluative devra s’accompagner de la mise en œuvre d’outils de pilotage flexibles, de type tableaux de bord, qui permettent, sur la base d’indicateurs fiables mettant en regard objectifs, résultats et moyens, d’évaluer l’efficience des services rendus dans la bibliothèque. Les établissements sont par ailleurs encouragés, à travers les projets contractuels, à développer des dispositifs de mesure des besoins et de satisfaction des usagers, au travers d’études spécifiques notamment. Tout l’enjeu finalement consiste à faciliter l’interaction de ces outils de pilotage et d’évaluation locaux avec les outils nationaux.

Septembre 2006