Dix ans après une première vague, différents facteurs convergent vers une forte croissance de l’évaluation des bibliothèques universitaires. Celle-ci a considérablement évolué, notamment avec l’apparition de nouveaux indicateurs et la progression des mesures de performance. Mettant en garde contre certains pièges de l’évaluation, l’article insiste sur la pertinence des pratiques comparatives entre établissements, à l’échelle nationale et si possible européenne, afin de mieux répondre aux défis liés à l’évolution du monde de l’information.

Ten years after the trend first emerged, various factors are coming together to produce a strong increase in the evaluation of university libraries. Library evaluation has moved on a great deal in recent years, thanks in particular to the creation and progression of new performance indicators and measures. This article warns against the pitfalls of evaluation and highlights the relevance of practices comparing libraries on a national, and where possible, European level, in order to meet the challenges of constant ongoing developments in information science.

Zehn Jahre nach einer ersten Welle deuten verschiedene Faktoren auf ein starkes Zunehmen der Evaluierung der Universitätsbibliotheken hin. Diese hat sich beträchtlich weiterentwickelt, insbesondere mit dem Auftreten neuer Indikatoren und der Zunahme der Leistungsmaßstäbe. Der Artikel warnt vor gewissen Fallen der Evaluierung und betont die Relevanz der vergleichenden Praktiken zwischen Einrichtungen auf nationaler und wenn möglich europäischer Ebene um den Herausforderungen, die im Zusammenhang mit der Evolution der Informationswelt stehen, besser gerecht zu werden.

Diez años después de una primera ola, diferentes factores convergen hacia un fuerte crecimiento de la evaluación de las bibliotecas universitarias. Estas han evolucionado considerablemente, particularmente con la aparición de nuevos indicadores y la progresión de las medidas de performancia. Poniendo en guardia contra ciertas trampas de la evaluación, el artículo insiste en la pertinencia de las prácticas comparativas entre establecimientos, a escala nacional y si es posible europea, con el fin de responder mejor a los retos ligados a la evolución del mundo de la información.

Sigles

ADBU : Association des directeurs et des personnels de direction des bibliothèques universitaires et de la documentation

AERES: Agence d’évaluation de la recherche et de l’enseignement supérieur

ARL : Association of Research Libraries

Asibu : Application statistique interactive des bibliothèques universitaires

BIU : Bibliothèque interuniversitaire

CGE : Conférence des grandes écoles

CPU : Conférence des présidents d’université

Curl : Consortium of University Research Libraries

DEPP : Direction de l’évaluation, de la prospective et de la performance, commune au -ministère de l’Éducation nationale et au ministère de l’Enseignement supérieur et de la Recherche

DGES : Direction générale de l’enseignement supérieur

ESGBU : Enquête statistique générale auprès des services documentaires de l’enseignement supérieur

Enssib : École nationale supérieure des sciences de l’information et des bibliothèques

ERE : Enquête sur les ressources électroniques

HEC : Hautes études commerciales

HELMS : Higher Education Library Management Statistics

HESA: Higher Education Statistics Agency

Ifla : International Federation of Library Associations and Institutions

IGB : Inspection générale des bibliothèques

INSA : Institut national des sciences appliquées

IUFM : Institut universitaire de formation des maîtres

Liber : Ligue des bibliothèques européennes de recherche

LMD : Licence, master, doctorat

Lolf : Loi organique relative aux lois de finances

LRU : Loi relative aux libertés et responsabilités des universités

SCD : Service commun de la documentation

Sconul: Society of College, National and University Libraries

SDBIS: Sous-direction des bibliothèques et de l’information scientifique

Tout semble indiquer que le thème de l’évaluation des bibliothèques prend un nouvel essor, dix ans environ après une première période faste. Pourquoi ce renouveau ?

Le manuel publié en 1996 sous l’égide de l’Ifla, Mesurer la qualité : mettre en place des indicateurs de performance dans les bibliothèques universitaires, tout comme la norme ISO 11620 de 1998 sur les indicateurs de performance dans les bibliothèques, connaissent en 2007 une nouvelle édition 1, avec une norme complémentaire pour les bibliothèques nationales, en cours de validation. La norme ISO 2789 sur les statistiques internationales de bibliothèques a été mise à jour en 2006 (quatrième édition).

Rappelons que c’est en 1997 que la section des bibliothèques publiques de l’Ifla a lancé une enquête sur « L’évaluation des performances et le management de la qualité dans les bibliothèques publiques », et que le Cercle de la librairie a publié l’ouvrage de Pierre Carbone et Thierry Giappiconi, Management des bibliothèques  2.

Le compte rendu fait par le BBF d’une journée d’étude organisée en juin 1999 par l’Enssib sur l’évaluation commençait par les phrases suivantes : « L’expansion et la diversification des services offerts, comme l’accroissement des moyens dans un contexte économique difficile, rendent indispensable l’évaluation de l’efficacité des bibliothèques comme celle du rapport coût/efficacité. L’évaluation appelant la mesure, il convient d’élaborer des indicateurs de performance adaptés aux objectifs et moyens de ces bibliothèques  3. »

Cette formulation, toujours valide sur le fond, connaît aujourd’hui des éléments d’actualisation précis, notamment dans le monde de l’enseignement supérieur. Tous les facteurs de changement convergent. La loi organique du 1er août 2001 relative aux lois de finances (Lolf), dont l’optique est d’« évoluer d’une culture de moyens à une culture d’objectifs et de responsabilités » a été mise en application depuis le 1er janvier 2006 4 .

La réforme LMD (licence, master, doctorat) a entraîné des restructurations dans les universités ; la politique contractuelle avec le Ministère s’est développée ; enfin, les lois récentes sur la recherche (loi de programme du 18 avril 2006) 5 et sur les libertés et les responsabilités des universités (loi LRU du 10 août 2007) 6 constituent autant d’éléments incitatifs pour la croissance de l’évaluation.

La création, en 2006, de l’AERES (Agence d’évaluation de la recherche et de l’enseignement supérieur) 7 répond dans cette logique à un objectif fédérateur, sur lequel nous reviendrons.

Nouveaux indicateurs

Dans ce nouveau contexte, les versions mises à jour de la norme ISO 11620 et du manuel de l’Ifla témoignent d’évolutions pour les bibliothèques.

Comme l’indiquent les auteurs de la deuxième édition du manuel de l’Ifla, Roswitha Poll et Peter te Boekhorst, les modifications de la dernière décennie en matière d’évaluation des bibliothèques, entraînant l’émergence d’indicateurs nouveaux ou transformés, sont liées notamment :

• au développement considérable des ressources et services électroniques ; la deuxième édition du manuel comporte sur ce sujet 7 indicateurs au lieu de 2, et l’ensemble des indicateurs combine l’évaluation des services traditionnels et des services électroniques ;
• à l’évolution du rôle de la bibliothèque, qui, tout en multipliant les services à distance, conserve une grande importance comme lieu de travail et de sociabilité, ainsi que comme lieu d’apprentissage de la recherche d’informations, d’où les indicateurs liés à ces actions ;
• à la demande croissante, dans le secteur public, d’efficience et de transparence des coûts : 6 indicateurs traitent des aspects financiers et 7 mesurent l’efficience des processus.

Si l’on compare maintenant l’édition 2007 de la norme ISO 11620 à celle de 1998, sans entrer dans une lecture trop détaillée, on peut relever les points suivants :

• une augmentation du nombre d’indicateurs : 44 contre 29 en 1998, auxquels s’était ajoutée en 2002 une proposition de 5 indicateurs supplémentaires ;
• une structuration selon quatre axes (alors que la version de 1998 était énumérative), inspirés par la méthode des tableaux de bord prospectifs (balanced scorecard) : ressources, accès et infrastructure ; utilisation ; efficience ; potentialités et développement, ce dernier axe ouvrant sur la prospective.

Chaque axe est lui-même subdivisé de façon à peu près identique en Collections/Accès/Installations/Personnel/Généralités.

Sur le fond, de nouveaux aspects sont traités, comme la formation des usagers, la disponibilité et l’emploi des ressources humaines, les indicateurs liés aux ressources électroniques. L’approche est plus orientée vers les usagers et vers des mesures précises. À titre d’exemple, les notions générales quant aux installations, dans l’édition de 1998 – « disponibilité des installations, disponibilité des systèmes informatiques, taux d’utilisation des installations » – sont remplacées, dans la nouvelle édition, par des indicateurs tels que : « nombre d’heures d’accès à des postes de travail par personne », « surface de services publics par personne », « taux d’occupation des places assises ».

En revanche, certaines notions liées à la fourniture physique des documents ont perdu de l’importance : on ne retrouve plus les termes de « prêts par agent/documents en prêt par personne de la population à desservir/mise à disposition des titres demandés ».

Soulignons une autre innovation : un rapport technique ISO sur les indicateurs de performance des bibliothèques nationales, approfondissant les thèmes de la conservation, de la numérisation, etc., est actuellement en cours de validation.

Mesures de performance

Quels types de mesures permettent de répondre à ce besoin croissant d’évaluation ? Les typologies d’indicateurs sont nombreuses. Parlons successivement, pour simplifier, des indicateurs vus selon ce qu’ils mesurent et selon le cadre dans lequel ils sont collectés, puis de l’approche par la qualité.

La mesure de l’activité est la plus ancienne, et ce socle statistique bien établi et alimenté au fil des années a une valeur indéniable. L’Enquête statistique générale auprès des services documentaires de l’enseignement supérieur (ESGBU), lancée pour la première fois sur les données de 1974, après de premiers recueils de statistiques dès les années 1960, porte aujourd’hui sur 156 bibliothèques des universités, des INSA (institut national des sciences appliquées), IUFM (institut universitaire de formation des maîtres) et grands établissements. Les 280 champs à remplir relèvent d’une quinzaine de groupes de statistiques, structurées en trois grandes familles : l’activité et les services ; les collections et les acquisitions ; les moyens, locaux et personnels.

Mais, de plus en plus, c’est la performance qui fait l’objet de mesures. Comme l’indique le document sur la Politique contractuelle dans l’Enseignement supérieur et la Recherche, vague B, 2008-2011 : mode d’emploi  8, élaboré par la Direction générale de l’enseignement supérieur (DGES), à la différence des indicateurs d’activité qui ont pour objectif la « Mesure du résultat direct de la production d’un service », les indicateurs de performance « doivent permettre de juger si les objectifs d’un programme ont été atteints ».

La Cour des comptes précise, dans son rapport de décembre 2005 sur Efficience et efficacité des universités : observations récentes et nouvelles approches que « l’examen de la performance amène à distinguer les notions d’efficience, c’est-à-dire le rapport entre les moyens et les résultats, et d’efficacité, c’est-à-dire le rapport entre les objectifs et les résultats ».

Enfin, pour Éric Sutter, « les indicateurs de performance sont généralement construits sous forme de ratios ou d’associations de données élémentaires combinant des quantités par unité de temps ou par unité monétaire  9 ».

Citons, à titre d’exemple, selon cette définition un peu limitative, les indicateurs suivants de la norme ISO : « ratio des dépenses d’acquisition sur les dépenses de personnel », ou « pourcentage du budget de l’institution alloué à la bibliothèque ».

Si on prend un autre angle d’approche des indicateurs de performance, à savoir le cadre dans lequel ils sont collectés et les destinataires, les catégories changent. Le document de la DGES cité ci-dessus distingue les indicateurs « projet et rapport annuels de performance », élaborés nationalement dans le cadre de la Lolf ; les indicateurs « contrats », renseignés établissement par établissement tous les quatre ans ; enfin les indicateurs « pilotage de l’établissement (auto-évaluation) », élaborés sous la responsabilité de chaque établissement, pour son propre pilotage et pour la négociation du contrat.

Pour répondre à l’attente en matière d’évaluation, l’approche quantitative mérite absolument d’être complétée par une vision qualitative. Pour les indicateurs chiffrés, les commentaires, la mention du contexte et l’éventuelle inapplicabilité doivent déjà permettre de moduler les réponses. Mais on voit croître en parallèle d’autres outils de mesure de la performance, notamment les enquêtes de satisfaction.

La Cour des comptes, toujours dans son rapport de décembre 2005, insiste sur l’analyse de la demande, particulièrement nécessaire dans un contexte de réductions de moyens. Elle note « le caractère épars et hétérogène des enquêtes » sur la demande des usagers et exprime le souhait d’enquêtes régulières.

Les études de satisfaction élaborées localement, avec l’aide d’équipes de l’université ou de prestataires externes, présentent l’intérêt d’une approche précise du terrain, mais la rigueur méthodologique peut parfois laisser à désirer, et surtout la comparaison avec d’autres est impossible.

Ce dossier du BBF rend compte d’une autre approche des enquêtes de public, permise par l’outil LibQUAL+ développé par l’ARL (Association of Research Libraries) en Amérique du Nord 10 . Elle mise, non sur la prise en compte des spécificités locales – encore que l’ajout de questions locales soit possible –, mais sur la rigueur d’un questionnaire et d’un traitement des réponses identiques, qui permet les comparaisons dans le temps pour un même établissement et entre établissements. La Grande-Bretagne pratique largement ce type d’enquêtes en ligne et plusieurs pays européens ont rejoint le groupe des utilisateurs, qui se monte aujourd’hui à un millier.

Daniel Renoult faisait, début 2006, un point d’étape sur les enquêtes de publics dans les bibliothèques universitaires, et soulignait notamment la nécessité d’enquêtes fiables : « Face à des croyances très répandues […] en une providence du tout-internet, l’utilité des bibliothèques universitaires comme lieux d’études et de consultation de documents appelle aujourd’hui des preuves, confirmant par des enquêtes fiables les statistiques d’utilisation issues des systèmes de gestion informatisés  11. »

Pièges de l’évaluation

Ce domaine des indicateurs, notamment en ce qui relève de la performance, présente des difficultés multiples pour les bibliothèques utilisatrices. Il convient d’éviter le double piège d’indicateurs abstraits, déconnectés du terrain, qui entraînent des problèmes de collecte et de motivation, et d’indicateurs trop étroitement liés à des besoins spécifiques de services locaux, non transposables.

Une manière de remédier à ces difficultés consiste à bien distinguer les indicateurs selon leurs destinataires : le niveau local – qui se subdivise entre le seul SCD et l’université dans son ensemble – ; le niveau national, avec le double rythme de l’enquête statistique annuelle et de la politique contractuelle quadriennale ; le niveau européen, dans une perspective un peu plus lointaine.

Mais l’articulation entre ces différents niveaux est complexe, car les objectifs auxquels doivent être corrélés les indicateurs diffèrent. En outre, ceci entraîne une démultiplication des indicateurs, qui peut introduire une relative confusion.

L’affichage clair des différents types d’indicateurs, en nombre limité, de leur rythme de collecte et de leurs finalités est un préalable à une mise en œuvre réussie. Ensuite, qu’il s’agisse d’approches quantitatives ou qualitatives, la qualité des méthodes employées devient le critère d’appréciation majeur. Il convient de ne pas confondre la démarche qualité, processus global d’amélioration, et les indicateurs de performance, qui mesurent, comme on l’a vu, l’efficacité et l’efficience.

Un indicateur « fournit des données chiffrées sur les principaux aspects de l’action évaluée et permet des comparaisons rigoureuses en matière de coûts, volume des activités, nombre de bénéficiaires » (document DGES sur la politique contractuelle, vague B, 2008-2011).

Mais la définition et la collecte de ces indicateurs n’ont de sens que dans le cadre d’une démarche cohérente, visant à l’amélioration des services, et respectant des règles méthodologiques. C’est ainsi que l’auto-évaluation, contribution majeure d’un établissement au processus d’évaluation, est de plus en plus codifiée. Le portail e-DGES indique comment mettre en œuvre une démarche d’auto-évaluation, devenue contrat dans le cadre de la Lolf. « Un indicateur national a été élaboré pour le projet annuel de performance […] ; [il] permet d’évaluer le dispositif d’auto-évaluation ou d’assurance qualité mis en place par l’établissement et non l’établissement lui-même. Pour renseigner cet indicateur, l’établissement se positionne lui-même dans trois secteurs : politique de formation, politique scientifique, management de l’établissement au service de ses missions  12. »

Une échelle de 0 à 3 est proposée pour chaque secteur, allant de l’absence d’action à un dispositif validé par une instance externe. L’importance de la méthode est manifeste, de façon plus simple, dans les rubriques commentant chaque indicateur dans le manuel de l’Ifla : définition précise ; objectifs ; méthode de collecte ; interprétation et utilisation des résultats.

Par ailleurs, pour la collecte comme pour l’analyse des résultats, les bibliothèques se dotent de plus en plus fréquemment d’outils à des stades divers. La grille d’enquête de l’ESGBU ainsi que le cadre des négociations contractuelles ont fortement contribué au développement de ces outils. Les rapports annuels structurés, la collecte des statistiques dans la durée, l’élaboration de tableaux de bord permettant des comparaisons d’une année à l’autre, sont devenus monnaie courante. Certains établissements vont même jusqu’à l’acquisition d’outils de pilotage spécifiques : c’est le cas de l’université Grenoble-II, dans le cadre d’une démarche de réorganisation du SCD et d’implication de l’ensemble du personnel pour créer un référentiel des indicateurs et s’approprier l’outil retenu.

Mais rien ne vaut la confrontation de son expérience à celle d’autres établissements.

Comparaisons entre établissements

Pour mieux mesurer la pertinence de leurs actions et améliorer leurs services, les bibliothèques gagnent à se comparer entre elles, à l’échelle nationale et si possible à l’échelle européenne.

En France, l’ESGBU a introduit, à la faveur de sa première publication imprimée en 1989, la notion de classement. Aujourd’hui celui-ci porte sur cinq grandes familles structurées, pour les bibliothèques pluridisciplinaires, par la taille de la population étudiante, et pour les autres bibliothèques, par familles de disciplines.

Familles de bibliothèques universitaires

Bibliothèques pluridisciplinaires

Grandes : supérieures à. 12 000 étudiants

Petites et moyennes : inférieures à. 12 000 étudiants

Autres bibliothèques

Dominante Droit, Sciences économiques

Dominante Science, Technique, Médecine

Dominante Lettres, Sciences humaines

En outre, l’application informatique Asibu (Application statistique -interactive des bibliothèques universitaires) permet de produire des tableaux comparatifs et personnalisables par établissement et par dominante disciplinaire.

Au sein de ces familles de bibliothèques, certains indicateurs sont sélectionnés comme éléments de comparaison et de classement, par exemple : l’audience étudiante totale et par cycle ; les étudiants formés ; les abonnements de périodiques électroniques pour 1 000 étudiants, les dépenses documentaires par rapport aux dépenses totales, etc.

Est-il envisageable de définir à l’échelle européenne un noyau commun d’indicateurs facilitant la comparabilité ? Écartons tout d’abord, dans le cadre de cet article, mais en la soulignant néanmoins, la difficulté de comparaison dès le premier stade, celui des statistiques. De quelles entités parle-t-on ? Selon quelle typologie et quelle échelle ?

Par exemple, la synthèse présentée pour les bibliothèques allemandes sur le site de la Deutsche Bibliotheks-statistik 13 , pour 2006, regroupe, dans sa version anglaise, sous l’expression « Academic Libraries », 248 bibliothèques, avec 1 008 points de service : 5 bibliothèques nationales ; 29 bibliothèques régionales et d’État ; 88 bibliothèques universitaires, avec 727 points de service ; 126 bibliothèques des universités de sciences appliquées, avec 239 points de service.

La Sconul (Society of College, National and University Libraries), en Grande-Bretagne, a reçu pour 2006 146 réponses à son questionnaire statistique, représentant environ 800 bibliothèques. Elle classe les bibliothèques en groupes comme « Old Universities », fondées avant 1992, date de l’Acte de réforme de l’éducation ; « New Universities », après 1992 ; « Higher Education Colleges », qui n’ont pas le statut formel d’université, mais qui sont membres du consortium Curl (Consortium of University Research Libraries).

L’ESGBU a recensé pour sa part, en 2005, 156 bibliothèques, parmi lesquelles 77 établissements en régions, 27 BU et BIU en Île-de-France, 4 bibliothèques de grands établissements, et 31 services documentaires des IUFM en cours d’intégration dans les SCD.

Mais l’approche, dans le cadre de cet article, est plutôt de rechercher les convergences dans les indicateurs retenus pour des comparaisons entre bibliothèques.

Planification, comparaison, action

Citons, avant d’aborder les démarches plus globales, une expérience de benchmarking, ou analyse comparative « entre pairs », menée en Grande-Bretagne, à l’initiative de la bibliothèque universitaire de Manchester. Son approche, très appliquée, a consisté à identifier un groupe de pairs à l’échelle internationale : 13 bibliothèques d’importance similaire à la John Rylands University Library, dont 6 britanniques, 4 américaines, 3 relevant des universités de Singapour, Séoul et Sydney.

Puis un ensemble d’indicateurs, jugés les plus pertinents, a été défini en commun. Ils portent sur dix rubriques : les ressources, le catalogue, la bibliothèque électronique, les processus internes, l’aide à la recherche, les espaces de la bibliothèque, le prêt entre bibliothèques et la fourniture de documents, les horaires d’ouverture, les services de renseignements, la présence de la bibliothèque sur le web. Des précisions qualitatives sont apportées : par exemple, à propos des horaires, la demande porte non seulement sur le nombre d’heures d’ouverture hebdomadaire de la bibliothèque centrale ou de l’annexe qui a le plus d’heures d’ouverture, mais aussi sur le nombre d’heures durant lesquelles le service de renseignements est assuré.

La Sconul a publié en 2000 un Bench-marking Manual  14, comprenant une partie méthodologique et une partie relatant des expériences pilotes. La démarche comporte trois grandes phases : planifier, comparer, agir.

La première de ces phases – planification – est la plus longue et se subdivise en : définir ; nouer des partenariats ; se mettre d’accord ; mesurer. Sur ce dernier point, la mesure, l’objectif est de bien identifier les facteurs clés de succès (Critical Success Factors), pour atteindre les buts qui ont été définis, puis de s’accorder sur un ensemble de mesures, en s’assurant de leur disponibilité. L’expérience conduite dans les bibliothèques met en lumière les difficultés : nécessité de créer de nouvelles mesures, faiblesse des mesures qualitatives, difficulté de comparer, notamment les mesures financières, en raison de systèmes comptables différents.

La deuxième phase – comparaison – se subdivise en collecte (souvent assortie de visites) puis analyse. La comparaison des données, après normalisation, doit permettre d’identifier les meilleures pratiques et d’apprendre comment améliorer la performance. Au final, cette démarche d’analyse comparative doit déboucher sur un plan d’actions, visant des améliorations précises, qui feront à leur tour l’objet de nouvelles évaluations, bouclant ainsi le cycle vertueux de la qualité.

Les expériences pilotes relatées dans le manuel de la Sconul ont porté sur les services de renseignements, les banques de prêt, la bibliothèque comme espace, ces thèmes étant comparés entre trois ou quatre bibliothèques. Bien qu’elles remontent à la fin des années 1990, ces expériences demeurent riches d’enseignements, notamment sur l’application de la méthode.

Pratiques comparatives

La spécialisation est un atout dans ces pratiques comparatives. C’est ainsi que la bibliothèque d’HEC (Hautes études commerciales), au sein d’un réseau européen de bibliothèques d’écoles de commerce, a utilisé l’enquête LibQUAL+ de satisfaction des usagers pour comparer ses services à ceux de ses pairs. L’enquête a été pratiquée à deux reprises, en 2004 et 2006, en augmentant le nombre des partenaires européens.

Aux Pays-Bas, le consortium UKB regroupe treize bibliothèques universitaires et la Bibliothèque nationale. Il s’est fixé des objectifs clés, consignés dans un plan stratégique 2007-2010 : améliorer la fourniture d’informations ; développer l’infrastructure pour la recherche et la fourniture d’informations ; soutenir l’ e-research et l’e-learning.

Ces objectifs sont déclinés en actions précises et conjointes. L’UKB a retenu 24 indicateurs, structurés selon les quatre rubriques des « tableaux de bord prospectifs » (balanced scorecard) citées ci-dessus à propos de la norme ISO 11620.

En Allemagne, l’index BIX des bibliothèques se décline selon des indicateurs distincts pour les bibliothèques publiques (depuis 1999) et les bibliothèques universitaires (depuis 2002). Dans chaque cas, 17 indicateurs ont été retenus, avec le même classement en quatre catégories. L’échelle est très différente : plus de 260 bibliothèques en tout, mais pas de façon continue.

En Grande-Bretagne, la Sconul a élaboré, depuis 1999, outre des statistiques générales, un ensemble plus limité de statistiques des bibliothèques de l’enseignement supérieur liées au management : HELMS – Higher Education Library Management Statistics.

Six indicateurs ont été retenus à ce stade :

pour les ressources et l’infra-structure, la mesure de la disponibilité hebdomadaire des places de bibliothèque, et les dépenses en fourniture d’informations par usager ;

pour l’utilisation, les emprunts par personne et le pourcentage des prêts entre bibliothèques sur le total des prêts ;

pour l’efficience, le coût par usager et les dépenses de personnel par usager.

Sont retenues en outre les données contextuelles relatives aux bibliothèques et aux universités, venant pour partie de la Sconul et pour partie de l’Agence statistique de l’enseignement supérieur (HESA : Higher Education Statistics Agency).

Le projet d’ajouter des indicateurs sur les services électroniques et la formation des utilisateurs « quand des définitions précises et des données fiables seront disponibles » est annoncé.

Le cadre de cet article ne permet pas d’aborder le vaste domaine des comparaisons relatives aux collections ; le développement des chartes documentaires et des outils tels que « Collection Analysis » d’OCLC ouvrent de nombreuses perspectives.

Une strate supplémentaire par rapport à ces travaux par pays est souhaitable à l’échelle européenne. Les nouvelles éditions du manuel Ifla et de la norme ISO 11620 représentent un progrès dans ce sens. Les coauteurs du manuel, Roswitha Poll et Peter te Boekhorst, ont élaboré un tableau comparatif des indicateurs retenus par plusieurs associations nationales et les ont croisés avec ceux de la norme ISO.

Indicateurs du manuel Ifla

A. Ressources – Infrastructure

• Surface de services publics par personne
• Heures d’ouverture hebdomadaire
• Nombre d’agents par personne

B. Utilisation

• Audience
• Satisfaction des usagers
• Entrées à la bibliothèque par personne
• Rotation des collections
• Emprunts par personne
• Proportion des prêts entre bibliothèques sur le total des prêts
• Taux de présence aux séances de formation (par personne)

C. Efficience

• Coût par usager
• Délai de traitement des documents
• Productivité des agents dans le traitement des documents

D. Potentialités et développement

• Pourcentage des dépenses en fourniture d’information consacrées à la collection électronique
• Heures/jours de formation suivis par agent
• Pourcentage des crédits de la bibliothèque provenant de subventions spéciales ou de fonds propres
• Pourcentage du budget de l’institution alloué à la bibliothèque

Liber, la Ligue des bibliothèques européennes de recherche 15 – et plus particulièrement la division Management et administration des bibliothèques –, s’attache à développer cette mesure comparée de la performance et de la qualité : un séminaire d’experts a été organisé sur ce thème à Paris en mars 2007 et ses débats ont été rapportés lors de la conférence annuelle de Varsovie en juillet.

Les travaux comparatifs progressent et la tendance est à l’évaluation partout en Europe. Une des difficultés communes réside dans la mesure de l’impact des bibliothèques sur les communautés desservies. La bibliothèque doit faire la preuve de sa valeur ajoutée et la mesure objective en est difficile. Le manuel Ifla mentionne dans ce sens des pistes qualitatives et quantitatives sur le changement d’aptitudes, de connaissances ou de comportement chez l’usager. Il est possible, par exemple, de rechercher une corrélation entre l’usage de la bibliothèque et la réussite universitaire et professionnelle, en mesurant l’impact des formations de la bibliothèque et de son offre de ressources, notamment électroniques.

Répondre aux défis actuels

Les éléments comparatifs à l’échelle européenne soulignent des convergences entre bibliothèques dans un monde de l’information en pleine évolution et doivent permettre de mieux dégager les axes de mesure et d’amélioration indispensables. L’ADBU rendra bientôt disponibles sur son site des éléments comparatifs de quelques pays européens 16.

Bien évidemment, le domaine du numérique est un enjeu capital. Le récent rapport d’Henri Isaac sur l’Université numérique propose une politique ayant « pour ambition de faciliter l’insertion des étudiants dans la société de la connaissance en réseau telle qu’elle se dessine actuellement avec les nouveaux usages de l’internet  17 ».

Comment les bibliothèques, qui ont acquis des compétences dans le domaine des ressources électroniques et montré leur capacité à travailler en réseau, peuvent-elles faire valoir et améliorer leur contribution à cette politique ? Il convient d’abord de définir, de façon plus précise et prospective à la fois, les éléments d’appréciation.

La Sous-direction des bibliothèques et de l’information scientifique a lancé, dès 1998, une enquête sur les ressources électroniques (ERE) acquises par les bibliothèques de l’enseignement supérieur. La dernière synthèse disponible en ligne porte sur l’année 2004 18. Une mission a été confiée, de janvier 2006 à mars 2007, à Sabine Barral sur les « Indicateurs d’usage des ressources électroniques 19 ». Dans une optique plus large, la SDBIS a constitué, en novembre 2007, un groupe de travail sur l’évolution des statistiques et des indicateurs, notamment dans l’ESGBU. Sans préjuger des résultats des travaux actuellement en cours, ils aboutiront à l’enrichissement de l’ESGBU par des données plus prospectives, à un rapprochement avec les indicateurs recherche et à une réflexion sur la mesure de la qualité.

Il convient d’exploiter ces nouveaux éléments pour rapprocher les acteurs de la documentation des acteurs de l’évaluation.

En effet, l’univers de la documentation reste trop cloisonné et son apport à la politique de l’université est sous-estimé et trop étroitement mesuré par des indicateurs strictement documentaires. Encore faudrait-il au préalable parvenir à une vision d’ensemble de la documentation dans l’université. La question était déjà posée dans les débats de la journée Enssib de juin 1999 : « Comment intégrer dans l’évaluation l’ensemble des sites documentaires au sein d’une université ? »

Comme le soulignait un rapport récent de l’Inspection générale des bibliothèques sur La dispersion de la documentation universitaire (2006), « les bibliothèques de composantes représentent aujourd’hui environ 33 % de la documentation au sein des universités », du point de vue des dépenses documentaires. Mais les outils d’évaluation et de contrôle de ces entités sont encore trop peu développés.

C’est justement une des missions de l’Agence d’évaluation de la recherche et de l’enseignement supérieur que de viser à cette évaluation globale. L’AERES, créée par la loi de programme pour la recherche du 18 avril 2006, est « une autorité indépendante qui examine et évalue la qualité des stratégies mises en place par les établissements pour accomplir leurs missions d’enseignement et de recherche ainsi que leurs résultats ».

Elle a récemment mis en ligne sur son site web une charte de l’évaluation énonçant « les principes d’une évaluation impartiale et objective » et ceux « concernant le respect des personnes et des institutions  20 ». Fidèle à son principe de transparence, elle rend également disponibles en ligne les premiers rapports rédigés par sa section des établissements. L’AERES souligne sa conformité aux standards européens.

À l’heure de la mise en œuvre de la loi LRU (loi relative aux libertés et responsabilités des universités), il est capital que les bibliothèques, et plus largement les organismes documentaires, apparaissent clairement dans le champ de « l’appréciation systématique et objective des établissements d’enseignement supérieur et de recherche » ainsi que dans celui concernant « la façon dont ils remplissent leurs missions », qu’entend explorer l’AERES.

Le respect de l’indépendance de cette nouvelle autorité n’empêche en rien que différents acteurs mettent en valeur, auprès d’elle notamment, et chacun dans son rôle, l’apport des bibliothèques à la vie de l’université : la DGES, la CPU, L’IGB, l’ADBU, la CGE sont concernées. L’IGB achève actuellement un rapport sur les indicateurs des organismes documentaires de l’enseignement supérieur, dans le contexte global de l’évaluation.

En effet, avant même la performance, il semble que le premier enjeu pour les bibliothèques soit celui de la visibilité.

En dehors de la publication par la SDBIS de l’Annuaire statistique des bibliothèques universitaires et des données signalées sur son site, l’information sur la contribution des organismes documentaires à la stratégie de l’université est très peu accessible. Or ils ont des atouts à faire valoir précisément par rapport aux objectifs déclinés par la loi LRU : le double pari de la réussite en licence et de l’excellence de la recherche ; l’amélioration des conditions de vie étudiante ; une meilleure insertion dans la vie professionnelle ; une maîtrise de l’univers numérique.

La DEPP 21 ne présente à ce stade dans ses tableaux aucune donnée sur les bibliothèques, sauf pour les personnels. Il convient de lui fournir des éléments, d’autant qu’elle travaille à l’élaboration d’un portail fédérant des données sur l’enseignement.

Près de dix ans après, la question rapportée par Bernard Dizambourg, alors président de l’établissement public de Jussieu, au titre des universitaires, lors de la journée Enssib du 15 juin 1999, reste d’actualité : « En quoi la bibliothèque participe-t-elle au processus d’acquisition des connaissances ? »

Le rapport Isaac indique que la politique numérique « doit permettre à tout étudiant d’avoir accès à l’ensemble de ses ressources pédagogiques nécessaires à son apprentissage à tout moment et en tout lieu. Elle doit garantir l’égalité des chances pour tous les étudiants […] Elle doit faciliter l’appropriation des outils numériques par les différents acteurs de la communauté éducative de l’enseignement supérieur ».

Comment les bibliothèques répondent-elles à ces défis ? Leur fréquentation ne doit plus se compter seulement par une présence physique dans leurs établissements, mais aussi à distance, ce qui suppose de pouvoir « labelliser » les ressources acquises et produites par les bibliothèques, ainsi que de mesurer leur usage, local et distant.

La conjugaison de tous les acteurs et de tous les efforts est indispensable pour rendre le rôle des organismes documentaires plus visible : échanger sur les méthodes, les bonnes pratiques, partager un petit nombre d’indicateurs pertinents, former et motiver les professionnels, articuler évaluation et action seront autant d’armes pour cette conquête de la visibilité.

Février 2008