L’évaluation du service

Au terme de la première tranche des travaux de réhabilitation de la bibliothèque universitaire droit-lettres de Grenoble, à l’issue de la réorganisation fonctionnelle et hiérarchique du SICD2 centrée sur les services au public, la direction du SICD a ouvert un processus d’évaluation de l’ensemble du service. Il a débuté en 2006, dans une période où l’évaluation n’était pas encore l’alpha et l’oméga des discours sur les bibliothèques, à l’instigation d’une mission permanente dont les objectifs ont très vite été précisés : doter la bibliothèque d’un outil de connaissance et de suivi de l’activité conçu comme une aide à la prise de décision. L’amélioration de la communication aussi bien en interne qu’avec la communauté universitaire était également une des ambitions affichées. À l’heure où le système universitaire français est en profonde mutation, les membres du SICD sont convaincus de l’intérêt de cette démarche à laquelle ils participent activement.

The inter-institutional library management team at the University of Grenoble has launched an evaluation of all their services. This follows the completion of the first stage of a programme of improvement works at the Law and Literature libraries, which saw a complete reorganisation of both tasks and management structure, designed to make the service more user-friendly. The programme began in 2006, before “evaluation” became the latest buzzword in librarianship circles. It was launched at the behest of a permanent library task force which announced its aims from the outset: to equip the library with tools to monitor activity within the library as an aid to decision-making. One of the key ambitions was to bring about an improvement in communications, both within the library and within the wider university community. At a time of far-reaching changes in French universities, staff at the Grenoble university library service are fully cognisant of the importance of the evaluation process and lend it their active support.

Am Ende des ersten Arbeitsabschnitts der Sanierung der Universitätsbibliothek Recht-Geisteswissenschaften Grenoble nach der funktionsorientierten und hierarchischen Neustrukturierung des gemeinsamen einrichtungsübergreifenden Bibliotheksdienstes (SICD2), die Benutzerdienste in den Mittelpunkt stellt, hat die Leitung des SICD einen Evaluierungsprozess des gesamten Dienstes eingeleitet. Er begann im Jahr 2006 während einer Zeit, in der die Evaluierung noch nicht das A und O der Reden über die Bibliotheken war, auf Veranlassung einer Dauermission, deren Ziele sehr schnell genau dargestellt wurden: die Ausstattung der Bibliothek mit einem Instrument zum Einblick und zur Betreuung der Tätigkeit, gedacht als eine Hilfe bei der Beschlussfassung. Die Verbesserung der internen Kommunikation sowie mit der universitären Gemeinschaft war außerdem eine der dargestellten Absichten. Zur Zeit, in der sich das französische Universitätssystem in starkem Umbruch befindet, sind die Mitglieder des SICD von der Bedeutung dieses Vorgehens, an dem sie aktiv teilnehmen, überzeugt.

Al término del primer tramo de los trabajos de rehabilitación de la biblioteca universitaria derecho-letras de Grenoble, al final de la reorganización funcional y gerárquica del servicio interuniversidad de cooperación documental (SICD2) centrada en los servicios al público, la dirección del SICD ha abierto un proceso de evaluación del conjunto del servicio. Empezó en 2006, en un periodo donde la evaluación no era el alfa y el omega de los discursos sobre las bibliotecas, a instigación de una misión permanente cuyos objetivos han sido rapidamente precisados: dotar a la biblioteca con una herramienta de conocimiento y de seguimiento de la actividad concebido como una ayuda a la toma de decisión. La mejora de la comunicación tanto en interno como con la comunidad universitaria era igualmente una de las ambiciones afichadas. A la hora en el que el sistema universitario francés está en profunda mutación, los miembros del SICD están convencidos del interés de este planteamiento en el cual participan activamente.

Au terme de la première tranche des travaux de réhabilitation de la bibliothèque universitaire de Grenoble et à l’issue du processus de réorganisation fonctionnelle et hiérarchique du SICD2  1 (service interétablissements de coopération documentaire) centrée sur les services au public, le besoin d’évaluer son activité a été vivement ressenti par sa direction. Rompu à la négociation des contrats quadriennaux et à la soumission de projets à la région Rhône-Alpes, Frédéric Saby, directeur du SICD2, a estimé indispensable dans ce contexte d’ensemble de confier une mission sur les indicateurs à la directrice adjointe du SICD.

Une mission sur les indicateurs

Cette mission a donc débuté en 2006, dans une période où l’évaluation n’était pas encore l’alpha et l’oméga des discours sur les bibliothèques ; l’outil de synthèse sur l’activité des bibliothèques françaises était l’ESGBU  2… Nous nous sommes inscrits dans un processus long et, à l’heure du passage aux compétences élargies dans le cadre de la loi relative aux libertés et responsabilités des universités (LRU), où la négociation va connaître une dimension nouvelle, nous nous félicitons de n’avoir pas renâclé devant l’obstacle.

Nous étions novices sur le sujet, mais persuadés de la nécessité de vérifier régulièrement, au travers de données quantitatives, la pertinence du dispositif nouvellement mis en place, tant sur le plan architectural qu’organisationnel, pour apporter les correctifs nécessaires au développement du service public de documentation.

Nous étions également convaincus de l’urgence à communiquer mieux avec les universitaires sur le service de documentation, pour nourrir une réflexion concertée, afin de dégager la politique documentaire commune dont les universités Pierre Mendès France et Stendhal ont besoin. Il va sans dire que nous nous sommes vite aperçus que la première étape allait consister à nous connaître nous-mêmes !

La lettre de cadrage

Ces considérations constituèrent les termes structurants de la lettre de cadrage dont l’objet était de clarifier auprès de tous les objectifs, le contexte ainsi que le périmètre d’intervention de la mission. Cette lettre fut présentée en réunion du personnel et reste aujourd’hui encore notre boussole.

Elle affirmait la volonté de s’appuyer sur les départements et leurs services  3, en un mot d’inscrire ce travail dans un cadre collaboratif et décentralisé conforme à l’esprit de la toute récente réorganisation. Cela présentait l’intérêt d’impliquer et responsabiliser beaucoup d’acteurs. La proposition était de mieux faire ce que nous faisions déjà pour collecter les données de l’ESGBU, de le faire plus efficacement sans alourdir la charge des personnels, et sans nuire à l’enrichissement des collections ni aux services rendus aux publics. L’ambition était surtout de dégager du temps pour les chefs de départements et la direction du SICD au bénéfice de l’analyse des résultats et de l’élaboration des orientations. En un mot, l’objectif était de doter la bibliothèque d’un outil fiable d’aide à la décision.

Cette feuille de route réglait la question de l’évaluation des personnels en l’excluant définitivement du champ d’intervention de la mission, afin de se concentrer sur la mesure de l’activité et des performances du service. Cette prise de position était d’autant plus justifiée que l’évaluation des personnels fait, depuis 2005, l’objet de procédures spécifiques modifiées profondément par le ministère. Nous n’avons pu que nous féliciter de cette décision qui, en levant toute ambiguïté sur nos finalités, a apaisé pour partie les appréhensions des personnels et, du même coup, libéré leur participation au processus, notamment à la collecte des données.

L’élaboration d’un référentiel d’indicateurs

Ceci étant réglé, vint la phase d’élaboration du référentiel des indicateurs avec les chefs de départements ; elle constitua véritablement le socle d’un long travail qui n’a pas cessé de se développer depuis.

La raison d’être de cet outil, c’est d’exprimer précisément les axes que nous voulons suivre avec attention ; c’est aussi de garder en mémoire non seulement l’objet mais aussi la méthode et le rythme de comptage pour que nous puissions tracer de façon pertinente les évolutions de notre action dans le temps. Le référentiel, qui précise notamment toutes les définitions utiles, vise également à nous donner latitude pour nous situer par rapport à d’autres établissements français ou internationaux.

Nous avons donc développé tout un panel d’indicateurs pour suivre notre activité. Ce faisant, les moments de doute sur les indicateurs que nous étions en train de construire n’ont pas manqué. Inquiets de ne pas créer une « usine à gaz », nous avons développé un regard critique sur leur bien-fondé, leur sens, leur pertinence, leur utilité… Cette attitude nous conduit à ne pas considérer la donnée quantitative produite comme intangible ou se suffisant à elle-même ; nous privilégions une approche raisonnée, une analyse contextualisée. Nous intégrons les réalités de notre structure, les particularités de son fonctionnement dès la collecte des données et les resituons en phase d’analyse pour éclairer les résultats et ouvrir les perspectives… L’élément chiffré produit est un point de repère utile certes, mais il ne peut en aucun cas tenir lieu de politique.

Nous avons pris soin d’inscrire notre réflexion et notre démarche dans un contexte qui dépasse le campus grenoblois. Nous nous appuyons notamment sur les normes de l’ISO  4 dont nous suivons avec attention les évolutions. Nous intégrons dans notre référentiel les indicateurs liés à la Lolf (loi organique relative aux lois de finances), ceux que la sous-direction des bibliothèques avait élaborés… et nous attendons impatiemment le dialogue avec l’AERES  5, en espérant que ses indicateurs ne se réduiront pas à une approche de la performance sous l’angle exclusif des horaires d’ouverture…

La catégorisation des indicateurs

L’objectif de la mission était ambitieux, puisqu’il visait à produire une image de l’ensemble de l’activité du SICD et à tracer les évolutions dans le temps, afin de fixer des objectifs réalistes et pertinents  6.

Parce que nous maîtrisons mieux les données de la bibliothèque universitaire, c’est par elle que nous avons commencé. Très vite, il est apparu possible de transposer un socle a minima pour les bibliothèques d’UFR (unités de formation et de recherche). Nous nous trouvons ainsi à la tête d’un important volume de statistiques et indicateurs qui – sans surprise – épousent les grandes branches de notre activité : les effectifs, les budgets, les usagers et les services, les collections.

Nos indicateurs sur les effectifs ont l’ambition de mettre en lumière la répartition des effectifs entre départements et de mesurer particulièrement l’impact du service public et de la formation des lecteurs sur l’activité globale de la bibliothèque, afin d’opérer les arbitrages adéquats. Ils sont de nature à doter la direction du SICD d’arguments solides si des négociations avec l’université sur les personnels s’avèrent nécessaires suite au passage aux compétences élargies. Mais, assurément, ces indicateurs sont les plus délicats à installer. Ils requièrent un haut niveau de confiance entre l’équipe et la direction, avec le partage de valeurs communes. Ils induisent des procédures de collecte d’informations qui ne donnent pas au personnel le sentiment de perdre du temps. Aussi avançons-nous avec détermination et prudence tout en étant conscients de l’obligation d’accélérer le processus…

Sur la question des budgets et des collections, nos indicateurs apportent en particulier un éclairage sur la dépense documentaire réalisée par les composantes de l’université et par le SICD. Ils mettent en relief la fragilité des équilibres budgétaires du SICD2 et permettent de suivre l’évolution de la structure des dépenses documentaires qui profite aux ressources numériques.

Les indicateurs spécifiques aux collections visent notamment à connaître et à tracer la dépense et la répartition des fonds par grandes catégories de lecteurs. Le département des collections est intéressé par l’usage des collections imprimées et numériques ; pour ce faire, il collabore étroitement avec les départements du public et celui du système d’information documentaire.

Le département du public s’intéresse à la nature des publics, à leur niveau d’inscription et de fréquentation de la bibliothèque, à leur formation, à leur niveau d’utilisation des collections et des services. Parmi ses indicateurs, on peut arbitrairement relever le nombre de prêts réalisé par lecteur inscrit, en précisant que nous savons le décliner par type de lecteur, par niveau d’étude, en fonction de l’UFR de rattachement…

Par souci de transversalité, nous regroupons nos indicateurs dans deux grandes familles de moyens et de résultats, en nous plaçant du point de vue du lecteur.

Comment plonger dans un océan de perplexité en évitant d’y sombrer…

Le propos ne prétend pas remettre en cause le principe même de l’évaluation, dont nous avons un besoin urgent, ni traiter avec dérision les instruments mis en place. Il n’en reste pas moins que porter un regard distancé sur l’objet lui-même et sur les résultats chiffrés obtenus est salutaire ; la profondeur des interrogations soulevées incite à la prudence et à l’humilité dans l’analyse et la comparaison des données, quelques exemples suffisent à l’illustrer.

Au-delà de l’interrogation sur la période d’observation pertinente, année universitaire ou année civile, la question de la définition et du périmètre d’application de l’observation constitue un écueil majeur.

Pouvons-nous, devons-nous indifféremment parler de public cible et de public potentiel ?

Avec des déplacements facilités par le tramway  7, à l’heure des connexions distantes à nos collections numériques  8, peut-on considérer que le public cible de la bibliothèque ne concerne que la communauté universitaire du campus ? Faut-il l’élargir à l’agglomération grenobloise ? Pouvons-nous amalgamer sans sourciller, dans le public cible de la bibliothèque universitaire, les étudiants qui sont sur des sites aussi distants que Valence ou Vienne ?

Les réponses qu’on apporte à ces questions induisent des valeurs chiffrées très différentes qui, selon les cas, pénalisent ou valorisent les performances de la bibliothèque. Il n’est pas indifférent de rapporter les 13 000 lecteurs inscrits à la bibliothèque universitaire soit aux 25 000 étudiants des deux universités desservies tous sites confondus, soit aux 21 000 étudiants grenoblois des deux universités desservies, soit aux 18 800 étudiants du campus appartenant à nos deux universités… Aussi, nous considérons que nous n’avons pas d’autre choix que de multiplier les angles d’observation ; cela nous oblige dès lors à être précis dans la définition de nos indicateurs, dans leur interprétation et dans la communication des résultats. Cette démarche d’honnêteté est stimulante comme piste de réflexion sur les développements à opérer pour aller à la rencontre de nos publics ; néanmoins, elle nous fait aussi courir le risque non négligeable de brouiller notre image.

Les données que nous remontons dans l’ESGBU sont toujours des données globales qui reflètent imparfaitement la réalité et, par là même, biaisent l’analyse macroscopique. Aussi, des analyses locales peuvent-elles utilement compléter les statistiques nationales.

De la difficulté à partager des définitions communes et une méthode de comptage…

La mesure des inscrits à la bibliothèque est bien sûr une des données fondamentales de l’évaluation. Et pourtant, les établissements qui remplissent l’ESGBU ne comptent pas tous la même chose… Certains considèrent que l’inscription à l’université versée automatiquement dans le SIGB (service intégré de gestion des bibliothèques) du service commun de la documentation équivaut à l’inscription à la bibliothèque universitaire. D’autres comptabilisent les usagers qui font une démarche volontaire d’inscription ; d’autres enfin ne retiennent que les inscrits actifs, c’est-à-dire ceux qui ont effectué au moins un prêt…

Quel que soit le fondement du premier et du troisième positionnement, raison technique informatique ou souci d’économie de personnel, dans un cas comme dans l’autre, on obtient une vision très imparfaite de l’impact de la bibliothèque qui, à court ou moyen terme, du fait du passage aux compétences élargies, pourrait bien s’avérer pénalisant. En outre, le choix de ne comptabiliser que les lecteurs ayant effectué un prêt n’érige-t-il pas une échelle de valeurs dans laquelle non seulement un lecteur actif compte plus qu’un lecteur inscrit, mais encore une opération de prêt vaut plus qu’une opération de consultation sur place ?

Dans les bibliothèques universitaires qui mettent à disposition leurs collections en libre accès sans contrainte d’inscription ou d’identification – car il en existe encore heureusement –, il arrive qu’un lecteur n’éprouve pas le besoin de s’inscrire ; de ce fait, il échappe aux statistiques. C’est fort dommage, mais n’est-ce pas le prix à payer pour demeurer une bibliothèque publique ?

La bibliothèque universitaire droit et lettres de Grenoble s’est livrée à une enquête la dernière semaine de novembre 2009 : 13 % de personnes interrogées n’étaient pas inscrites à la bibliothèque et travaillaient néanmoins sur ses fonds… Ces personnes sont bel et bien des lecteurs actifs et pourtant, elles ne figureront pas dans les statistiques de l’ESGBU.

En outre, derrière le téléchargement d’une page ou d’un document, on est assuré de trouver un lecteur actif, et pourtant, ce critère n’est pas retenu comme pertinent dans le comptage des inscrits  9…

On voit bien la limite de la confrontation du nombre d’entrées avec quelque chose d’aussi peu précis que le nombre d’inscrits pour faire émerger un ratio de fréquentation… On voit bien aussi la limite de la confrontation entre le nombre d’inscrits à la bibliothèque et le nombre d’étudiants pour faire sortir un taux d’inscription à la bibliothèque.

Dans ces conditions, ne faut-il pas lire avec circonspection les tableaux publiés dans ASIBU  10, qui établissent des classements et des comparaisons entre établissements français, et a fortiori les comparaisons internationales ? Assurément, derrière les chiffres se cachent des pratiques et des réalités fort diverses. Autant dire qu’il faut avoir une vision claire du contenu de chacun de ces chiffres pour pouvoir faire une analyse pertinente.

Quelques exemples d’indicateurs

L’indicateur d’usage

Les indicateurs construits dans le cadre de la Lolf continuent de nous laisser perplexes. Par exemple : nombre de prêts + nombre de documents téléchargés + nombre de documents communiqués sur place + nombre de prêts PEB. Avec ce premier indicateur transparaît le souci louable de mesurer le service rendu par les bibliothèques au travers de l’usage des collections imprimées et numériques. Il a cependant très vite appelé des précisions de définition et de méthode.

Ainsi, il n’est pas certain que les établissements sachent précisément ce qu’est un document téléchargé ni qu’ils soient en mesure actuellement de produire ce chiffre. Le téléchargement consiste-t-il à ouvrir un document ? À l’enregistrer sur son poste de travail ? Comment faut-il compter un document qui a été ouvert cinq fois par un même utilisateur ? Est-ce équivalent à un même document ouvert par cinq utilisateurs différents ? D’autre part, quid des bases de données bibliographiques qui n’offrent pas de texte intégral ? Quel outil va permettre de mesurer si la recherche a été fructueuse ?

On voit bien aussi qu’en s’en tenant à la notion de communication sur place, qui donne la mesure de l’utilisation des documents des magasins, le ministère a intégré la difficulté à apprécier la place de la consultation sur place. Pourtant, l’effort de comptabilisation peut réserver des surprises de taille… La bibliothèque universitaire droit et lettres de Grenoble a opéré un comptage précis des documents du libre accès utilisés par les lecteurs la dernière semaine de novembre 2009 : il y a eu, cette semaine-là, pratiquement autant de documents consultés sur place (4 608) que de documents empruntés (4 978) 11. Ce comptage montre que la fréquentation de la bibliothèque reste très liée à l’utilisation des collections. Elle n’est pas seulement un lieu de rencontre ni exclusivement un lieu où les étudiants cherchent des places assises. Nous sommes définitivement convaincus que l’évaluation du service combine les tableaux de bord constitués de statistiques et d’indicateurs avec les analyses extraites de sondages et d’enquêtes ponctuelles.

L’indicateur de disponibilité des places de travail

Autre indicateur : nombre total de places x nombre d’heures d’ouverture hebdomadaire/nombre d’étudiants cible. Ce second indicateur se propose de vérifier la disponibilité des places de travail. Ce faisant, il pose des questions fondamentales pour qui cherchera à élever le ratio. À supposer que les effectifs du public soient constants (le public cible étant bien identifié), il dispose de deux leviers : augmenter les places de travail ou augmenter les horaires d’ouverture… Ni l’une ni l’autre de ces opérations n’a d’effet neutre sur le service public. Plusieurs hypothèses se présentent pour augmenter le nombre de places : installer le double de chaises au risque de diminuer la surface de travail disponible par étudiant, installer le double de chaises en éliminant des collections, ou installer le double de chaises en étendant les surfaces de la bibliothèque… Agir sur le paramètre « augmentation des horaires d’ouverture » est extrêmement délicat également : chacun sait l’impossibilité d’évoluer à effectif de personnel constant et à remplir sur de longues amplitudes horaires les conditions de sécurité adaptées… L’action efficace et viable sur l’un ou l’autre de ces paramètres n’est pas aisée, elle exige l’engagement de l’université pour éviter dans les faits une dégradation du service.

Les indicateurs de dépense

Sur la dépense documentaire, au moins quatre indicateurs sont particulièrement intéressants.

Le premier rapproche la dépense documentaire de l’université hors SICD de celle réalisée par le SICD et permet d’évaluer le degré de dispersion de la documentation dans l’université. Il fournit des pistes de réflexion à nos présidents, la difficulté étant de trouver un terrain d’entente sur l’expression « rationalisation de la documentation ».

Le deuxième précise le pourcentage des dépenses documentaires par rapport à la dépense totale du SICD. Il en dit long sur la capacité de l’établissement à mettre à la disposition des utilisateurs une documentation à jour et suggère en creux la pesanteur de ses charges, pour lesquelles un suivi particulier peut être réalisé au travers d’un indicateur qui trace les charges incompressibles.

Le troisième observe le pourcentage des dépenses documentaires consacrées aux ressources électroniques par rapport à la dépense documentaire globale. Il permet de voir et de suivre l’évolution de l’effort porté sur ce support, il participe à apprécier l’impact du numérique sur les autres supports et sur les pratiques des usagers.

Le quatrième montre la relation de la dépense documentaire à la recherche ou/et à la pédagogie. Le ministère l’a introduit récemment dans l’ESGBU. Au SICD, nous avions anticipé cette demande. Cette démarche a sans aucun doute un caractère factice, elle est mal comprise par nos homologues étrangers pour qui, à juste titre, le niveau scientifique d’un document est lié à l’usage qu’en fait la personne qui y recourt. Elle est néanmoins honorable, puisqu’elle vise à produire une représentation plus équilibrée des fonds de la bibliothèque universitaire auprès des enseignants-chercheurs français, qui ont tendance à n’envisager la bibliothèque que comme une ressource à l’adresse des étudiants de licence. Or, en réalité, une grande part du budget d’acquisitions est consacrée aux collections de niveau recherche… Le ratio nombre de livres achetés/nombre d’étudiants (et même par niveau d’étude) complète judicieusement cette approche.

Force est de constater que nous continuons de tâtonner sur les indicateurs qui concernent les ressources numériques et surtout ceux orientés vers la mesure de leur usage, car nous restons très dépendants des chiffres produits par les éditeurs, dont les statistiques restent fréquemment fragmentaires et opaques tant ils tardent à adopter les normes internationales (Counter). Ces indicateurs sont pertinents pour guider la politique d’abonnements et d’acquisitions ; aussi sommes-nous intéressés à la mise en place rapide de l’ERMS proposée par Couperin  12. Comment prétendre développer une politique documentaire raisonnée quand l’usage des collections numériques qui représentent le tiers de notre dépense documentaire nous échappe ? En même temps, ces indicateurs justifient une démarche rigoureuse de définitions : qu’est-ce qu’une session, une recherche ? Que recouvre la notion de connexion ? Est-il indifférent de compter des connexions au portail, au catalogue, au site web ?

Nous terminerons là cette brève revue sans pouvoir aborder les ratios de rotation des collections, d’emprunts par types de lecteurs, le taux de recouvrement des collections entre bibliothèque universitaire et bibliothèque des UFR, et bien d’autres aspects encore… Elle montre en tout cas qu’aucun indicateur n’est neutre ni dans sa définition, ni dans son périmètre d’application, ni dans son interprétation. Notre regard critique s’exerce sur tous les indicateurs que nous produisons ; cette attitude est tonique car elle ouvre des perspectives de réflexion et d’action. Se livrer à cet exercice n’est pas se complaire dans la recherche vaine de la perfection. L’imperfection est tolérable du moment qu’on est capable d’identifier et de nommer les lacunes, les limites et les défauts de l’observation.

L’auto-évaluation décuple le professionnalisme des bibliothécaires

Les outils techniques

Être rigoureux dans la construction des indicateurs, gagner du temps dans la collecte des données et la production des résultats, les mettre à disposition de tous les services au SICD, consacrer le temps ainsi dégagé à l’analyse et aux propositions d’action… Cette déclaration d’intention séduisante nous a conduits à mettre à plat nos circuits et parfois à les modifier ; elle nous a poussés à choisir des solutions techniques professionnelles performantes issues notamment du domaine de l’informatique décisionnelle (« business intelligence »).

C’est ainsi que nous nous trouvons à la tête aujourd’hui de quatre catégories d’outils dont les détails figurent dans l’article de Gaëlle Denni, dans ce même dossier du BBF.

Nous disposons d’une base de données pour le référentiel des indicateurs. Nous l’avons d’abord construite sous Excel, qui était l’outil utilisé par la directrice adjointe. Rapidement, les limites de tri et de croisement des données de cet outil sont apparues ; nous avons alors migré sur une base Access construite par un personnel spécialiste en ingénierie documentaire. Nous envisageons aujourd’hui de passer dans un format libre pour faciliter sa mise à jour par les chefs de départements et sa lecture par tous les membres de la mission indicateurs.

Lorsque nous avons réfléchi à la mise en place des outils nécessaires, nous avons estimé inutile d’acquérir un entrepôt de données et nous nous sommes orientés vers les deux solutions ci-dessous.

Nous disposons d’une base de données élaborée conjointement par notre spécialiste en ingénierie documentaire et par l’ingénieur de recherche informatique pour la collecte des données qui ne sont pas produites par notre SIGB. Elle autorise la saisie en ligne de données qui étaient auparavant relevées manuellement ou qui l’étaient dans des fichiers de divers formats stockés sur les postes de travail des personnels – donc difficilement accessibles et partageables (relevé des compteurs d’entrées, relevé des temps de travail sur la formation des lecteurs, relevés du service de la numérisation…). Nous la nommons « indicateurssicd2 ».

Nous recourons également à une base de données réplique de notre SIGB, construite par notre ingénieur d’études informatique, dont la mise à jour est maintenant quotidienne. Les informaticiens ont en effet estimé prudent de ne pas multiplier le nombre de transactions sur notre serveur SIGB… Elle nous fournit les éléments statistiques sur nos lecteurs et leurs activités, le volume et la nature de nos collections, les usages de nos collections imprimées…

Enfin, nous avons acquis un logiciel de calcul, de production des valeurs, de suivi (sous la forme de tableaux de bord et de rapports) et de communication de ces produits. Cognos  13, choisi en 2007, est une solution commerciale. Il a fait l’objet d’un déploiement progressif. Connecté aux autres outils, il produit automatiquement les rapports que nous avons préprogrammés ; il nous donne satisfaction et nous envisageons d’utiliser prochainement sa dernière version.

Une équipe de travail soudée, transversale, aux compétences démultipliées

On peut dire sans exagération que la plupart des personnels de la bibliothèque participent de près ou de loin au dispositif, et que tous le suivent avec intérêt. Évidemment, l’implication n’est pas équivalente entre un chef de département et un personnel à qui les résultats sont communiqués pour information…

À l’origine donc, la direction et les chefs de départements ont initié la réflexion et le mouvement. Très vite, le groupe a ressenti le besoin de s’entourer de compétences variées, comme celles des informaticiens qui, à la direction des systèmes d’information de l’université, travaillent sur la spécificité documentaire (un ingénieur de recherche et ponctuellement un ingénieur d’études), ainsi que celles d’un personnel recruté pour ses connaissances en ingénierie documentaire, grâce auquel les solutions techniques ont été sélectionnées et déployées  14. De plus, nous disposons maintenant, dans les départements du public et des collections, d’au moins deux personnes référentes pour les indicateurs, en plus des chefs de départements. L’ensemble de ces bibliothécaires s’est formé à la gestion des outils et à la création de rapports sous Cognos.

De multiples rencontres et réunions de travail ont eu lieu et se poursuivent avec les différents responsables de services. Un dialogue riche et fructueux se développe sur les objectifs de chacun en matière d’évaluation, sur l’adaptation des technologies utilisées antérieurement pour la collecte et le suivi et/ou la mise en place de nouveaux outils. La chaîne des traitements est le plus souvent possible raccourcie, informatisée. Ainsi, sans avoir besoin de travailler directement dans Cognos, le responsable de la formation peut faire trimestriellement ou annuellement le bilan de l’activité des vingt personnes qui interviennent dans le dispositif de formation. De même, le magasinier responsable du relevé des compteurs alimente en ligne « indicateurssicd2 » avec les données chiffrées et des commentaires sur les circonstances particulières du fonctionnement de la bibliothèque ; il reçoit chaque matin dans sa messagerie un rapport où il peut vérifier l’exactitude des données compilées dans Cognos…

Ce dialogue ouvre parfois des pistes à nos collègues qui, pour diverses raisons, rencontrent des difficultés dans leur travail quotidien ; il les conduit notamment à approfondir leur connaissance du fonctionnement de notre SIGB. C’est le cas par exemple du service chargé de la communication des documents qui, avec la réflexion sur les indicateurs, est encore plus attentif à sensibiliser les magasiniers sur l’impact de la saisie des données lors des inscriptions ; c’est aussi vrai du service des périodiques…

Il ouvre aussi parfois des portes pour traiter des situations délicates, comme peut l’être la phase d’installation du logiciel Sifac (Système d’information, financier analytique et comptable) pour le suivi comptable des acquisitions. L’outil de reporting, couplé à la base réplique de notre SIGB, doit nous permettre en 2010 de produire de véritables tableaux de bord pour les acquéreurs.

Sans revenir sur l’ouverture d’esprit que procurent les interrogations sur les finalités et les conditions de l’évaluation, il faut souligner l’élargissement et l’approfondissement des compétences professionnelles des bibliothécaires. Au travers d’un effort considérable de formation interne, nous notons ainsi une élévation importante des compétences techniques sur les outils « traditionnels » informatiques de gestion ; à l’instigation de notre spécialiste d’informatique documentaire, l’équipe se dote aussi de compétences affirmées dans l’utilisation de logiciels dont le champ d’intervention est d’ordinaire très éloigné du monde des bibliothèques. Cela peut être une richesse pour l’université.

L’évaluation finalement passionnante…

L’évaluation est un investissement incontournable ; avec la LRU, elle peut fixer le cadre d’un dialogue constructif avec l’université. Matière aride de prime abord, elle s’est avérée passionnante et utile en cela qu’elle touche la vie de toute la bibliothèque et qu’elle suscite échanges et partages au sein de l’équipe. C’est un des vecteurs de la communication interne ; elle est susceptible de tirer les personnels et le fonctionnement du service vers le haut.

Les efforts d’évaluation déployés en commun ont renforcé la cohésion de l’équipe et les positionnements transversaux. La démarche est non seulement admise mais aussi comprise et appréciée par la majorité des membres du personnel. Peu de réunions de direction ou du personnel ont lieu où il n’est pas question des indicateurs, et ce n’est plus nécessairement la directrice adjointe qui aborde ces sujets de façon volontariste.

Il faut souligner que cette évolution n’aurait pas été possible sans l’implication et le suivi attentif des informaticiens. Dès le début du projet, nous mettant en garde de façon discrète mais répétée contre « la griserie des chiffres », ils nous ont prodigué des conseils avisés lors de la phase de construction des indicateurs. La direction des systèmes d’information a accepté sans hésiter de nous épauler et de nous apporter l’assistance technique nécessaire sur le long terme, alors qu’elle n’est pas familière de ce champ d’activité.

Identifier les limites et les points forts

L’évaluation prend des formes diverses : mise en place d’indicateurs qui constitue un travail âpre, parfois vertigineux ; pratique régulière de comptages ponctuels et d’enquêtes auprès des publics, qui demande également des savoir-faire et compétences spécifiques. L’engagement résolu de la direction du SCD est indispensable pour pérenniser une activité constante.

Le SICD2 de Grenoble connaît maintenant parfaitement bien le public de la bibliothèque universitaire et des bibliothèques de composantes. Il sait identifier les points forts et les limites de son action au travers de données chiffrées et non plus seulement d’intuitions  15. Le travail entrepris conforte notre certitude que l’organisation mise en place dans la décennie 2000 fonctionne  16. Nous sommes en situation d’alimenter la réflexion des présidents et des membres du conseil de coopération documentaire. Il nous reste à parachever le déploiement de notre dispositif et surtout à développer la communication autour de nos performances pour enrichir la discussion avec la communauté universitaire et favoriser l’émergence de pistes de travail hardies pour développer le service public.

L’auto-évaluation peut apporter les éclairages complémentaires à la démarche macroscopique, à condition de reposer sur une base professionnelle. Ne serait-il pas profitable à toute la profession, et par voie de conséquence au service public universitaire français, d’instaurer une instance de réflexion pérenne sur les problématiques liées à la mesure de l’activité des bibliothèques ? Une suite est-elle envisagée au groupe d’experts qui s’est réuni sur le sujet autour de l’Inspection générale des bibliothèques et de la Sous-direction des bibliothèques ? Nous sommes intéressés à connaître comment la mission ministérielle entend être un apport pour faire reconnaître les compétences des professionnels des bibliothèques sur ces sujets, y compris au niveau local.

Avril 2010