EAO : évaluation assistée par ordinateur

Approche méthodologique de l'évaluation des bibliothèques publiques à partir de données disponibles grâce à leur informatisation. Description des procédures permettant de constituer une grille d'évaluation dans le cadre du logiciel OPSYS, et réflexion sur le rôle d'une telle grille dans la gestion d'une bibliothèque.

Methodological approach of the public libraries evaluation from data available through automation. Description of the procedure for elaborating an evaluation scale within the context of OPSYS ; some remarks about the role of such a scale on the management of a library.

Au colloque de Nice sur l'évaluation des bibliothèques universitaires en 1982 (1), la nécessité de ne plus seulement administrer mais de gérer les bibliothèques a été soulignée. Le contexte actuel, crise économique, décentralisation, développement de nouvelles technologies, oblige en effet les organisations, qu'elles soient publiques ou privées, à une adaptation rapide et permanente, ce qui les conduit à substituer aux pratiques bureaucratiques des pratiques « managériales ».

Cette nouvelle approche, fondée sur l'analyse systémique, implique une connaissance accrue du fonctionnement des institutions et une évaluation de leurs résultats, qu'ils soient inattendus ou conformes aux prévisions. L'information recueillie permet ensuite une redéfinition des méthodes et des objectifs pour assurer une meilleure adaptation à l'environnement.

Les techniques managériales sont déjà appliquées depuis de nombreuses années dans les pays anglo-saxons, principalement dans les bibliothèques universitaires. Elles concernent en premier lieu leur évaluation en termes d'efficacité, c'est-à-dire de comparaison entre les objectifs retenus - il s'agira le plus souvent de recherche de la satisfaction de l'usager -, et les résultats obtenus.

Différentes méthodologies ont été mises au point pour mesurer l'efficacité dans la fourniture des documents (2) : test d'Orr, méthode de l'« exposition aux documents » de Hamburg, test de Saracevic, étude de la circulation des documents de Morse. D'autres s'intéressent à la fourniture d'informations bibliographiques.

Évaluer pour décider

La nécessité d'évaluer les bibliothèques publiques commence aussi à se faire jour. Aux Etats-Unis, l'American library association a publié un manuel (3) destiné à aider les bibliothèques à rassembler les données nécessaires à une véritable planification locale.

L'introduction précise : « Grâce à la démarche décrite ici, les bibliothèques mettront au point des normes appropriées à leurs conditions locales et à leurs besoins, décideront de stratégies, commenceront un cycle de planification qui nécessite un contrôle permanent des progrès et un ajustement régulier des objectifs lorsque les conditions et les besoins évoluent ».

L'approche reste cependant assez délicate pour ce type de bibliothèques. Les publics sont plus difficilement « ciblables ». Les missions sont très vastes : documenter et informer dans tous les domaines, aider à la formation initiale et continue, diffuser les recherches littéraires et artistiques, conserver le patrimoine écrit local.

Les résultats ne sont pas toujours quantifiables, surtout dans le court terme. Les outils, limités actuellement aux statistiques élaborées par la Direction du livre et de la lecture et à quelques enquêtes sociologiques, sont insuffisants ou lourds à mettre en place.

Dans un article du Bulletin des bibliothèques de France (4), Roland Ducasse, interrogé sur les moyens nécessaires pour évaluer, répondait :

« On trouve aujourd'hui sur la plupart des micro-ordinateurs des outils d'aide à la décision qui pourraient parfaitement être adaptés à l'environnement documentaire... Trop souvent les informaticiens livrés à eux-mêmes, ramènent le suivi du développement d'un fonds documentaire, la gestion d'une collection à une simple statistique comptable, alors qu'il est possible d'en extraire des masses de données, lesquelles après traitement, fourniraient des informations de qualité ».

L'obligation de négocier avec les responsables locaux sur des dossiers solides, l'urgence des choix à effectuer aujourd'hui - introduction de nouvelles technologies, ouverture sur la coopération -, nécessitent que les responsables des bibliothèques soient en mesure de procéder à une auto-évaluation de leurs services et de planifier leurs objectifs. La mise en place de systèmes de gestion informatisée devrait pouvoir les aider dans cette tâche.

Dans ce contexte, il nous a semblé intéressant d'étudier un logiciel existant, OPSYS, implanté dans plusieurs bibliothèques municipales de la région Rhône-Alpes, pour.apprécier dans quelle mesure il intégrait l'idée d'évaluation et quels étaient les perfectionnements qu'il serait souhaitable d'y apporter pour pouvoir établir un bilan à la fois complet et permanent d'un équipement.

Conception d'un outil permanent d'évaluation

Evaluer une institution implique de collecter un certain nombre d'informations sur son fonctionnement et sur ses résultats. La gestion informatisée facilite cette collecte, encore faut-il savoir quelles sont les informations nécessaires pour l'évaluation d'un type particulier d'institutions, ici une bibliothèque de lecture publique, et si le logiciel disponible, en l'occurrence OPSYS, est susceptible de les fournir.

Le repérage des informations les plus pertinentes, la recherche d'un mode de saisie facile et d'une forme de présentation efficace ont pour but de concevoir un outil permettant d'effectuer de manière permanente à la fois le diagnostic des forces et des faiblesses de l'institution et le suivi de la mise en oeuvre de sa politique.

Trois champs d'évaluation

Deux questions préalables doivent être examinées avant de proposer une grille d'évaluation: qu'évaluer et comment évaluer ?

Dans un article de Médiathèque publique de 1977 (5) Jean Hassenforder posait déjà cette question : « Comment évaluer l'efficacité d'une bibliothèque publique ? », et proposait la méthodologie retenue par une équipe de chercheurs britanniques enquêtant sur trois bibliothèques, pour savoir dans quelle mesure ces dernières répondaient aux besoins des usagers et pour évaluer l'importance des besoins non exprimés.

De nombreuses études ont depuis été conduites au moyen de tests, de sondages et de questionnaires, pour tenter de mesurer de manière objective ou subjective la satisfaction des usagers ou les raisons pour lesquelles les non-usagers estiment que la bibliothèque ne répond pas à leur attente (6).

Les procédures d'enquête lourdes et coûteuses à mettre en oeuvre et surtout inefficaces pour constituer un outil permanent, ont été exclues mais les trois champs d'évaluation que l'on retrouve dans la plupart des études ont été conservés.

Le premier champ concerne le niveau d'activité d'une bibliothèque et cherche à déterminer dans quelle mesure et jusqu'où le service pénètre et affecte la communauté locale.

Le deuxième champ porte sur la qualité des services. Il échappe par définition à toutes les statistiques recueillies traditionnellement. Il fait pourtant l'objet d'une littérature de plus en plus abondante, car il a pour corollaire la recherche d'une plus grande satisfaction de l'usager et, par là même, l'évaluation de leurs besoins. Les recherches bibliométriques servent aujourd'hui de base à de nombreuses études, particulièrement aux Etats-Unis. Elles font dans le même temps l'objet de sérieuses critiques quant à l'approche quantitativiste de la gestion des fonds et à la pertinence du concept de satisfaction des usagers (7).

Le troisième champ d'évaluation consacré au coût des services a pour objet d'évaluer le degré d'efficacité de l'institution.

Ces trois champs sont susceptibles de servir de cadre de référence à la détermination d'une politique locale mais permettent aussi d'établir des comparaisons avec des institutions équivalentes.

Méthodes standardisées de collecte

Les trois champs retenus, niveau d'activité, qualité et coût de services ne peuvent être analysés qu'en fonction de paramètres, appelés parfois « points-clefs d'efficacité », propres à chacun d'eux, par exemple, pour le niveau d'activité : la pénétration de la bibliothèque dans la communauté, le volume des prêts et l'activité des emprunteurs.

Cette sélection peut paraître arbitraire et incomplète. Elle a été élaborée en fonction des informations disponibles dans l'état actuel du logiciel OPSYS ou susceptibles de le devenir à la suite de l'introduction de nouvelles fonctionnalités. Elle peut être facilement complétée pour répondre à des demandes d'évaluation plus précise et devrait être transposable sur un autre type de logiciel.

Les paramètres retenus sont mesurés à l'aide d'indicateurs qui se présentent le plus souvent non pas sous la forme de statistiques brutes mais au moyen de taux, de pourcentages, l'essentiel pour une évaluation étant l'écart entre les données, leur progression et non leur valeur absolue.

Ces indicateurs doivent être clairement définis et facilement disponibles grâce au logiciel, sous la forme de données chiffrées mais aussi de données graphiques qui permettent une plus grande lisibilité de l'information. Ils doivent pouvoir être affectés par toute décision prise par les responsables de l'institution, leur variation servant par la suite à mesurer son degré de réalisation.

Une étude approfondie de chaque indicateur permettra de préciser les données utiles à son relevé, ainsi que sa périodicité, les procédures à suivre pour son calcul, dans l'état actuel du logiciel ainsi que les compléments qu'il serait souhaitable d'y introduire pour permettre l'obtention de données véritablement significatives.

L'information recueillie n'ayant de sens que si elle est analysée et si elle sert de base à l'action, le rôle de chaque indicateur sera envisagé dans la démarche d'évaluation d'une politique et de détermination de son orientation.

Cette approche s'inspire de celle qui a présidé à l'élaboration d'un manuel, Output measures for public libraries, publié par l'ALA (8), qui explique comment mesurer les services rendus par une bibliothèque.

Niveau d'activité

Pénétration de la bibliothèque dans la communauté

Indicateurs retenus

Pourcentage d'inscrits par rapport à la population à desservir.

Pourcentage d'inscrits par catégories socio-démographiques par rapport aux catégories équivalentes d'habitants.

Le taux de pénétration en fonction des catégories socio-démographiques semble plus significatif que le premier ratio pour évaluer les résultats d'une politique. Une population composée de cadres moyens, d'enseignants, de jeunes d'âge scolaire, est beaucoup plus disposée à utiliser une bibliothèque dans la mesure où les services qui lui sont traditionnellement proposés correspondent mieux à ses besoins qu'à ceux d'autres catégories.

Données nécessaires au relevé et à la périodicité

Deux catégories de données doivent être collectées : celles relatives à la population à desservir et celles relatives aux inscrits à la bibliothèque.

Le dernier recensement INSEE est la source essentielle pour obtenir la première catégorie de données : le nombre total d'habitants, le nombre d'habitants par tranches d'âge, par sexe et par catégorie socio-professionnelle.

D'autres informations seraient utiles à recueillir auprès des services municipaux : la population par nationalité, par quartier, le nombre d'enfants par groupe scolaire. Si les données générales sont tributaires de la date du recensement national, il est indispensable de suivre chaque année l'évolution des effectifs scolaires et la mobilité interne et externe des habitants.

Cette collecte peut sembler fastidieuse ; elle est indispensable pour prévoir l'évolution des besoins de la communauté, les modifications d'équilibre entre les différents quartiers: vieillissement de la population, fermeture de classes, ouverture d'un groupe scolaire, etc.

On s'efforcera de recueillir le même type d'informations, âge, sexe, catégories socio-professionnelles (CSP), nationalité, appartenance à un quartier, à un groupe scolaire, au moment de chaque inscription, en respectant les regroupements, tranches d'âge et CSP tels qu'ils ont été définis pour la population.

Procédure à effectuer

Actuellement il est facile d'obtenir des statistiques sur les inscrits par tranches d'âge, sexe, regroupement de CSP, groupe scolaire, mensuellement et/ou annuellement.

L'utilisation du langage « français » qui permet de travailler sur toutes les zones du fichier « emprunteurs » rend possible l'obtention de renseignements complémentaires sur le lectorat : regroupement des lecteurs par rue, par langue lue...

Propositions

Il serait utile de constituer un fichier annexe reprenant toutes les données concernant la population à desservir dans la mesure où elles peuvent être confrontées à celles du fichier emprunteur. Cela permettrait de croiser annuellement ces deux fichiers et d'obtenir des informations sous forme de pourcentage avec rappel des données de l'année antérieure.

Enfin une présentation graphique des résultats est à envisager. Seul le semi-graphisme, impression de pavés noirs et gris est actuellement possible sur le logiciel.

Un « camembert » permettrait de visualiser la progression de la pénétration globale de la bibliothèque dans la comunauté. Un histogramme représenterait les différents taux selon les caractéristiques socio-démographiques retenues.

Analyse et rôle des indicateurs

Les formations obtenues devraient permettre d'envisager une typologie des inscrits et en négatif des non-inscrits (le terme de non-inscrit est préférable à celui de non-lecteur qui exclut par définition les personnes ayant des pratiques de lecture extérieures à la bibliothèque), permettant ainsi de suivre l'évolution de la pénétration de la bibliothèque, de prévoir le volume d'activités nécessaires pour satisfaire les usagers, d'envisager des politiques propres à satisfaire les publics spécifiques.

Volume des prêts

Indicateurs retenus

Nombre global de prêts : nombre de prêts par habitant, nombre de prêts par inscrit.

Pourcentage de prêts selon le type de document, livre, disque, cassette; selon la section, jeune, adulte; selon l'équipement.

Ces indicateurs traduisent habituellement le dynamisme d'une bibliothèque. Ils sont l'équivalent des statistiques produites par la Direction du livre à partir du rapport annuel, pour comparer, tous les trois ans, des équipements desservant des populations de taille équivalente.

Ils ne reflètent qu'une partie de l'activité : le prêt de documents. D'autres procédures permettraient de comptabiliser le nombre de consultation de documents sur place, par exemple l'utilisation d'un stylo optique portable, bientôt disponible; le nombre de demandes de références, de prêts inter-bibliothèques et même, dans un avenir proche, d'interrogations de bases de données.

Données nécessaires au relevé et à la périodicité

Le nombre de prêts de documents, livres, disques, revues, etc., leur répartition selon les équipements, les sections, les tranches d'âge, sont à connaître par jour avec cumulatifs hebdomadaires, mensuels et par année. Ils sont indispensables pour remplir le rapport annuel.

Procédures à effectuer

Actuellement il est possible d'obtenir l'ensemble de ces statistiques sur n'importe quelle période, mois, saison, année, le cumul de l'année antérieure étant sauvegardé.

Propositions

Les différentes statistiques pourraient être données en pourcentages, selon les types de documents et les sections, globalement sur la commune et par équipement avec rappel des résultats antérieurs.

Leur traduction graphique devrait prendre la forme de courbes des prêts, mois par mois ou même semaine par semaine, permettant de situer les pointes saisonnières et de visualiser les différences de résultats entre équipements et la progression d'une année sur l'autre.

La répartition des prêts selon le type de documents, le lieu de desserte et la section pourrait être représentée par un histogramme.

Analyse et rôle des indicateurs

Le volume des prêts reste le critère essentiel de l'évaluation d'une institution qui a pour objectif principal de collecter des documents pour les prêter. On sait qu'il fait par ailleurs l'objet de critiques de la part de ceux qui craignent le développement de pratiques démagogiques pour « gonfler » artificiellement ce résultat. Il est vrai qu'une bibliothèque de lecture publique a d'autres missions à remplir et que les responsables d'un équipement peuvent choisir des actions moins gratifiantes en termes de prêt.

Ces indicateurs devront donc toujours être analysés en fonction des objectifs initiaux et des moyens mis en oeuvre pour les atteindre. Ils constituent un moyen de comparaison intéressant entre équipements permettant de mesurer leur degré d'efficacité compte tenu des ressources dont ils disposent.

Activité des emprunteurs

Indicateurs retenus

Nombre d'emprunteurs par rapport au nombre d'inscrits. Pourcentage de prêts, selon le type de documents, par catégorie socio-démographique d'emprunteurs.

Si le taux de pénétration de la bibliothèque et le volume des prêts permettent d'évaluer le dynamisme de l'institution, ils ne renseignent pas sur l'utilisation qui en est faite.

Ces indicateurs permettraient de préciser l'étude sur le lectorat en signalant les différentes pratiques des lecteurs, selon leurs caractéristiques socio-démographiques et selon le type de document qui leur est proposé.

Données nécessaires au relevé et à la périodicité

Le nombre d'emprunteurs par rapport au nombre d'inscrits est à calculer chaque année ainsi que les caractéristiques socio-démographiques des non-emprunteurs et des emprunteurs. Les cumuls de prêts annuels, par type de document, section et lieu de desserte sont suffisants pour l'information recherchée.

Procédures à effectuer

L'utilisation du langage « français » permet d'obtenir des tris successifs à partir du fichier « emprunteurs ».

On pourra calculer le nombre de prêts de tel type de documents selon les tranches d'âge retenues et selon le sexe des emprunteurs. Le même calcul devra être effectué à partir des regroupements des CSP des lecteurs. Les deux opérations seront à réaliser globalement et pour chaque point de desserte.

Propositions

Elles concernent à nouveau le calcul des pourcentages pour chaque type de données, par rapport au total des données et le rappel des chiffres de l'année antérieure.

La répartition des prêts serait à visualiser selon les tranches d'âge, ainsi que les CSP pour les adultes.

Une mise en relation catégories d'emprunteurs et pourcentages de prêts par catégories d'emprunteurs serait particulièrement intéressante.

Analyse et rôle des indicateurs

Une connaissance plus approfondie des pratiques des lecteurs, appréciée certes de manière quantitative mais aussi qualitative, à travers le type de documents privilégié selon la catégorie d'usager, permet de segmenter les publics et d'envisager des politiques appropriées pour chacun d'eux.

L'analyse des indicateurs est un moyen d'ébaucher une typologie des usagers selon leur niveau et leur type d'utilisation de la bibliothèque. Elle serait à compléter et à corriger par une étude sur la consultation sur place et les visites de l'équipement.

Qualité des services

Fidélité des lecteurs

Indicateurs retenus

Nombre de lecteurs de l'année précédente non réinscrits l'année suivante. Pourcentages de lecteurs inscrits depuis plus de deux ans, depuis plus de 5 ans.

Ces informations traduisent d'une certaine manière l'attachement que les usagers portent à l'institution, donc indirectement le degré de satisfaction qu'ils en retirent.

Données nécessaires au relevé et à la périodicité

Le relevé annuel des inscrits et leur comptabilisation suivant leur date d'inscription, qui devra figurer dans le fichier « emprunteurs », sont suffisants.

Procédures à effectuer

L'utilisation du « français » permet d'obtenir le tri des lecteurs de l'année précédente non réinscrits l'année suivante, ainsi que celui des lecteurs inscrits depuis telle ou telle date.

Propositions

Traduction des données en pourcentages et en graphismes avec suivi sur plusieurs années pour apprécier le niveau de fidélisation des lecteurs.

Analyse et rôle

L'examen du listing des lecteurs non réinscrits, ainsi que leurs caractéristiques socio-démographiques qu'il serait possible d'obtenir par le « français », peut être riche d'enseignements à condition de prendre la précaution d'en défalquer les lecteurs ayant quitté la commune.

De même une étude sur les lecteurs inscrits depuis plus de deux ans, de cinq ans, etc. devrait proposer des hypothèses sur l'influence de l'âge ou de la CSP sur une fréquentation durable de la bibliothèque et conduire à l'adoption de stratégies visant à consolider cette fréquentation.

Encadrement des lecteurs

Indicateur retenu

Nombre d'agents au prêt par rapport au nombre de prêts.

Nous partons du principe que la satisfaction de l'usager, dans une bibliothèque de lecture publique, est souvent fonction de l'accueil qu'il reçoit et de la disponibilité du personnel pour le guider et le renseigner.

Données nécessaires au relevé et à la périodicité

Il suffit de connaître le nombre de prêts, par jour et par tranche horaire, pour un équipement donné, pendant une semaine test et de le rapporter au nombre d'agents au prêt pour les périodes équivalentes.

Ce relevé pourrait être effectué sur d'autres semaines à des périodes caractéristiques de l'année : pointes saisonnières, vacances, etc.

Procédures à effectuer

Le logiciel permet de comptabiliser les prêts par tranche horaire et quotidiennement.

Propositions

Prévoir dans le fichier « bibliothèque » d'entrer des renseignements sur le nombre d'agents par catégories, en précisant leurs fonctions. Ces données peuvent être utiles pour ce relevé et pourront être reprises ultérieurement pour d'autres indicateurs.

Analyse et rôle

Le taux d'encadrement est à prendre en compte pour traiter deux problèmes souvent contradictoires, la nécessité d'une organisation du travail la plus rationnelle possible dans chaque équipement et dans l'ensemble de la bibliothèque, et l'exigence d'une présence suffisante auprès du public.

Un taux trop fort tend à montrer une surprésence du personnel, un taux trop bas, un manque de disponibilité auprès des lecteurs. Ces résultats sont cependant à nuancer en fonction de la disposition des locaux qui peuvent exiger parfois plus d'agents au prêt.

La connaissance des prêts par tranche horaire est un bon moyen d'affiner la répartition des effectifs.

Niveau et adéquation des collections

Pour affronter la double contrainte de la baisse des ressources et de l'accroissement de la demande, de nombreux bibliothécaires élaborent de nouvelles politiques visant à mieux adapter l'offre à la demande. Diverses applications, pragmatiques et de portées diverses, reposent toutes sur le principe de rotation de stocks, défini ici par le nombre de prêts par ouvrage (9).

Les techniques de gestion des fonds, inaugurées en 1950 par A.W. Mc Clellan, à Tottenham, ne peuvent que se développer et s'affiner avec l'informatique malgré les critiques dont elles font l'objet. Certains leur reprochent de conduire à une sélection des ouvrages sur des critères uniquement quantitatifs et de ne pas prendre en compte les demandes non satisfaites.

Le contrôle des stocks ne constitue qu'un système de diagnostic qui laisse au bibliothécaire la possibilité d'utiliser ses propres critères qualitatifs. Dans cette perspective, quatre indicateurs permettent d'évaluer l'importance et le niveau des collections mises à la disposition du public, ainsi que l'impact des politiques documentaires.

* Importance des fonds

Le nombre total de documents disponibles sur la commune ainsi que le nombre de documents par habitant et par inscrit.

Ces chiffres ne sont pas toujours connus de manière précise dans une bibliothèque; ils sont pourtant indispensables pour conduire une politique documentaire.

Données nécessaires au relevé et à la périodicité

Un relevé annuel du nombre de livres, enfants, adultes, en titres et en exemplaires, par équipement, est à prévoir. De même que le nombre de titres de périodiques vivants et d'abonnements, le nombre de disques, enfants, adultes, par genre et le comptage de tout autre type de document audio-visuel.

Procédures à effectuer

Le « français » permet de comptabiliser tous les types de documents par équipement, en effectuant des tris par cotes, ou regroupements de cotes. Ce relevé des fonds entrés en bibliothèque sera à compléter par une procédure de récolement qui peut être facilitée par la gestion informatisée.

Le décompte des documents en prêt ne pose pas de problème. Celui des ouvrages, périodiques, disques disponibles à la bibliothèque sera simplifié par la lecture des codes barres grâce à un crayon optique portable.

Si l'on a pris soin de signaler au fur et à mesure la mise en réserve, en réparation ou au rebut des documents tout au long de l'année, on devrait pouvoir connaître précisément les fonds disponibles par équipement et calculer le taux de perte par rapport à l'année antérieure.

Propositions

Une présentation graphique, des rapports entre les différents fonds, enfants, adultes, subdivisés en livres, disques... et une répartition par classes ou grands domaines permettrait de dresser une sorte de carte des collections et de suivre leur évolution sur plusieurs années.

Analyse et rôle

Une connaissance précise des fonds permet d'évaluer à un premier niveau l'offre faite aux lecteurs et de la comparer à celle proposée par d'autres bibliothèques.

Cette carte des collections précise la physionomie de l'équipement, son orientation qui est à mettre en rapport avec le public à desservir. Elle peut servir de base à une politique documentaire visant à spécialiser chaque équipement dans certains domaines dans le but de développer des fonds complémentaires, ce qui est recommandable dans le cadre d'un réseau.

L'étude du taux de perte serait également intéressante. Elle pourrait déterminer la nécessité d'installer un système anti-vol. L'analyse des documents « disparus », envisageable par l'utilisation du « français », permettrait de repérer les types d'ouvrages ou de disques les plus convoités.

* Taux d'accroissement annuel des collections

Le nombre de documents acquis dans l'année, globalement et par catégories par rapport au nombre total de documents disponibles.

Données nécessaires au relevé et à la périodicité

Le nombre total de documents disponibles étant connu, il ne reste qu'à comptabiliser sur l'année le nombre de documents acquis par la bibliothèque, par achats, dons ou échanges, en affinant suffisamment les catégories.

Procédures à effectuer

Le comptage des documents acquis par classe ou regroupement des cotes, par équipement, est réalisable grâce au « français ».

Propositions

Le calcul des pourcentages d'accroissement par cote ou regroupement de cotes pour les ouvrages, ou par genre pour les disques, serait très utile. Deux procédés graphiques seraient à mettre au point: un diagramme représentant les différents fonds subdivisés en classes avec leur pourcentage d'accroissement; une courbe des acquisitions mois par mois avec comparaison sur plusieurs années.

Analyse et rôle

Le taux d'accroissement annuel, qui traduit la politique budgétaire, est particulièrement important pour les bibliothèques de lecture publique, étant donné l'existence d'une demande plus axée sur l'actualité, sur les documents « dont on parle ».

Les taux sont nécessairement différents selon la catégorie ou la classe. Ils sont fonction de l'importance des fonds préexistants, de la production éditoriale, du type de demande ou d'offre, propres à une bibliothèque.

Ils sont le plus souvent déterminants pour la réussite d'une bibliothèque et doivent être corrigés selon les résultats obtenus.

* Taux de rotation annuel des collections

Le nombre de prêts par rapport au nombre de documents disponibles.

Ce ratio est important puisqu'il permet de mesurer le degré d'activité des fonds. C'est donc un moyen d'évaluer la qualité des politiques d'acquisition, aussi bien sur le court terme que sur le moyen et le long terme.

La gestion automatisée rend possible une recherche facile de ce taux en fonction de nombreux critères : âge des documents, catégories, cotes...

Données nécessaires au relevé et à la périodicité

Les calculs précédents ont permis de connaître précisément l'état des collections, le nombre de prêts dans l'année par catégorie de documents, le nombre de documents acquis pendant l'année selon la même typologie. Il reste à connaître l'état des collections suivant le critère de leur date d'édition pour évaluer leur vieillissement.

Procédures à effectuer

Le « français » permet d'opérer un tri sur l'ensemble des prêts annuels selon le type de documents, la cote ou le regroupement de cotes pour les ouvrages, et suivant leur date d'édition.

Il serait ainsi intéressant de calculer le nombre de prêts par catégories de documents, pour les ouvrages de moins de deux ans, de deux à cinq ans, de plus de cinq ans ou tout autre période.

On pourrait ainsi calculer le nombre de prêts annuels par rapport au nombre de livres acquis pendant la même année, pour apprécier le succès des nouveautés. Il ne reste ensuite qu'à effectuer les pourcentages de prêts par rapport aux fonds pour obtenir les taux recherchés.

Propositions

Stocker sous forme de pourcentages les données obtenues précédemment, avec rappel des résultats antérieurs permettrait de repérer des constantes ou parfois des évolutions significatives, à mettre en relation avec les choix documentaires.

Une visualisation de l'âge des collections, globalement selon les différentes classes, par un graphique, permettrait de mieux saisir l'exigence de renouvellement des stocks. La représentation des différents taux de rotation mettrait en évidence le moment à partir duquel une partie de la collection devient pratiquement morte.

Analyse et rôle

Les taux de rotation globale des collections, par type de documents et par cote, fournissent des renseignements utiles sur les besoins des lecteurs. Ils servent de base à la détermination d'une politique d'acquisition sur le long terme, aussi bien au niveau du renouvellement des collections qu'à celui de leur accroissement.

Les taux basés sur l'âge des documents constituent des indices intéressants du niveau de vieillissement des collections. Or, en lecture publique, des fonds « vieillis » ont souvent un effet négatif sur l'image de marque de la bibliothèque et sur l'attraction des différentes catégories d'ouvrages.

Ils permettent d'appréhender de manière très précise le vieillissement relatif des documents selon les classes ou les regroupements de cotes, les livres d'histoire « vieillissant » moins que les livres scientifiques par exemple.

Ces informations sont utiles autant à l'affinement d'une politique d'acquisition qu'au « désherbage » des rayons, selon l'expression anglo-saxonne consacrée.

Les documents délaissés par le public pourraient être, selon les cas, conservés en magasins ou dans des lieux de stockage collectif.

L'utilisation du critère d'acquisition dans l'année serait le moyen d'évaluer l'impact direct de la répartition budgétaire entre tel ou tel fonds. Le taux serait bien entendu à relativiser dans la mesure où les politiques documentaires ont généralement des effets sur un plus long terme.

* Taux de prêt par type de document et par type de lecteur

Cet indicateur a pour objet de parvenir à une ventilation des prêts par classe ou regroupement de cotes et par CSP d'emprunteur de manière à préciser les pratiques des différenes catégories de lecteurs.

Données nécessaires au relevé et à la périodicité

L'ensemble de ces données est calculé annuellement pour apprécier d'autres indicateurs.

Procédures à effectuer

Il est prévu de pouvoir sortir par mois et par an des statistiques pour chaque équipement par tranche d'âge, type de document, cote et CSP, type de document et cote.

Si ces informations sont précieuses et faciles à obtenir, leur présentation en multiples listings n'en rend pas leur consultation très aisée.

Propositions

La traduction des données en pourcentages et leur regroupement en tableaux avec rappel des données antérieures rendrait la lecture beaucoup plus facile.

Analyse et rôle

Cette ventilation doit aider à affiner encore la politique d'acquisition pour répondre au mieux aux besoins des différentes catégories de lecteurs, tels qu'ils les expriment à travers leurs pratiques de prêts.

Elle peut servir de base à des actions volontaristes en direction de publics peu emprunteurs ou intéressés principalement par un certain type de documents, soit sous la forme d'accroissement ou de mise en valeur de certains fonds, soit au moyen d'animation ou de pratiques d'information-formation plus systématiques.

Accessibilité des documents

Propositions

Il semble souhaitable d'obtenir des informations, même partielles, sur le mode d'accès au document et sur le degré de satisfaction des lecteurs par rapport aux ouvrages demandés.

Les procédures d'enquêtes ayant été exclues, se limiter à l'utilisation du logiciel en espérant que certains compléments pourront être apportés.

L'introduction de terminaux de recherche documentaire en accès direct au public peut donner l'occasion de connaître son degré d'utilisation ainsi que le mode d'entrée privilégié par le public.

Les interrogations sélectionnées selon leur mode d'entrée, auteur, titre ou sujet devront être comptabilisées quotidiennement sur chaque terminal accessible au public. Des cumuls par mois et par an devront être réalisés. La comparaison de ces données avec les prêts effectués dans le même temps permettra de mieux connaître les pratiques des lecteurs.

La progression du nombre d'interrogations permettra de prévoir à moyen terme le nombre de postes nécessaires pour satisfaire les usagers ou, en cas de faible utilisation, d'améliorer son mode d'emploi. Evaluer la satisfaction des lecteurs en rapport à leurs demandes de documents est plus difficile à appréhender dans ce type de bibliothèque où la notion de collection de référence est peu opérante.

On pourrait imaginer cependant que le logiciel rende possible le repérage systématique des ouvrages non possédés par la bibliothèque à la suite d'une interrogation par auteur ou par titre. L'interrogation par sujet est moins significative, le besoin pouvant plus facilement être satisfait par des substituts.

Ce repérage pourrait être listé mensuellement, l'analyse des demandes non satisfaites révélant soit des lacunes dans la politique d'acquisition ou des refus délibérés, soit des erreurs du fait du lecteur ou du processus de fabrication du catalogue et/ou du mode d'interrogation.

Il serait bien entendu à compléter avec les demandes formulées dans le traditionnel « cahier des lecteurs ».

Autre substitut envisageable au test de Saracevic, repérer les demandes de réservation faites par erreur par les lecteurs, l'ouvrage étant possédé par la bibliothèque. Le lecteur ne l'a pas trouvé alors que le terminal indique qu'il est disponible dans l'établissement.

Il serait utile de lister, au moins mensuellement, ces « erreurs » pour pouvoir analyser leurs causes qui sont le plus souvent des signes de dysfonctionnement de la bibliothèque: rayons désordonnés, mauvaise signalisation, vols « momentanés », problèmes de programme, etc.

Disponibilité des documents

* Délai de traitement des documents

Le délai compris entre la date de la commande et celle de la mise en accès libre du document se décompose en deux étapes.

Le fichier « commandes » comprenant une variable « code librairie » et une variable « date de la saisie », il faudrait pouvoir signaler la date de livraison pour pouvoir calculer le délai moyen de réalisation d'une commande par fournisseur.

Une bonne organisation du circuit du livre permet d'achever la notice et d'équiper le document pour le mettre en rayon, le même jour. Le délai moyen de cette deuxième étape est à calculer en datant également la procédure de complément de la notice.

Ces informations peuvent être utiles pour négocier avec les fournisseurs et pour améliorer le circuit du livre.

* Taux de réservation

Il s'agit de connaître le pourcentage d'ouvrages, par rapport à l'ensemble des prêts, faisant l'objet de réservation mais plus encore d'obtenir des informations sur ces ouvrages.

Données nécessaires au relevé et à la périodicité

Un relevé trimestriel du nombre d'ouvrages faisant l'objet de réservation, globalement, par type de document, par cotes, est suffisant.

Procédures à effectuer

Actuellement, toute réservation satisfaisante est immédiatement effacée, donc ce calcul ne peut se faire.

Propositions

Il faudrait constituer un fichier annexe des réservations, les regroupant par type de document, cotes... et assurer la mise en relation avec les prêts correspondants, sous forme de pourcentages.

Analyse et rôle

Cet indicateur peut constituer une aide pour la politique d'acquisition, en particulier pour fixer le nombre d'exemplaires souhaitables d'un même titre. La décision devra également être prise en fonction de l'étude du taux de rotation sur plusieurs années d'un ouvrage du même type.

Il peut conduire aussi à moduler la durée du prêt en fonction du niveau de la demande. Ainsi, on limitera à une semaine le prêt d'un best-seller.

* Taux de rappel

Il s'agit de calculer le pourcentage de prêts faisant l'objet de rappel, un trop grand nombre de rappels ralentissant la circulation des ouvrages et pouvant diminuer la satisfaction des lecteurs.

Données nécessaires au relevé et à la périodicité

Le nombre de prêts étant connu, il reste à comptabiliser les documents prêtés faisant l'objet de rappel. Un relevé par trimestre permettrait d'effectuer des modifications dans le système de fonctionnement, au cours de l'année.

Procédures à effectuer

Actuellement il est possible d'éditer la liste des livres ayant fait l'objet de trois rappels, ainsi que les noms de leurs emprunteurs.

Propositions

Il doit être possible de comptabiliser les documents faisant l'objet de rappel et de les lister selon le nombre de rappels effectués.

Analyse et rôle

Un taux de rappel trop important traduit des dysfonctionnements dans le système de prêt. Il convient alors de revoir le mode de pénétration pour retard et/ou les modalités du prêt. L'examen des documents listés permet de repérer les catégories d'ouvrages dont la durée de prêt doit être modulée (manuels, recueils, etc).

Suivi des animations

Un simple pointage manuel des participants ou spectateurs lors de chaque animation permet d'évaluer les publics les plus intéressés, enfants, adultes, adolescents selon les genres proposés, expositions, ateliers, rencontres, etc.

Même si l'information ne peut être concernée par ce type d'évaluation, il semble utile de prévoir son intégration dans le bilan annuel. Les résultats atteints dans ce domaine sont à mettre en relation avec ceux obtenus au niveau des inscriptions et/ou des prêts par catégorie de lecteurs.

Coût des services

Charges de travail du personnel

L'introduction du prêt automatisé et du catalogage informatisé et « partagé » entre équipes d'un réseau local ou membres d'une agence de coopération régionale modifie fondamentalement ces charges.

* Moyenne de prêts par agent au prêt

Données nécessaires au relevé et à la périodicité

Ces données, nombre de prêts et nombre d'agents au prêt, globalement et par équipement, sont déjà accessibles. Il faudrait établir ces taux tous les mois pour mesurer les charges de travail suivant les périodes de l'année.

Propositions

Etablir une courbe des moyennes de prêt par agent, pour les différents équipements, afin de les comparer entre elles et de suivre leur évolution en fonction des modifications de répartition de postes.

Analyse et rôle

Ces moyennes sont à analyser avec prudence car deux critères peuvent interférer sur leurs résultats : la disposition des locaux selon les équipements, qui peut rendre nécessaire un plus grand nombre de personnes au prêt, le souci de mieux accueillir les lecteurs, exigence qui a été prise en compte précédemment.

Elles peuvent conduire à redéployer le personnel au prêt entre équipements et suivant les périodes de l'année.

* Moyenne de documents traités par agent

Il est nécessaire de comptabiliser l'ensemble des documents commandés et équipés par une équipe, et d'étudier également la répartition du catalogage entre équipes pour apprécier les charges de travail effectives. Cette analyse prend tout son sens dans le cadre de bibliothèques fonctionnant en réseau d'équipements avec l'organisation décentralisée du travail que l'informatisation permet aujourd'hui.

Données nécessaires au relevé et à la périodicité

Le nombre d'exemplaires entrés au catalogue de chaque équipement, dans l'année, constituera une première donnée. Elle devra être pondérée par le nombre de titres catalogués par équipe.

Procédures à effectuer

Le fichier « exemplaires » nous permet d'avoir accès à la première partie de l'information. Il reste à connaître le nombre exact de titres catalogués dans chaque équipement.

Propositions

De même que la commande d'un document est personnalisée par les initiales de la personne qui la propose, il devrait être possible de prévoir le code de l'équipement ou du catalogueur-indexeur pour chaque notice complétée, ce qui permettrait ensuite de les comptabiliser par équipe ou par personne.

Analyse et rôle

Le suivi de cet indicateur permet de mesurer les charges respectives des équipes dans un système très décentralisé et d'envisager une meilleure répartition du personnel ou une réorganisation du travail, certains agents préférant par exemple se consacrer davantage à des tâches de formation ou d'animation.

L'évolution du taux de documents catalogués par chaque équipe et/ou du taux de notices acquises à l'extérieur, par rapport à l'ensemble des notices accumulées dans la base de la bibliothèque, devrait traduire le degré d'efficacité du système en réseau, qu'il soit purement local ou ouvert.

Structure budgétaire et rapport coût-efficacité

La gestion d'une bibliothèque exige de suivre avec précision l'évolution de sa structure budgétaire, tant au niveau des recettes - parts respectives des différentes sources de financement -, que des dépenses - frais fixes et frais variables, frais directs et indirects.'

Le montant global de la charge par habitant, calculé à partir du rapport annuel, reste un élément de comparaison important entre bibliothèques, puisqu'il permet d'évaluer l'effort respectif des communes.

Le calcul du rapport coût-efficacité est plus délicat et ne peut s'appuyer que sur une convention qui consiste à retenir le nombre de prêts annuels comme critère d'évaluation, avec toutes les restrictions qui s'imposent.

Il permet de suivre la progression d'une bibliothèque et de mesurer les effets de sa politique. C'est un excellent moyen de comparaison entre les bibliothèques bien qu'il ne prenne pas en compte les aspects qualitatifs.

On peut ainsi calculer le nombre de prêts obtenus pour mille francs de budget de fonctionnement accordés en procédant à l'opération suivante : N prêts = (1000 F * y prêts) / x francs

Le suivi de ce rapport sur plusieurs années serait particulièrement significatif pour savoir jusqu'où peut se poursuivre le processus d'accroissement de l'efficacité sans accroître les coûts dans le cadre d'une même organisation, les bibliothèques étant elles aussi soumises au principe des rendements décroissants (10).

Il serait également intéressant de suivre la progression du rapport coût-efficacité en fonction de la structure des dépenses, et des parts respectives de dépenses documentaires et de dépenses générales. Les frais fixes - personnel, administration générale, entretien, etc. - ont tendance à augmenter plus vite que ceux liés à la politique documentaire, ce qui rend l'institution de moins en moins productive, passé un certain seuil.

Ces données sont particulièrement déterminantes pour définir une politique budgétaire, car elles permettent d'envisager le niveau d'efficacité de l'équipement.

Coûts unitaires

L'adoption d'une comptabilité analytique semble indispensable pour mesurer réellement ces coûts, qu'il s'agisse de celui d'un prêt, du traitement d'un document, d'un rappel, du dépouillement d'un périodique, d'une réservation, etc.

Ces mesures facilitent la prise de décision en permettant d'établir des comparaisons, entre différents types d'organisation, de matériel, de fonctionnement, sur plusieurs années.

Le suivi de ces derniers indicateurs rend indispensable de compléter tout logiciel de gestion documentaire par un logiciel de gestion financière et comptable.

Grille d'évaluation et gestion

Un outil d'analyse collective

Recueillir les éléments utiles à une telle grille d'évaluation témoigne du souci de situer une institution dans son environnement et d'en dresser un bilan, en mettant l'accent non pas sur la consommation de moyens, mais sur les résultats obtenus. La réalisation de la grille et son analyse constituent donc en elles-mêmes une approche managériale.

C'est aussi l'occasion de développer d'autres types de relations à l'intérieur comme à l'extérieur de la bibliothèque. La mise au point de la grille exige un fonctionnement décentralisé et permet la circulation de l'information. La confrontation au sein des équipes et l'observation sur le terrain des pratiques des usagers doivent conduire à une meilleure appréciation des besoins et à des propositions de stratégies tenant compte des mutations nécessaires. Cette remontée de l'information peut se faire lors de réunions périodiques de coordination où sont constamment repensées l'organisation du travail, la répartition des effectifs, l'allocation des ressources, la politique d'animation et d'information. Il ne faudrait pas en effet que la grille soit perçue comme un instrument de contrôle de l'activité de chacun, mais comme un moyen pour tout membre du personnel d'appréhender globalement l'activité de la bibliothèque et de se situer dans son ensemble.

Disposer d'une information rapide et abondante est également un moyen d'améliorer les relations avec les élus et les usagers. Pour conduire des négociations qui risquent de devenir de plus en plus ardues, pour convaincre et susciter la confiance, les bibliothécaires ont aujourd'hui besoin d'avoir non pas de simples opinions sur leur institution, mais des dossiers solides témoignant de leur efficacité. L'analyse collective et régulière des résultats et leur confrontation aux données locales a pour but d'établir un diagnostic des forces et des faiblesses de l'institution qui puisse faire l'objet d'un consensus de la part du personnel et qui est ensuite soumis aux décideurs.

Programmation et contrôle de gestion

La grille d'évaluation peut être utilisée à un deuxième niveau de gestion managériale pour mettre en place un programme : fixer des objectifs, préciser les stratégies et les moyens nécessaires pour les atteindre.

Le choix des objectifs sera déterminé dans le cadre d'une programmation à long terme, compte tenu du diagnostic établi pour l'année écoulée et en fonction des prévisions attendues pour l'année suivante et des ressources financières disponibles. La discussion des objectifs est nécessairement parallèle au débat budgétaire. Elle doit conduire à une hiérarchisation fondée sur leurs intérêts respectifs et leurs coûts.

Le contrôle de leur réalisation sera amené à l'aide d'un tableau de bord (11) : sur un tableau synoptique sont portés, en ordonnées, les objectifs retenus et, en abscisses, les mois de l'année. Chaque action ou élément de stratégie propre à un objectif est représenté par un carton de couleur différente selon les services. Un certain nombre de points de contrôle sont signalés.

Le fonctionnement du tableau de bord et l'utilisation de la grille d'évaluation, qui indique les procédures à suivre pour relever certains indicateurs, doivent permettre de contrôler les prévisions et, si nécessaire, soit de les réajuster, soit de prendre des dispositions nouvelles pour maintenir les objectifs. Les relevés statistiques servent ultérieurement au bilan annuel et au contrôle de gestion. Trois fonctions sont attribuées traditionnellement au contrôle de gestion (12) : permettre de comparer a posteziori les résulats d'un service aux objectifs déterminés conjointement par les décideurs et les responsables du service, trouver les raisons des écarts constatés, proposer des solutions pour une meilleure efficience.

Des opinions aux faits

L'évaluation d'une institution culturelle reste une gageure tant les bénéfices que l'on peut en tirer sont le plus souvent subjectifs et difficiles à mesurer dans le court terme. Cependant, passer d'opinions à des faits ne peut qu'améliorer sa crédibilité.

Mieux gérer pour un responsable, c'est augmenter la marge de manoeuvre pour pouvoir éventuellement investir dans l'incontrôlable, l'utopie... Evaluer, c'est pour l'ensemble du personnel, pouvoir apprécier son action, donner du sens à son travail, donc se mobiliser.

Les propositions envisagées n'ont pour objectif que d'amorcer une démarche, de susciter une réflexion pour mieux gérer les biliothèques, améliorer leur image de marque, faire reconnaître leur utilité.