Les frustrés

Enquête à la bibliothèque de l'Institut d'histoire de l'art de l'université de Lyon II, Emile Bertaux, selon la méthode de Tefko Saracevic. Il s'agit de connaître les raisons pour lesquelles le lecteur n'obtient pas le livre qu'il souhaite et, par là même, d'analyser les dysfonctionnements de la bibliothèque et de mesurer son efficacité.

Enquiry held at the library of the art history Institute of Lyon II university, according to Tefko Saracevic's method. The question is to understand the reasons why the reader does not get the book he wants, so as to study the troubles in the functioning of the library and to measure its performance.

L'évaluation des bibliothèques s'arrête trop souvent à des considérations sur les chiffres : le nombre de volumes, de prêts, de lecteurs inscrits à la bibliothèque et de personnes y travaillant. En règle générale, on s'en tient aux bilans annuels qui donnent aux accroissements une place de choix.

Il est vrai que la littérature française dans le domaine est bien faible, malgré les Principes directeurs pour l'évaluation des systèmes et services d'information, publiés par l'UNISIST (1), en 1978, et bien qu'André Cossette ait introduit les études majeures sur l'évaluation de l'efficacité des bibliothèques Outre-Atlantique (2). Le Colloque sur l'évaluation des services des bibliothèques universitaires (3) n'a été suivi que par peu de travaux sur le terrain.

Cet article est consacré à une étude de cas: l'application de la technique d'évaluation d'efficacité de Saracevic 1 à une bibliothèque d'histoire de l'art, la bibliothèque Emile-Bertaux  2.

Le modèle de Saracevic

Saracevic s'inscrit dans une analyse de système. La bibliothèque d'étude y est vue comme « un ensemble de parties (objets, processus, hommes) liées entre elles par un réseau organique visant à réaliser un but commun ultime par l'intermédiaire de fonctions spécialisées. Ces fonctions spécialisées sont assurées par des services fonctionnels (sous-systèmes) de l'organisation. Chaque service fonctionnel ou sous-système a donc une mission spécifique à remplir, une fonction particulière à exécuter (4) ».

Le but de l'analyse est d'effectuer la recherche systématique des interactions significatives se produisant entre les différentes composantes d'un système, de mesurer sa qualité globale et d'analyser la contribution de chacune des composantes à l'efficacité de l'organisation entière.

Dans ce système, il s'agit d'évaluer et de contrôler la qualité des produits et des services offerts à la clientèle. L'évaluation de l'efficacité consiste à déterminer le degré de réalisation des objectifs poursuivis par la bibliothèque. Il s'agit, dans ce cas, d'analyser les résultats du système documentaire pour vérifier leur adéquation aux objectifs fixés (résultats attendus). « Un projet d'évaluation de l'efficacité a pour but de contrôler la qualité des résultats d'une bibliothèque et de vérifier dans quelle mesure les produits et services documentaires obtenus satisfont effectivement les besoins de la clientèle (5) ».

Le schéma 3 (cf encadré) situe l'adéquation résultats obtenus-objectifs dans les études d'évaluation de gestion (6).

Dans les études d'efficacité, on a distingué la macro-évaluation de la micro-évaluation (7). La première tente de renseigner sur « le fonctionnement d'un service, mais pas sur la manière de l'améliorer ». La seconde, au contraire, « est un diagnostic analytique. Il s'agit de déterminer pourquoi le système fonctionne à son niveau de rendement actuel et ce qui peut être fait pour améliorer ce niveau dans l'avenir ».

A titre d'exemple, pour un même cas, la macro-évaluation donne un taux de satisfaction de 61 %, alors que la micro-évaluation permet de rechercher la cause des 39 % d'échec, par l'analyse des demandes qui n'ont pu être satisfaites, et les moyens de réduire ce taux d'échec dans l'avenir.

Le test de Saracevic s'inscrit dans ce type de micro-évaluation. Il donne la mesure des différentes frustrations du lecteur et permet d'analyser les dysfonctionnements de la bibliothèque (8).

Elaboration de l'enquête

« L'analyse diagnostique de l'efficacité de la bibliothèque collégiale à satisfaire les requêtes documentaires connues et exprimées par la clientèle exige l'emploi d'une méthode de mesure. Cette méthode recueille les données relatives aux besoins en documentation exprimés par les usagers et des données sur les causes des requêtes insatisfaites (9) ». A ces deux opérations correspondent deux étapes successives : le questionnaire et l'observation des insatisfactions. Elles ont été précédées d'une phase de préenquête, de manière à adapter l'enquête à son milieu et le questionnaire à son public et pour informer celui-ci.

Le cadre

La Bibliothèque Emile-Bertaux est la bibliothèque de l'Institut d'histoire de l'art, qui dépend de l'UER d'histoire de l'Université de Lyon II. Ses collections comprennent 20 000 volumes. Sa clientèle potentielle est constituée par les étudiants d'histoire de l'art (710) ; les étudiants de Lyon II (18 496) : tous les étudiants inscrits à l'université ont le droit d'emprunter à la bibliothèque, néanmoins leur nombre reste minime ; les chercheurs et chargés de cours (7); les professeurs (4). Elle est fréquentée par environ 10 à 20 étudiants le matin, et 20 à 70 l'après-midi, ces variations étant soumises au calendrier des examens.

La bibliothèque Emile-Bertaux est située à côté des salles de cours. La plupart des usagers s'y rendent avant ou après leurs cours, ce qui donne à l'observateur une image de va-et-vient et de transactions rapides. Bien souvent les bulletins de prêt sont remplis sur le bureau même du bibliothécaire. Pour ne pas freiner ce mouvement et gêner les gens pressés, le questionnaire initial a été simplifié. Son remplissage nécessitait en fin de compte moins de temps que celui de la fiche de prêt : une quarantaine de secondes, ce qui constituait un argument auprès des lecteurs peu coopératifs. Grâce à cette formule, on évitait le risque de voir la clientèle bouder ou éviter un questionnaire lui demandant trop de temps.

Le passage devant le bureau du bibliothécaire étant l'itinéraire obligé d'entrée et de sortie des usagers, j'ai résolu de l'occuper et, de ce fait, j'ai aussi rempli les fonctions d'accueil (réception et restitution des cartes, contrôle des sacs) et de prêt. Cette position stratégique m'a permis d'informer directement, et rapidement, ceux qui semblaient hésiter, de contrôler la fiche de questionnaire, et de demander systématiquement s'il y avait eu une recherche documentaire et si elle avait été satisfaite ou non. J'ai ainsi évité des silences dans la collecte de données.

Le dialogue s'est donc souvent établi et s'est poursuivi par une recherche dans les fichiers bibliographiques, de prêt, de récolement. Les nombreuses marques d'intérêt des usagers pour l'enquête permettent d'affirmer qu'ils y ont vu une valorisation de leur instrument de travail et de leur travail lui-même.

De plus, j'ai eu l'occasion d'observer que la recherche de documents, dans une situation de libre-accès, passe peu, dans un premier temps du moins, par les fichiers pour se faire dans les rayons. Le classement de la bibliothèque Emile-Bertaux permet un assez rapide repérage géographique des domaines. De fait, les étudiants rapportent qu'ils se dirigent directement vers les rayons-domaines qui les intéressent, étant sûrs d'y trouver un document à leur convenance. Il s'agit là d'un cas particulier de browsing 4 que nous avons lié à un besoin documentaire latent, dont la satisfaction ou la non-satisfaction devait être prise en compte.

Observations

Cette dernière étape sur le terrain consiste à classer les réponses du questionnaire. Saracevic propose un cadre de codage qui a été partiellement adapté (cf. encadré), en tenant compte des caractéristiques de l'établissement.

a3: volume reçu et non traité, a été supprimé, en raison du traitement immédiat du livre reçu à la bibliothèque.

b4: volume sur chariot, a été remplacé par volume à la photo. Les usagers replacent eux-mêmes leurs livres sur les rayons. L'institut a coutume de tirer sur diapositives les illustrations devant servir à des exposés.

b6: à ce code, sont placés les mémoires de maîtrise de l'institut. Ils ne se trouvent pas dans les rayons, mais un fantôme de papier cartonné plus rigide les signale. Il faut aller les demander au bibliothécaire.

b7 : la fiche temporairement retirée du fichier n'est pas une pratique de cette bibliothèque; ce code est utilisé pour l'erreur au fichier.

J'ai pratiqué l'observation dès que possible après la remise des questionnaires et au plus tard en fin de demi-journée d'ouverture; là encore la collaboration des deux personnes travaillant à la bibliothèque a été précieuse. J'ai suivi les « directives à l'intention des observateurs » données par le modèle et destinées à éviter les erreurs systématiques. De nouveau, j'ai adapté à la situation les différentes étapes décrites par Saracevic :
Etape 1 : vérification, au fichier, des auteurs et des titres indiqués par l'usager; vérification de la cote et du nombre d'exemplaires.
Etape 2: vérification, au bureau de prêt, des fichiers emprunteurs, reliure, réparations, photo, commandes.
Etape 3 : examen des volumes sur les rayons.
Etape 4 : recherche sur les tables de lecture.

Analyse des résultats

Méthode d'analyse

Le cadre d'analyse où sont inscrits les résultats est reproduit dans l'encadré.

La somme des données de chaque catégorie peut être transposée dans un diagramme en arbre qui indique l'ordre dans lequel peuvent se produire les différents résulats d'une requête documentaire.

Dans ce diagramme, figurent les nouveaux symboles résultant du traitement des données et servant à calculer la performance des autres paramètres qui affectent la disponibilité des volumes requis par la clientèle.

La mesure de performance des quatre variables qui affectent la satisfaction de l'usager se calcule comme suit (voir figure).

En ce qui concerne les erreurs de nature statistique issues d'un échantillon d'une semaine de requêtes documentaires et non de toute une année universitaire, Saracevic utilise la théorie des probabilités. Le calcul de l'écart type qu'il préconise, autrement appelé marge de variation ou erreur statistique, se fait au moyen de la formule indiquée dans la figure "Le calcul de l'écart type"

Ce calcul de l'écart type donne une idée de la courbe théorique pour une infinité de tirages; précisément, de la dispersion des valeurs sur cette courbe théorique.

Dans l'exemple qui nous occupe (nous anticipons pour plus de clarté), 61 % de requêtes satisfaites sur un total de 189 requêtes. Voir "Le calcul de l'écart type (2/3)"

Mais cela ne dit pas dans quelles limites varie la proportion sur la population totale. Il faut, pour être plus clair, un intervalle de confiance (ǿ). Il existe pour ce calcul des tables de confiance des pourcentages élaborées sur des bases d'erreur prédéterminées (1 %, 5 %, 10 %).

Pour la démonstration, arrondissons l'échantillon à 200 avec 60 % de requêtes satisfaites. Avec un risque de 5 % (c'est-à-dire moins de 5 %. de chances de se tromper), on peut affirmer que la proportion de demandes satisfaites sur l'ensemble des usagers sera comprise entre : voir "Le calcul de l'écart type (3/3)"

Ce qui peut se lire ainsi : 95 % des pourcentages de satisfaction se trouveront entre 54 et 68.

Pour conclure cette approche méthodologique, on peut noter l'intérêt du calcul de l'intervalle de confiance. Le bibliothécaire n'a pas de formation statistique; la statistique n'est pas son domaine, mais il doit en utiliser certains instruments pour la bonne marche de sa bibliothèque. Le calcul de l'écart type oblige à imaginer une courbe théorique dont les pans pourraient varier à droite et à gauche de la médiane de la valeur de cet écart. Le calcul de l'intervalle de confiance permet de raisonner en minimisant le risque.

Mesures de performance

Voir les figurent correspondantes.

Des propositions d'action

Ces chiffres doivent être associés à l'analyse des circonstances qui ont amené les niveaux de performance considérés. Ces commentaires seraient incomplets sans diverses propositions d'action destinées à améliorer ces performances dans l'avenir.

Performance de l'usager : 79 %

La non-obtention du volume a deux raisons principales : l'usager inscrit une mauvaise cote, 19 erreurs sur 30; le volume est bien rangé sur les rayons, mais il n'a pas été vu, 7 erreurs sur 30.

Il faut remarquer le très fort taux d'erreur de cote. Les lecteurs ne tiennent que très peu compte des astérisques déterminant le format des livres récents 5 et leur place en rayon. Le tableau d'information ainsi que le guide sommaire fourni aux étudiants se révèlent donc peu efficaces. L'étudiant a du mal à assimiler la valeur de cette sur-cote de format. Ce classement de format s'apparente plus à un classement de magasin qu'à celui d'une salle d'accès libre. N'identifiant bien souvent que les lettres et le chiffre de la cote, l'étudiant est surpris de trouver sur des étagères et travées différentes jusqu'à 3 ouvrages dissemblables pour les mêmes lettres et chiffres.

En dehors d'une meilleure information, toujours possible, le reclassement des ouvrages serait très profitable : il permettrait de faire disparaître la quasi-totalité des erreurs de l'usager. Il suffirait pour cela d'éliminer l'astérisque et d'affecter, après les lettres, une numérotation continue. Cela demanderait une augmentation linéaire des rayonnages, mais permettrait une meilleure signalisation.

Performance de la bibliothègue : 84 %

La disparition semble être la raison majeure du dysfonctionnement de la bibliothèque : 19 ouvrages disparus sur 27, soit à cause de mauvaises remises en place, soit à cause de vols.

Dans le premier cas, on demande à tous les emprunteurs de remettre en place les livres qu'ils rapportent ; l'emprunteur le fait plus ou moins bien. Cependant ce système, instauré par manque de personnel, serait satisfaisant si les emprunteurs avaient tous reçu une bonne information sur l'agencement de la bibliothèque et pouvaient facilement retrouver les cotes. Nous rencontrons à nouveau le problème soulevé précédemment et dû à une cote difficile à suivre. Une partie des ouvrages, dont l'absence est inconnue de la bibliothèque (b2), est à imputer à ce phénomène.

Dans le deuxième cas, le bibliothécaire a imposé depuis trois ans la vérification des sacs à la sortie de la bibliothèque. Outre les problèmes psychologiques que cela pose (suspicion, rapports très froids avec les lecteurs), il est difficile de vérifier systématiquement lorsque l'on est soi-même en train de faire autre chose et sans la constante bonne volonté des usagers. Ce dernier point est le lot de toutes les petites structures documentaires qui ne peuvent ni s'équiper d'un système anti-vol, ni réserver une personne au seul bureau des sorties. Pour les ouvrages dont la disparition est connue de la bibliothèque, la politique de rachat est en défaut. Un même titre fait l'objet de sept requêtes insatisfaites.

Performance de la politique de circulation : 94 %

Malgré un usage relativement important de la bibliothèque (126,5 prêts par semaine), la performance de la politique de circulation est élevée. Ceci peut être attribué au fonds important de la bibliothèque: 20 000 volumes pour moins de mille usagers; à la courte durée du prêt, actuellement 7 jours.

Performance de la politique d'acquisition : 97 %

Cette performance de 97 % s'explique par la bonne coordination de la bibliothèque et des enseignements. De plus, comme on l'a indiqué, tout ouvrage reçu est immédiatement traité s'il est demandé.

Cependant, il faut observer qu'en grande majorité, le public est pré-orienté : les étudiants reçoivent une bibliographie puisée dans la bibliothèque, certains professeurs indiquant même la cote des ouvrages; les travaux d'exposé sont orientés sur le même fonds. C'est là, sans doute, que réside la différence entre bibliothèque d'étude et bibliothèque d'institut spécialisé : le fonds de cette dernière est déterminé par les enseignements qui y sont dispensés et n'a pas pour vocation première l'exhaustivité dans son domaine.

Niveau de satisfaction : 61 %

La bibliothèque satisfait les besoins documentaires dans une proportion de 61 %. Besoins documentaires et non-requêtes documentaires, car la mission de la bibliothèque ne doit pas être réduite à la seule satisfaction des requêtes exprimées par les demandes de prêt. Elle est de répondre à tous les besoins. Ces besoins s'expriment dans la démarche du lecteur qui prend un livre en rayon sans avoir pu auparavant définir ce qu'il allait prendre. L'adaptation du test de Saracevic est donc essentielle pour une enquête en libre accès. On peut évaluer que la satisfaction des lecteurs.s'adonnant au browsing a compté pour environ 35 % des requêtes satisfaites.

Pratiquement, le reclassement des ouvrages après la suppression de la sur-cote par astérisque, un contrôle plus strict des sacs des usagers à la sortie et une meilleure politique de rachat permettraient sans aucun doute une augmentation très sensible du niveau de satisfaction. Un autre test un an après l'application de ces mesures en démontrerait l'efficacité.

Un outil d'aide à la décision

Le modèle proposé par Saracevic qui s'appliquait à une bibliothèque en accès indirect avec utilisation obligatoire du fichier, a été adapté à l'accès libre et à la recherche directe en rayon associée à l'utilisation du fichier. Il ne faut pas prendre tous les utilisateurs de bibliothèques spécialisées pour des chercheurs qui ont une idée très précise de ce qu'ils veulent, qui vont directement en rayon prendre un ouvrage qu'ils savent y être ou bien consultent le fichier à un auteur ou à un sujet précis. L'utilisateur moyen après avoir identifié les régions de la bibliothèque qui l'intéressent va y « brouter », va voir ce qui s'y trouve.

Il est intéressant de noter le comportement particulier des usagers de cette bibliothèque. Ils la connaissent bien, se dirigent directement vers les rayons qui les intéressent, posent quantité de questions bibliographiques au bibliothécaire et y viennent, pour un grand nombre, aussi souvent qu'en salle de cours.

Dans ces conditions, la bibliothèque ne peut que s'affirmer comme leur lieu et instrument privilégiés de travail, pourvu qu'elle sache s'évaluer et notamment adapter les outils de recherche à son propre système. A partir du moment où l'enquêteur arrive à analyser les flux de la bibliothèque sans les altérer, il sera efficace. Demander de vive voix à tous les usagers qui cherchent directement en rayon s'ils ont trouvé ce qu'ils voulaient a été une garantie de bonnes mesures de performance.

A l'heure où l'on projette de réaménager les locaux de l'Institut d'histoire de l'art de Lyon II, l'impact d'une telle enquête est à souligner. Cette micro-évaluation permettra en effet de déterminer les priorités dans les modifications à apporter à la bibliothèque : quelques dizaines de mètres linéaires de rayonnages suffiraient à classer les livres dans un ordre continu (en supprimant la sur-cote par astérisque et l'usage de l'escabeau), dans lequel les domaines apparaîtraient plus clairement pour faciliter l'information du lecteur. Si toutefois cette priorité n'était pas réalisable (en cas d'impossibilité de financer l'opération par exemple), d'autres mesures pourraient être appliquées en attendant : meilleure information, contrôle plus strict, rachat...