Content, pas content ? La satisfaction des usagers soulèvera-t-elle les bibliothèques publiques ?

George D' Elia

Sandra Walsh

Le concept de satisfaction de l'usager, c'est-à-dire le degré de satisfaction d'un usager vis-à-vis des services d'une bibliothèque tel qu'il l'exprime lui-même, a été utilisé pour évaluer les performances des différents services à l'intérieur d'une bibliothèque; pour mesurer aussi le niveau global de fonctionnement d'une bibliothèque donnée et comparer ce niveau à celui d'autres bibliothèques. Cet article donne les résultats d'une étude sur 623 usagers d'une bibliothèque publique qui démontrent que ce concept est potentiellement utile pour l'évaluation du fonctionnement des services d'une bibliothèque et que ce concept n'est pas lié au degré d'utilisation de la bibliothèque par l'usager.

The construct of user satisfaction, a user's self-reported degree of satisfaction with library services, has been used to evaluate the performances of various services within a library, and to measure a given library's overall level of performance and to compare this level of performance with those reported for other libraries. This paper reports the results of a survey of 623 patrons of a public library which demonstrate that the construct is potentially useful for evaluating the performances of services within a library, and that the construct is not related to the user's degree of library use.

L'article dont sont présentés de très larges extraits * représente un pur exemple de l'application de méthodes quantitativistes à la réception de la bibliothèque par son public.

L'utilisation de modèles mathématiques débouche en fait sur une impasse, la non validité des mesures utilisées inférant un aveu d'impuissance. La satisfaction de l'usager serait-elle un concept vide ? On pourrait poser autrement la question : la satisfaction de l'usager est-elle un objet en soi, renvoyant à un usager idéal dépouillé de toutes composantes socio-professionnelles ? La réponse à cette question est le fait des sociologues, mais ce débat, essentiellement méthodologique, ne saurait laisser indifférents les bibliothécaires, premiers utilisateurs de ce concept.

Malgré son aridité cet article nous a paru devoir être intégré au présent dossier, l'absence de conclusions impliquant davantage la validité de la méthode de mesure que celle de son objet.

L'importance du concept de satisfaction de l'usager comme mesure de performance d'une bibliothèque est reconnue (1, 2, 3,4, 5). La satisfaction de l'usager est en général définie comme le degré auquel la bibliothèque est apte à satisfaire les demandes de l'usager, mais ce concept a été mesuré et utilisé de multiples façons. Cette diversité est révélatrice : il s'agit d'une notion complexe et les bibliothécaires ne s'accordent ni sur son mode d'évaluation, ni sur ses applications. La question reste donc ouverte.

Cet article tente de répondre à un double objectif : faire le point sur les mesures et l'utilisation du concept, rapporter les résultats d'une étude récente sur la satisfaction de l'usager vis-à-vis des services des bibliothèques publiques.

État de la question

La littérature sur le sujet est parfois confuse. Le concept n'a pas été développé, ni testé, de façon systématique. Bien au contraire, il semble avoir été accepté et utilisé

Cette étude mettra en lumière quelques modèles fondamentaux communs à toutes ces définitions ou utilisations et tentera de dissiper quelque peu la confusion qui les entoure.

Approches objective et subjective

On peut dégager deux approches essentielles : l'approche objective et l'approche subjective.

Dans le cas d'une approche objective (5, 6, 7,8, 9), la bibliothèque constitue l'unité d'analyse et la proportion de documents qu'elle peut fournir à la demande constitue l'indice de satisfaction. Les mesures de satisfaction de la demande sont censées constituer les indicateurs de performance de la bibliothèque et, ainsi, les usagers paraissent éprouver une satisfaction proportionnelle à ces niveaux de performance.

Les exemples de ce type de mesures sont le « niveau de satisfaction » utilisés dans différentes études (cf. bibliographie (7,8, 9) (...).

Dans le cas de l'approche subjective (10,11, 12, 13,14, 15, 16) c'est l'usager qui constitue cette fois le noyau de l'analyse et ce sont les opinions émises par celui-ci sur la manière dont la bibliothèque a répondu à sa demande qui constituent alors la base de l'évaluation de la satisfaction.

Il est établi que les estimations provenant des usagers sont des indicateurs solides de performance de la bibliothèque. Alors que certains auteurs [1-17] contestent l'usage de l'approche subjective, partant du principe que les usagers ne sont pas assez compétents pour évaluer de façon fiable les services des bibliothèques, d'autres, au contraire (2,15, 16), insistent sur la nécessité de solliciter ce type d'évaluation auprès des usagers pour de multiples raisons. La première tient à ce que souvent les demandes de documents faites par les usagers sont trop complexes ou trop vagues pour s'adapter aux contraintes de l'approche objective qui s'applique plutôt à des demandes précises.

Ensuite, un grand nombre des services proposés aux usagers ne permettent pas une approche objective ; le public, ultime bénéficiaire de ces services, est le plus qualifié pour évaluer leurs performances. En troisième lieu, cette évaluation subjective est susceptible d'influer sur l'attitude, présente et future, de l'usager à l'égard de la bibliothèque; il est donc essentiel, pour planifier ou créer des services, de comprendre la nature et les raisons du jugement que les usagers portent sur leur bibliothèque.

Pour toutes ces raisons, les défenseurs de l'approche subjective soutiennent que non seulement elle complète utilement l'approche objective dans les mesures de performance, mais encore qu'elle entre pour une part importante dans l'étude du comportement de l'usager.

Cependant, alors qu'il apparaît évident que l'approche objective, quoique limitée, fournit d'utiles indicateurs de performance (7,8, 9), rien ne vient conforter une telle affirmation concernant l'approche subjective.

Quoiqu'il en soit, les arguments en faveur de ce mode d'approche ont apparemment été convaincants, surtout auprès des bibliothécaires de lecture publique. Des mesures subjectives de la satisfaction de l'usager apparaissent dans The Performance measure for public libraries(10,11) et dans A Planning process for public libraries (12). La satisfaction exprimée par les usagers des bibliothèques publiques est rapportée par l'American library association (ALA) comme une preuve de la qualité des services 13,14, 15, 16, 17,18) et les mesures subjectives figurent de différentes façons parmi les moyens d'étude employés par les bibliothèques publiques.

Dans cette masse d'études, cependant, le concept subjectif de satisfaction de l'usager a été défini, mesuré, utilisé et interprété de différentes manières. Ainsi, alors que le sens familier de ce concept semble aller de soi, il reste en réalité bien mystérieux et son utilité n'a pas été démontrée.

L'objet de cet article, comme celui de l'étude dont il rend compte, se limite à ce concept subjectif -l'expression de la satisfaction de l'usager vis-à-vis des services des bibliothèques publiques.

Définitions et mesures du concept subjectif

D'une manière générale, il semble que sont en présence deux définitions fondamentales de la satisfaction de l'usager, soit qu'elles apparaissent explicitement, soit qu'elles puissent être déduites de la façon dont le concept a été mesuré. Quelques auteurs (12,13, 16) ont défini la satisfaction comme un état d'esprit affectif ou cognitif que l'usager acquiert par l'utilisation, et l'évaluation qui en découle, des services d'une bibliothèque. En effet, le niveau de performance d'une bibliothèque est la résultante du degré de satisfaction éprouvé par l'usager. C'est pourquoi les auteurs ont mesuré directement son degré de satisfaction personnelle vis-à-vis des services de la bibliothèque. Par exemple, en 1978, l'Institut de sondages Gallup a mené, pour le compte de l'American library association (ALA), une enquête nationale par téléphone au sujet des habitudes d'utilisation de la bibliothèque publique par des adultes, hommes et femmes; on demanda aux participants s'ils étaient satisfaits ou déçus de chacun des 6 services de la bibliothèque, de l'« aide apportée par les bibliothécaires » par exemple (13, p. 30) (...).

On peut qualifier ce mode d'approche, par lequel on prie l'usager d'indiquer son degré de satisfaction vis-à-vis des différents services rendus par une bibliothèque, de mesure directe de la satisfaction de l'usager.

D'autres auteurs (10,11, 14, 15) n'ont pas défini, ni mesuré explicitement la satisfaction de l'usager. Ce qu'ils ont mesuré, c'est plutôt l'estimation personnelle faite par l'usager de ses expériences à la bibliothèque (...).

Par exemple, dans son étude de la bibliothèque publique de Chicago, publiée en 1969, Martin demandait aux usagers s'ils avaient trouvé « ce qu'ils cherchaient », et si le personnel de la bibliothèque était « serviable et courtois » (14, p. 23) ; ces deux questions étant suivies d'échelles à trois degrés (« oui », « en partie », « non »), les sujets ayant répondu « oui » furent considérés comme satisfaits des « ressources et services de la bibliothèque » (14, p. 79-80) (...).

Selon cette méthode, l'évaluation de la bibliothèque par l'usager est appelée satisfaction de l'usager. En réalité, on suppose que l'usager est satisfait, dès lors que le service est évalué de façon positive. On peut qualifier ce mode d'approche de mesure indirecte de la satisfaction de l'usager.

Il apparaît donc qu'il y a deux approches de la mesure subjective de la satisfaction de l'usager :
- dans l'approche directe, on demande à l'usager d'indiquer son degré de satisfaction vis-à-vis d'un service, d'où l'on déduira la performance de celui-ci ;
- dans l'approche indirecte, on demande à l'usager d'évaluer la performance d'un service, d'où l'on déduira la satisfaction vis-à-vis de ce service (...).

Utilisations du concept subjectif

Le concept de satisfaction de l'usager a été utilisé à l'origine pour déterminer le niveau de performance d'une bibliothèque donnée et pour mesurer les performances des différents services rendus à l'intérieur d'une bibliothèque. Ainsi, dans un échantillon d'usagers d'une bibliothèque, plus la proportion de satisfaits est élevée par rapport aux insatisfaits, plus le niveau de performance de cette bibliothèque est supposé élevé. Lorsque les proportions de satisfaits par rapport aux mécontents ont été déterminées pour chaque bibliothèque faisant partie d'un ensemble, elles ont été utilisées pour comparer les niveaux de performance présumés de toutes les bibliothèques (10,11, 12,13, 14). De plus, les données relatives à la satisfaction des usagers recueillies pour des services spécifiques d'une même bibliothèque ont été utilisées pour repérer les services donnant satisfaction à un degré élevé et à un degré moindre (12,13, 15).

Certains auteurs (2,19) prétendent aussi que la satisfaction de l'usager a un double effet : elle renforce l'utilisation actuelle d'une bibliothèque et elle stimule l'utilisation future (...). Ainsi, le concept de satisfaction de l'usager semble jouer un rôle important dans le développement de modèles statistiques destinés à mesurer le comportement des usagers.

On vient de dégager trois utilisations possibles du concept de satisfaction de l'usager : en premier lieu, il sert à exprimer le niveau de performance d'une bibliothèque, c'est donc un instrument de description; ensuite, on l'utilise pour reconnaître les forces et les faiblesses - c'est-à-dire pour établir un diagnostic - des différents services proposés par une bibliothèque; enfin, c'est, semble-t-il, un révélateur du comportement des usagers qui influe sur leur attitude future à l'égard de la bibliothèque.

Limites des études déjà publiées

Le concept de satisfaction de l'usager, on l'a vu, semble avoir été adopté et utilisé par les bibliothèque pour leurs loisirs ont tendance à se montrer plus satisfaits que ceux qui viennent y faire des recherches; la satisfaction de l'usager n'est liée ni au sexe ni au mode d'utilisation.

Bien que les variables démographiques expliquent une part plus importante de la variance des résultats de l'échelle de notation que de ceux de l'échelle de satisfaction, les relations de ces variables avec les échelles de satisfaction et de notation sont très similaires. On peut en déduire que, lorsqu'on cherche à mesurer la satisfaction d'un usager vis-à-vis des services fournis, les mesures, directe et indirecte, de sa satisfaction sont affectées de manière comparable par ses caractéristiques personnelles. Ceci souligne la nature subjective des échelles et suggère que les usagers de la bibliothèque constituent une population de groupes hétérogènes, parmi lesquels certains évaluent la bibliothèque d'une manière différente. Comme nous le verrons dans la discussion ultérieure, cette hétérogénéité à la fois constitue une difficulté et donne de plus grandes possibilités d'analyse de la satisfaction, directe ou indirecte, de l'usager vis-à-vis des services offerts.

Comparaisons des moyennes des résultats de l'échelle de notation de la bibliothèque et de l'échelle de satisfaction de l'usager avec les données de l'étude SPPL

Afin de déterminer l'utilité des mesures directe et indirecte de satisfaction de l'usager pour comparer les services rendus par différentes bibliothèques, nous avions prévu de comparer les moyennes des résultats de l'échelle de notation et de l'échelle de satisfaction avec celles établies dans l'étude SPPL. Comme la bibliothèque de Comté où a été menée l'étude a des fonds beaucoup plus riches (7 bibliothécaires professionnels ; 140 000 ouvrages) que ceux de la bibliothèque annexe (un bibliothécaire professionnel ; 24 000 ouvrages) de l'étude SPPL, nous étions disposés à faire l'hypothèse que la bibliothèque du Comté obtiendrait sur les deux échelles des résultats plus élevés que celle de l'étude SPPL (...).

Nous devions donc, afin de comparer les résultats des deux bibliothèques et ceux de n'importe quel autre groupe de bibliothèques, nous assurer que les échantillons d'usagers interrogés présentaient des caractéristiques comparables. Dans le cas présent, les caractéristiques socio-démographiques des deux échantillons ne sont pas comparables. Par exemple, l'échantillon d'usagers sélectionnés auprès de la bibliothèque du comté avait accompli un nombre d'années d'études (15,1) significativement plus élevé que l'échantillon d'usagers sélectionné auprès de la bibliothèque annexe (12,9). Etant donné la corrélation négative entre le niveau d'études et à la fois l'échelle de notation de la bibliothèque et celle de satisfaction de l'usager, comment devons-nous interpréter les résultats comparatifs du tableau 3 ?

D'une part, les ressources plus importantes de la bibliothèque du Comté suggèrent qu'elle aurait dû obtenir des résultats plus élevés que la bibliothèque annexe. D'autre part, la tendance apparente des usagers qui ont un niveau d'études élevé à se montrer plus critiques suggère que les appréciations sur la bibliothèque du Comté étaient peut-être systématiquement sous-estimées, alors qu'inversement, celles concernant la bibliothèque annexe étaient systématiquement surestimées. Dans ces conditions, les données comparatives du tableau 3 ne peuvent pas être interprétées avec un degré de comportement des usagers et utilisation de la bibliothèque peut-être considéré comme une méthode d'approche instrumentale ou opérante complexe : la satisfaction vis-à-vis de la bibliothèque peut y être saisie à la fois comme réaction à un stimulus antérieur (la satisfaction résulte de la qualité des services utilisés) et comme stimulus d'une pratique à venir (de la satisfaction résultera un usage réitéré de la bibliothèque). On n'a donc pas proposé ni testé de modèle de régression d'une relation hypothétique entre la satisfaction de l'usager et l'utilisation de la bibliothèque (dans laquelle entraient des variables dépendantes ou indépendantes); on a plutôt étudié la corrélation entre les mesures directes et indirectes de satisfaction et les diverses mesures d'utilisation de la bibliothèque, afin de déterminer les relations entre elles, si toutefois il en existe.

Réalisation opérationnelle et mesures

Mesures directes et indirectes de la satisfaction

La mesure indirecte de satisfaction de l'usager reposait sur la question : « Si vous aviez à attribuer à la bibliothèque une note globale pour l'ensemble de ses prestations (collections, services, personnel), laquelle donneriez-vous ? ». On proposait une échelle de notation à 13 degrés.

Quant à la mesure directe, elle s'appuyait sur la question : « En considérant l'ensemble des prestations (collections, services, personnel, etc.), quelle satisfaction éprouvez-vous à l'égard de la bibliothèque ? ». Suivait une échelle de notation à 6 degrés, allant « d'extrêmement satisfait » à « non-satisfait ». Ces deux échelles reproduisent celles utilisées dans l'étude SPPL où le coefficient de corrélation des deux échelles était de 0,31; la variance des facteurs communs, atteignant seulement 0,10, semblait indiquer qu'elles mesuraient deux dimensions différentes de l'opinion de l'usager.

Collecte des données

Pendant cinq jours consécutifs, en novembre 1980, des questionnaires à remplir librement ont été distribués systématiquement à un adulte (de 18 ans et plus) sur trois quittant la bibliothèque, à l'exception des personnes venues uniquement pour rendre des documents, puisqu'elles n'avaient pas utilisé les services ce jour-là (...).

Analyse des données

Corrélation entre l'échelle de notation de la bibliothèque et l'échelle de satisfaction de l'usager

(...) Les résultats des échelles de notation de la bibliothèque et de satisfaction de l'usager dans cette étude présentaient une corrélation de 0,71 avec une variance des facteurs communs de 0,50. Ces résultats considérablement plus élevés que ceux de l'étude SPPL (0,31 avec une variance des facteurs communs de 0,10) témoignent bien de l'existence d'une relation malgré tout assez claire entre l'évaluation de l'usager et sa satisfaction. Il faut noter aussi, cependant, que 50 % de la variance d'une des deux échelles n'était pas commune à l'autre, ce qui indique que l'échelle de notation et l'échelle de satisfaction pourraient, en fait, avoir mesuré des expressions différentes de l'opinion de l'usager (...).

Relations entre l'échelle de notation de la bibliothèque, l'échelle de satisfaction de l'usager et les caractéristiques démographiques des usagers

On a régressé les résultats de l'échelle de notation de la bibliothèque sur les variables socio-démographiques : sexe, âge, niveau d'études, durée de la visite, objectif de la visite et mode d'utilisation. Les résultats de cette analyse (cf. tableau 1), indiquent que l'ensemble des variables démographiques rend compte de 23 % de la variance des résultats de l'échelle de notation. Celle-ci est corrélée positivement avec l'âge et la durée des visites, et négativement avec le niveau d'études de l'usager. Les emprunteurs de livres ont tendance à donner de meilleures notes que ceux qui viennent lire sur place; la note obtenue n'est liée ni au sexe ni à l'objectif de la visite.

Les résultats de l'échelle de satisfaction ont été régressés sur ces mêmes variables. Les résultats de cette analyse (cf. tableau 2), montrent que l'ensemble des variables démographiques rend compte de 16 % de la variance des résultats de l'échelle de satisfaction. Celle-ci est corrélée positivement avec la durée de la visite et l'âge de l'usager, et négativement avec son niveau d'études.

Ceux qui fréquentent la bibliothécaires sans que ne soit apportée aucune preuve de sa validité. Ni la relation entre mesures directes et indirectes de la satisfaction, ni les trois utilisations (description, diagnostic, révélateur du comportement), n'avaient été vérifiées jusqu'à une récente étude (1979) de la satisfaction des usagers adultes d'une annexe de la bibliothèque publique de Saint-Paul (SPPL) dans le Minnesota (20). Utilisant à la fois une mesure indirecte de satisfaction (l'usager devait estimer la qualité des services de la bibliothèque) et une mesure directe (l'usager devait exprimer son degré de satisfaction vis-à-vis des services de la bibliothèque), l'étude de la SPPL analyse les rapports entre ces deux séries de résultats et cherche à démontrer leur valeur comme instrument de description, de diagnostic et révélateur du comportement. Or, l'étude débouche sur des résultats flous et hétérogènes. La relation entre évaluation des services de la bibliothèque et satisfaction s'est révélée très faible. Il a été impossible de prouver la validité présumée de la mesure directe comme description, diagnostic ou révélateur du comportement. Quant à la mesure indirecte (échelle d'évaluation), sa validité comme révélateur du comportement des usagers n'a pas été démontrée, mais cette enquête apporte quelques arguments en faveur de son utilisation à des fins de description ou de diagnostic.

En bref, il ressort de l'étude SPPL que la satisfaction d'un usager peut être ou ne pas être liée à son évaluation personnelle de la bibliothèque et que, dans un cas comme dans l'autre, l'utilisation qu'il fait de la bibliothèque n'est liée ni à son évaluation ni à sa satisfaction. Ces résultats surprenants jettent de sérieux doutes sur l'intérêt du concept de satisfaction de l'usager pour évaluer la performance d'une bibliothèque.

Quoiqu'il en soit, cette enquête repose sur un échantillon de taille réduite (208) et a pu être influencée par le fait que ces usagers avaient été interrogés dans une seule section de la bibliothèque; cela restreint les possibilités d'en généraliser les données.

L'étude rapportée dans la suite de cet article a été conçue comme une réplique, modifiée, de l'enquête SPPL.

Objectifs de l'étude

L'objectif est encore une fois de s'employer à démontrer la validité comme instrument de description, de diagnostic et comme révélateur de comportement, du concept de satisfaction et de ses mesures, directe et indirecte.

La structure de cette étude reproduit le schéma de l'enquête SPPL, avec cependant les aménagements suivants :
- on a choisi, cette fois, une population constituée par les usagers adultes d'une grande bibliothèque centrale d'un réseau implanté dans une banlieue: la centrale de la Ramsey County Public Library,
- la taille de l'échantillon a été substantiellement augmentée,
- le choix des variables sur lesquelles des données ont été rassemblées a été très élargi.

On a espéré que l'élargissement du champ des données permettrait une analyse plus fine du concept et de ses propriétés et rendrait plus fiable une éventuelle généralisation des résultats obtenus.

Plan de l'étude

L'étude repose sur une enquête auprès des usagers à l'intérieur de la bibliothèque. La satisfaction de chacun des interrogés a été déterminée selon deux points de vue; on a procédé à :
- une mesure indirecte - à l'aide d'une échelle de notes sur laquelle l'usager devait évaluer la qualité globale des services,
- une mesure directe à l'aide d'une échelle sur laquelle l'usager devait reporter son degré de satisfaction globale.

On a complété par des questions sur les caractéristiques démographiques des usagers, sur leur utilisation de la bibliothèque, en leur demandant d'évaluer, en particulier, différentes prestations ou collections de l'établissement.

La méthode d'analyse projetée était la suivante * :

D'abord, pour déterminer si les mesures directe et indirecte de satisfaction de l'usager (qui sont après tout l'expression d'opinions subjectives) sont affectées par les caractéristiques personnelles, elles furent régressées chacune à leur tour sur les caractéristiques démographiques des usagers.

Dans un deuxième temps, pour déterminer si les mesures indirecte et directe de satisfaction fournissent une base de comparaison utile des performances de différentes bibliothèques, les moyennes des mesures directe et indirecte calculées d'après les réponses à cette enquête ont été comparées avec celles de l'étude SPPL. Comme les ressources et services offerts par ces deux établissements diffèrent considérablement, il semblait probable que des différences allaient apparaître dans l'expression de la satisfaction de leurs usagers respectifs.

Troisièmement, les mesures de satisfaction globales - directe et indirecte - furent régressées chacune à leur tour sur les évaluations de chacun des services ou fonds particuliers de la bibliothèque : ceci afin de déterminer la pertinence de ces mesures pour établir un diagnostic sur les performances des différents services. Ainsi pourrait-on identifier, parmi ces évaluations particulières, celles qui étaient les plus étroitement liées aux mesures globales de satisfaction ou de mécontentement.

Cette analyse de régression est analogue à une méthode standard ** des études de consommation où une mesure globale de satisfaction du consommateur est régressée sur les différentes évaluations de caractéristiques plus fines du service ou produit : ceci afin d'identifier celles qui contribuent le plus dans la satisfaction ou le mécontentement du consommateur (21,22).

Enfin, on a examiné la corrélation de chacune des mesures de satisfaction, directe ou indirecte, avec les diverses mesures d'utilisation de la bibliothèque, pour vérifier si ces deux types de mesure peuvent servir à développer des modèles de comportement de l'usager. Etant donné que la plupart des usagers adultes ont déjà un passé d'utilisateurs, associer confiance suffisant. S'il est possible de contrôler l'influence pertubatrice du niveau d'études, il serait difficile de contrôler simultanément l'incidence de toutes les variables démographiques mesurées. Du fait de cette difficulté, et aussi parce qu'il était fort probable que d'autres variables affectent les résultats (par exemple des variables psychologiques encore inexplorées), nous n'avons pas tenté de comparer ou d'interpréter les résultats moyens obtenus sur chaque échelle par les deux bibliothèques. C'est aussi parce que ce problème des influences perturbatrices des caractéristiques démographiques des usagers atteindrait des proportions incontrôlables dans des comparaisons multiples à partir de trois bibliothèques, que l'utilisation faite couramment du concept de satisfaction de l'usager pour comparer les services rendus par différentes bibliothèques ne nous semble pas justifiée.

Relations entre l'échelle de notation de la bibliothègue, l'échelle de satisfaction de l'usager et l'évaluation par l'usager des différents services de la bibliothèque

Pour déterminer si les mesures directes et indirectes de satisfaction de l'usager ont une utilité pour mesurer les services rendus par différentes sections de la bibliothèque, on a successivement régressé les résultats de l'échelle de notation et de ceux de l'échelle de satisfaction sur les évaluations des différents services. On pensait que cette procédure permettrait d'identifier les services qui contribuent le plus aux résultats de ces deux échelles. Ces services pourraient alors être considérés comme ceux dont les résultats affectent le plus la satisfaction de l'usager.

Une manipulation préalable des données concernant l'évaluation des services s'est avérée nécessaire avant de pouvoir procéder aux analyses de régression.

Comme on avait demandé à chaque usager d'évaluer la qualité et la disponibilité des documents uniquement dans les sections effectivement utilisées, le nombre et la répartition des collections évaluées étaient très variables.

Comme l'analyse de régression multiple implique la suppression des données pour lesquelles il manque des valeurs, il a fallu construire pour chaque personne interrogée un indice de qualité et un indice de disponiblité correspondant à son évaluation des collections utilisées.

Construction des indices d'évaluation

L'indice de qualité des collections a été construit en additionnant les réponses de chaque sujet aux échelles d'évaluation de qualité et en divisant le total par le nombre des collections évaluées. L'indice de disponibilité des collections a été construit en additionnant les réponses de chaque personne aux échelles d'évaluation de la disponibilité des documents et en divisant le résultat par le nombre de collections évaluées. On a construit de cette manière une moyenne d'évaluation de la qualité des collections et une moyenne d'évaluation de la disponibilité des documents pour chacun des sujets. De la même façon, on a construit des indices pour l'évaluation des locaux et l'évaluation du personnel, dans le but de minimiser l'effet des non-réponses aux questions sur les locaux et le personnel.

Régression de l'échelle de notation de la bibliothèque sur les évaluations fournies par l'usager au sujet des différents services de la bibliothèque

Comme il avait été démontré que les caractéristiques démographiques des usagers influençaient les notes attribuées à la bibliothèque, il était nécessaire de corriger les influences perturbatrices de ces variables démographiques avant de tenter d'identifier les évaluations les plus fortement liées aux résultats de l'échelle de notation de la bibliothèque (...).

Les résultats de l'échelle de notation furent régressés sur les variables d'évaluation des différents services en fonction des variables démographiques intégrées à l'analyse dans la première étape, suivie dans la deuxième étape par la régression en fonction des variables d'évaluation des différents services. Les variables socio-démographiques dans la première étape, les variables d'évaluation dans la seconde ont été intégrées à l'analyse pas à pas. Les résultats de cette analyse (cf. tableau 4), indiquent que les variables d'évaluation des différents services rendent compte de 24 % de la variance des résultats de l'échelle de notation qui s'ajoutent aux 23 % dont rendaient compte les variables démographiques. Ceci démontre que l'évaluation globale de la bibliothèque par l'usager se fonde en partie sur l'évaluation des différents services. De plus, cette analyse fait apparaître les variables d'évaluation des services les plus liées aux résultats de l'échelle de notation; il s'agit : 1) de l'indice concernant les locaux, qui explique encore 14 % de la variance des résultats de l'échelle de notation ; 2) de l'indice de qualité des collections, qui explique 5 % de la variance ; 3) de l'indice concernant le personnel, qui explique 4 % de la variance et 4) de la commodité des horaires, qui explique 1 % de la variance. L'échelle de notation de la bibliothèque, qui est la mesure indirecte de satisfaction utilisée pour cette étude, semble donc utile pour mesurer les services rendus par les différentes sections. Dans le cas présent, on observe que le corrélat le plus fort de l'évaluation globale (note) portée par l'usager est l'évaluation des locaux. De la même façon, c'est l'évaluation des locaux qui était aussi le corrélat le plus important de l'évaluation générale des usagers dans l'étude SPPL. Il est aussi intéressant de noter que la disponibilité des documents n'est pas liée de manière significative à l'évaluation globale de la bibliothèque. Dans l'étude SPPL, la disponibilité des documents n'avait pas fait l'objet d'une évaluation.

Régression de l'échelle de satisfaction de l'usager sur les évaluations des différents services

Pour corriger l'effet perturbateur des variables démographiques sur les résultats de l'échelle de satisfaction et sur les variables d'évaluation des services, on a effectué une analyse de régression en deux étapes hiérarchiques (...).

Les résultats de cette analyse (cf. tableau 5) indiquent que les variables d'évaluation des services rendent compte de 29 % de la variance des résultats de l'échelle de satisfaction, bien au-delà des 17 % dont rendaient compte les variables démographiques. Ceci démontre que la satisfaction globale de l'usager vis-à-vis de la bibliothèque est en partie fondée sur son évaluation des différents services.

Cependant, l'utilité de l'échelle de satisfaction, mesure directe de satisfaction employée dans cette étude, reste à déterminer. Il est à noter que les quatre variables d'évaluation significatives des différents services présentent avec l'échelle de satisfaction, des corrélations linéaires très proches, avec un écart de seulement 0,04 entre le coefficient de corrélation le plus élevé et le coefficient le plus bas. La suppression des effets perturbateurs des variables démographiques ne modifie pas cet état de fait. Dans le modèle de régression hiérarchisée (cf. tableau 5), les coefficients de corrélation partielle des variables d'évaluation des différents services avec l'échelle de satisfaction - après que la dernière variable démographique significative (objectif de la visite) ait été intégrée au modèle - étaient les suivants : 0,39 pour l'indice concernant le personnel ; 0,39 pour l'indice concernant les locaux ; 0,36 pour l'indice de qualité des collections ; 0,35 pour la commodité des horaires ; 0,22 pour l'indice de disponibilité des documents. L'écart entre ces coefficients est si réduit que l'ajout ou la suppression de quelques sujets aurait pu facilement les modifier de manière à changer radicalement les résultats de l'analyse de régression.

Ces résultats sont pratiquement identiques à ceux de l'étude SPPL où l'écart entre le coefficient le plus élevé et le coefficient le plus bas était de 0,05 seulement. Il semble donc que l'échelle de satisfaction de l'usager mesure une réaction positive et générale à l'égard de la bibliothèque. En conséquence, cette échelle ne paraît pas utile pour mesurer les performances des différentes sections à l'intérieur d'une bibliothèque.

Corrélation entre l'échelle de notation de la bibliothèque, l'échelle de satisfaction de l'usager et les mesures de l'utilisation de la bibliothèque

On a calculé les coefficients de corrélation des résultats de l'échelle de notation et de l'échelle de satisfaction avec plusieurs mesures d'utilisation : fréquence des visites, nombre de services utilisés pendant la visite, durée de la visite, et trois mesures de prêt des documents-fiction, documentaires, total. Les résultats (cf. tableau 6) ne font apparaître aucune relation entre l'une de ces six mesures et les scores des échelles de notation et de satisfaction. Ces résultats sont similaires à ceux rapportés dans l'étude SPPL.

Il était néanmoins difficile d'accepter, même après ce recoupement, l'absence de toute relation entre l'évaluation fournie par un usager ou sa satisfaction vis-à-vis de la bibliothèque et l'utilisation qu'il en faisait. On a donc calculé, afin d'explorer les dernières possibilités, la corrélation de chaque mesure individuelle d'utilisation (fréquence des visites, utilisation ou non des neuf sections et secteurs d'activités de la bibliothèque, nombre total de services utilisés, chiffres de circulation pour sept différentes catégories de documents, circulation totale et durée de la visite) avec chacune des évaluations des différents services: les 7 évaluations de la qualité des collections, l'indice de qualité des collections, les 6 évaluations de la disponibilité des documents, l'indice de disponibilité des documents, les 6 évaluations de l'aménagement des locaux, l'indice des locaux, les 4 évaluations du personnel, l'indice concernant le personnel, l'échelle de commodité des horaires, l'échelle de satisfaction et l'échelle de notation de la bibliothèque, ce qui a donné une matrice de corrélations de 600 coefficients. Si beaucoup de ces coefficients étaient statistiquement significatifs à cause de la dimension des échantillons, 13 d'entre eux seulement ont une variance des facteurs communs supérieure à 0,02. Parmi ces 13 corrélations (cf. tableau 7), 6 indiquent l'existence d'une relation entre l'utilisation et l'acceptation des affirmations : « la bibliothèque n'offre pas assez de places assises » ou « la bibliothèque est bruyante »; quatre font apparaître une relation négative entre la lecture de magazines ou de journaux et les évaluations de la commodité des horaires, l'indice concernant les locaux, la satisfaction de l'usager et la note attribuée à la bibliothèque; enfin un coefficient indique l'existence d'une relation négative entre le fait d'avoir accompagné un enfant et l'indice d'évaluation du personnel. En réalité, onze corrélations indiquent l'existence de relations négatives entre l'utilisation de la bibliothèque et son évaluation. Seules deux corrélations indiquent l'existence de relations positives. La fréquence des visites et la circulation des ouvrages de fiction sont liées à l'indice de disponibilité des documents. Cependant, la tendance générale n'indique qu'une mince relation entre l'utilisation de la bibliothèque et l'évaluation donnée par l'usager et les quelques corrélations méritant d'être examinées révèlent même une relation négative entre l'utilisation et l'évaluation de la bibliothèque.

Il semble donc qu'il n'y ait pas de relation évidente - parmi les usagers des bibliothèques - entre l'utilisation par l'usager et son évaluation de la bibliothèque. Soit les usagers utilisent la bibliothèque sans tenir compte de leurs opinions sur la qualité des services de la bibliothèque, soit, inversement, leur point de vue sur la qualité des services n'est pas affecté par leur expérience d'utilisateurs. En conséquence, il semble que l'hypothèse faite sur la valeur du concept, la satisfaction de l'usager comme révélateur du comportement, n'a pas été démontrée sur un échantillon d'usagers d'une bibliothèque publique.

Discussion

On peut résumer ainsi les résultats de l'analyse des données de l'enquête : on a pu démontrer la validité de la mesure indirecte de satisfaction comme instrument de diagnostic interne d'une bibliothèque, mais non la valeur de ce concept comme instrument de description de la bibliothèque ou comme révélateur du comportement des usagers. Il y a là de quoi s'interroger : ou bien ce concept n'est pas valable, et dans ce cas, cette étude et bien d'autres, qui fondent l'évaluation des services de bibliothèques publiques sur des enquêtes auprès de leurs usagers, ont été faites en pure perte; ou bien il est valable, mais alors, les résultats de l'enquête montrent bien que le comportement de l'usager est encore plus difficile à cerner que prévu.

Le premier cas, qui concerne en particulier la validité du concept, affirme plus généralement deux a priori méthodologiques qui auraient pu avoir une incidence sur la solidité de l'étude.

Cette étude reposait d'abord sur l'hypothèse que les utilisateurs d'une bibliothèque sont compétents pour évaluer ses services. Cette compétence n'a pas été expérimentalement vérifiée, mais, dans d'autres champs d'études, on a prouvé l'aptitude des sujets humains à juger des phénomènes déjà expérimentés par eux; ainsi, la compétence reconnue des consommateurs à évaluer un produit ou un service est la base des études de consommation, de même les études sur la satisfaction professionnelle sont fondées sur la capacité des employés de porter un jugement sur les caractéristiques de leur milieu professionnel. Il ne semble donc pas déraisonnable de penser que les usagers retenus pour les besoins de cette étude étaient tout à fait capables d'évaluer les collections, le personnel et les conditions matérielles de la bibliothèque qu'ils venaient juste d'utiliser. Ceci posé, la seconde hypothèse fondamentale était la rigueur des mesures employées pour obtenir les évaluations des usagers (les échelles de notation à l'aide desquelles ils indiquaient le niveau global de la bibliothèque et de ses différentes prestations, leur propre satisfaction). Il est, semble t-il, possible de porter un jugement nuancé sur la validité de forme, de contenu et la valeur de concept de ces instruments de mesure.

La validité de forme d'un instrument de mesure se marque à ce qu'il mesure réellement les variables qu'il prétend mesurer et à ce qu'il est accepté par les sujets étudiés.

On précisait clairement à l'usager l'objectif de l'étude et les finalités de chaque groupe de questions. Ces dernières étaient rédigées de façon précise et concise; elles se rapportaient toutes à la connaissance et à l'expérience que les lecteurs avaient de la bibliothèque. De plus, les intitulés de chaque échelle de notation étaient spécifiques à chaque question. D'ailleurs, sur les 608 personnes ayant accepté de répondre, cinq personnes d'un certain âge, ont, seules, rendu un questionnaire incomplet, tandis que 6 autres ont préféré finalement s'abstenir de le remplir. On peut donc raisonnablement conclure à la validité de forme de ce questionnaire.

Un instrument de mesure présente des qualités de contenu, quand on peut affirmer que le contenu des questions particulières dont les réponses alimentent la question plus globale sur laquelle on va raisonner, est pertinent. Ainsi, dans notre questionnaire, on a choisi des collections, des prestations et des conditions matérielles qui entrent pour une part importante, en général, dans l'évaluation des services d'une bibliothèque. Certaines des questions ont déjà été utilisées dans une recherche précédente, d'autres s'inspirent de questions posées dans d'autres études (évaluations de bibliothèques, études de la satisfaction des consommateurs). Dans l'état actuel de la question, on peut, semble-t-il, reconnaître la validité de contenu de ce questionnaire.

Un instrument a valeur de concept lorsque l'expérience peut confirmer qu'il mesure réellement le concept qu'il est censé mesurer. La preuve peut venir, entre autres, de la constatation que des groupes différents fournissent des réponses systématiquement différentes. Or, il ressort de cette étude - et c'est un des résultats les plus importants - que des groupes démographiques différenciés donnent des réponses systématiquement différentes aux questions-clés de l'enquête, et particulièrement à celles relatives au niveau de la bibliothèque et à la satisfaction de l'usager. Cela tendrait à confirmer la valeur conceptuelle du questionnaire.

Tous ces arguments se défendent, semble-t-il, mais ils ne sont nullement concluants. On peut toujours craindre qu'un ou plusieurs d'entre eux ne soit inexact; auquel cas, la valeur du questionnaire est remise en cause, et, avec elle, la crédibilité de cette étude, ainsi que de toutes celles qui s'appuient sur des évaluations subjectives de bibliothèques. Si, au contraire, les arguments en faveur de la compétence des usagers et de la validité des instruments sont justes, les résultats de cette étude soulèvent de sérieuses questions concernant le comportement des usagers.

Ce qui est encore le plus déroutant, c'est l'absence manifeste de relation entre évaluation et utilisation de la bibliothèque. Cela indique bien que les habitués utilisent la bibliothèque, quelle que soit leur opinion sur ses prestations. Plus exactement, il semblerait que, chez les habitués, le sentiment d'obtenir un service médiocre ne décourage pas la fréquentation, mais qu'un service jugé excellent ne la renforce pas non plus. Le degré d'utilisation dépend vraisemblablement de variables qui ne sont pas du ressort de la bibliothèque. Rappelons toutefois que ce qui nous amène à cette conclusion, c'est l'absence de relation statistiquement vérifiée.

Manié avec précaution, ce concept peut être utilisé pour diagnostiquer la performance de différents services à l'intérieur d'une même bibliothèque.

Le comportement de l'usager, exprimé à la fois en termes d'évaluation et d'utilisation de la bibliothèque, se révèle difficile à déchiffrer ; l'analyse finale de cette étude fait ressortir la complexité de ce comportement et les limites de notre aptitude à le comprendre.

Illustration
Mesure de l'utilisation de la bibliothèque

Illustration
Mesure des caractéristiques individuelles des usagers

Illustration
Mesure de l'évaluation des services

Illustration
Tableau 1 - Régression multiple de l'échelle de notation de la bibliothèque sur les caractéristiques démographiques des usagers (N = 517)

Illustration
Tableau 2 - Régression multiple de l'échelle de satisfaction de l'usager sur les caractéristiques démographiques des usagers (N = 517)

Illustration
Tableau 3 - Comparaison de la moyennedes résultats de l'échelle de notation de la bibliothèque et de l'échelle de satisfaction obtenus auprès des usagers de la bibliothèque annexe de Saint-Paul et de ceux obtenus auprès des usagers de la Bibliothèque centrale du comté de Ramsey

Illustration
Tableau 4 - Régression multiple de l'échelle de notation de la bibliothèque sur les caractéristiques démographiques des usagers et sur les évaluations fournies par les usagers des différents services de la bibliothèque (N = 523)

Illustration
Quelques définitions

Illustration
Tableau 5 - Régression multiple de l'échelle de satisfaction de l'usager sur les caractéristiques démographiques des usagers et sur les évaluations fournies par les usagers des différents services de la bibliothèque (N = 523)

Illustration
Tableau 6 - Coefficients de corrélation de Bravais-Pearson entre l'échelle de satisfaction de l'usager, l'échelle de notation de la bibliothèque et les mesures d'utilisation de la bibliothèque (N = 586)

Illustration
Tableau 7 - Coefficients de corrélation les plus élevés obtenus entre les mesures d'utilisation de la bibliothèque et les mesures d'évaluation des services (589=< n =< 623)

  1. (retour)↑  Paru dans Library Quarterly, vol. 53, n° 2, 1983, p. 109-133. - Chicago, IL : University of Chicago press, 1983, sous le titre : User satisfaction with library service; a measure of public library performance ? - Traduction réalisée par Jacqueline Bloas (Rédaction du Bulletin des bibliothèques de France), avec la collaboration de Dominique Sordoillet et Roland Bertrand (DBMIST) et de M. Montford (INSEE).
  2. (retour)↑  Cf. encadré, n° 1.
  3. (retour)↑  Cette méthode s'appuie sur trois hypothèses:a. le consommateur utilise un produit ou un servce pour des raisons multiples; b. le consommateur perçoit les différentes caractéristiques propres au produit ou au service et évalue chacune d'entre elles dans la mesure où elle justifie ses raisons d'utiliser le produit; c. le sentiment global de satisfaction du consommateur vis-à-vis du produit ou du service est un sentiment composite fondé sur ses évaluations pondérées de chaque caractéristique du produit ou du service. En conséquence, la régression d'une mesure globale de satisfaction du consommateur vis-à-vis du produit ou du service sur les évaluations des caractéristiques individuelles permet d'identifier les caractéristiques les plus liées à la satisfaction (ou à la non-satisfaction) du consommateur vis-à-vis du produit ou service.