LibQUAL+ en France :

LibQUAL+ est un questionnaire standardisé, mis au point et diffusé par l’Association of Research Libraries, qui permet aux bibliothèques universitaires de disposer de données homogènes et comparables d’une année sur l’autre. Afin de développer LibQUAL+ en France, l’outil a été testé dans sa version canadienne francophone par le service commun de documentation (SCD) de l’université Lyon-I, tandis qu’un groupe travaillait parallèlement à l’adaptation du questionnaire pour créer une version francophone intégrant le système LMD (licence-master-doctorat) tout en conservant la comparabilité des différentes versions.

LibQUAL+ is a standardised questionnaire drawn up and distributed by the Association of Research Libraries, which enables university libraries to compile homogeneous data that can be compared on a year-on-year basis. To develop LibQUAL+ in France, the French Canadian version was tested by the library services at the University of Lyon I. At the same time, a group worked on producing a French version of the questionnaire, taking into account the new 3-5-8 year (BA – MA – PhD) degree structure, while ensuring that comparisons remained possible between the different versions.

LibQUAL+ ist ein von der Association of Research Libraries genormter und verbreiteter Fragebogen, der es wissenschaftlichen Bibliotheken ermöglicht, von einem Jahr zum anderen über homogene und untereinander vergleichbare Daten zu verfügen. Um LibQUAL+ in Frankreich weiterzuentwickeln, wurde das Instrument in seiner kanadischen französischsprachigen Version von der Bibliothek der Universität Lyon 1 getestet, während eine Gruppe parallel an der Angleichung des Fragebogens arbeitete, um eine französischsprachige Version aufzubauen, die das LMD-System (Bachelor-Master-Doktor) integriert und gleichzeitig die Kompatibilität der verschiedenen Versionen beibehält.

LibQUAL+ es un cuestionario estandardizado, puesto a punto y difundido por la Association of Research Libraries, que permite a las bibliotecas universitarias disponer de datos homogéneos y comparables entre ellos, y de un año a otro. Con el fin de desarrollar LibQUAL+ en Francia, la herramienta ha sido probada en su versión canadiense francófona por el servicio común de documentación (SCD) de la universidad Lyon-I, mientras que un grupo trabajaba paralelamente en la adaptación del cuestionario para crear una versión francófona que integre el sistema LMD (licencia-maestría-doctorado) conservando al mismo tiempo la comparabilidad de las diferentes versiones.

Le paysage international dans lequel s’inscrivent désormais les établissements d’enseignement supérieur et de recherche, mais aussi, plus proche de nous, le contexte national, notamment dans le cadre de la mise en œuvre de la loi « LRU » relative aux libertés et aux responsabilités des universités, rendent nécessaires le développement d’une démarche de pilotage, permettant d’évaluer ses performances au regard de ses objectifs et des moyens alloués. Les bibliothèques, en tant que service commun de l’université, n’échappent pas à cette nécessité d’évaluation de leurs actions.

Qu’est-ce que LibQUAL+ ?

LibQUAL+ 1 est un questionnaire standardisé, mis au point et diffusé par l’Association of Research Libraries (ARL) 2, qui permet aux bibliothèques universitaires de disposer de données homogènes et comparables entre elles et de mesurer les écarts des réponses aux différents items d’une année sur l’autre.

L’intérêt de LibQUAL+ réside notamment dans la possibilité de l’intégrer dans une démarche d’évaluation des activités d’un service commun de documentation (SCD) : en mesurant la satisfaction des usagers sur une échelle chiffrée, on recueille ainsi des données qui permettent de créer des indicateurs sur des items particuliers. À partir des données qui serviront de référence pour l’année de démarrage de LibQUAL+, on pourra mesurer l’évolution chiffrée de la perception des utilisateurs entre les différentes enquêtes.

22 questions, auxquelles peuvent s’adjoindre 5 questions additionnelles choisies dans une liste de 40, permettent de mesurer la perception des usagers des bibliothèques quant à la qualité des services dispensés. Ces 27 questions sont organisées autour de 3 items : les bâtiments, les ressources documentaires, le personnel. Les usagers sont invités à se prononcer sur une échelle de 1 à 9 en évaluant le niveau perçu, le minimum acceptable et le niveau souhaitable.

Ces questions ciblées sont complétées par des items destinés à mesurer l’apport de la bibliothèque dans le travail universitaire.

Enfin, les usagers complètent leur profil, ce qui permettra d’analyser plus ou moins finement les résultats de l’enquête par catégories de population (étudiants/chercheurs, étudiants L1/ master…) par niveau d’études et par discipline.

Le paramétrage de l’enquête

En amont de l’enquête, l’essentiel du travail pour les établissements porte sur le paramétrage de l’outil et le recueil des données statistiques concernant les populations de l’université. De la qualité de ces informations dépendront la « justesse » des résultats et les possibilités d’analyse.

Les rubriques à remplir

L’inscription s’effectue en ligne à l’une des deux sessions ouvertes dans l’année (la première court de la mi-janvier à la fin mai, la seconde de juillet à décembre) et elle est payante. Il est nécessaire de désigner un/des interlocuteur(s) pour l’enquête qui seront les personnes de référence pour l’ARL d’une part et les usagers désireux de poser des questions au cours de l’enquête d’autre part.

L’ARL produit à l’issue de l’enquête un rapport d’analyse complet à l’exception du traitement des commentaires libres. Les données sont par ailleurs envoyées sous forme de fichiers Excel ou, si la bibliothèque l’a spécifié au moment du paramétrage, SPSS (Statistical Package for the Social Sciences). La bibliothèque dispose de ses données sur le site de LibQUAL+ et peut produire à tout moment les radars ou graphiques qu’elle souhaite.

Il convient ensuite de sélectionner ou non cinq questions additionnelles, de renseigner la rubrique des bibliothèques fréquentées par les usagers (les sections documentaires, les bibliothèques associées…) et de renseigner le pavé concernant les disciplines d’étude. C’est à partir de ces déclarations que s’effectueront les analyses des réponses par type de population.

En effet, si le cœur de l’enquête est figé, certains éléments comme les disciplines sont en partie paramétrables par établissement. Chaque bibliothèque a la possibilité, à partir de la liste validée des disciplines LibQUAL, d’adapter le libellé pour que l’affichage corresponde à la réalité de l’enseignement, ou de le spécifier si la terminologie retenue dans LibQUAL est trop générale.

Ainsi, la version française a retenu 20 disciplines (nous reviendrons sur ce choix ultérieurement) couvrant peu ou prou tous les enseignements dispensés dans les universités françaises. Le SCD de Lyon-I dessert une population d’étudiants et d’enseignants chercheurs en science, technologie, santé et pédagogie (depuis l’intégration de l’institut universitaire de formation des maîtres – IUFM – en juillet 2007).

À partir de la liste LibQUAL, nous avons sélectionné la rubrique « science » de LibQUAL et nous l’avons déclinée autant de fois qu’il nous a semblé nécessaire :

• Science : Biologie
• Science : Biochimie
• Science : Chimie
• Science : Mathématique
• Etc.

D’un point de vue informatique, nos choix tels qu’ils s’affichent sur l’enquête en ligne (« mathématique », « chimie », etc.) sont reliés à la discipline de référence LibQUAL « Science » dans la base de données.

La bibliothèque peut également choisir de renommer une discipline LibQUAL. C’est ainsi que la discipline LibQUAL « Sport » apparaît sous « Staps » dans la version proposée à Lyon-I.

Le travail sur la terminologie des disciplines est d’autant plus important que c’est celle retenue pour les catégories statistiques de la population de l’université que la bibliothèque doit renseigner. Or, le ministère de l’Enseignement supérieur et de la Recherche envoie aux universités les données statistiques de leur population organisées dans des nomenclatures différentes : les étudiants sont répartis dans des rubriques « SISE » (système d’information sur le suivi de l’étudiant) et les enseignants-chercheurs selon les sections du CNU (Conseil national des universités), qui ne se recoupent pas nécessairement. Il sera donc utile d’établir un tableau de correspondances entre la discipline de référence Lib-QUAL, les sous-disciplines affichées dans l’enquête par la BU, les disciplines SISE et les sections du CNU.

Le tableau de correspondance LibQUAL/SISE/CNU servira à ventiler les données démographiques de l’enquête.

Enfin, ce dispositif est complété par des données volumétriques en termes de budget, collections et personnels.

La genèse du projet en France

Soutenue par la Ligue des bibliothèques européennes de recherche (Liber) et l’Association des directeurs et personnels de direction des bibliothèques universitaires et de la documentation (ADBU), l’enquête LibQUAL+ au sein des bibliothèques françaises d’enseignement supérieur doit permettre d’analyser la perception de la satisfaction des usagers. En mars 2007, une journée de présentation pilotée par Suzanne Jouguelet, chairman de la division « management » de Liber, a permis de lancer l’opération en France : le SCD de l’université Claude-Bernard-Lyon-I se portait volontaire pour tester l’outil 3 dans sa version canadienne francophone 4.

Parallèlement, un groupe de travail, animé par Suzanne Jouguelet pour Liber et le SCD de Lyon-I, a travaillé à l’adaptation du questionnaire. L’objectif consistait à créer une version francophone intégrant notamment le cursus LMD absent dans le modèle canadien et reformulant certaines questions tout en conservant la comparabilité des items entre les différentes versions, francophones et anglo-saxonnes, intérêt majeur de l’outil.

Travaillant avec l’École polytechnique fédérale de Lausanne (EPFL) dont l’implication a été sans faille dès le début du projet, nous étions d’emblée confrontés à ces questions d’interopérabilité qui nous obligent à rester à un niveau « méta », là où nous serions tentés de créer un questionnaire « cousu main » pour les universités françaises. La version 2008 du questionnaire en porte la marque.

L’adaptation des questions

Nous avons travaillé à partir des différentes versions existantes du questionnaire, notamment la canadienne, apportant des modifications dans la traduction uniquement lorsque la formulation nous paraissait réellement éloignée des usages courants du français.

L’adaptation des catégories liées aux données démographiques

Le travail concernant la liste des disciplines s’est essentiellement effectué à partir de la version anglaise, car la possibilité de comparaison européenne demeurait un objectif essentiel tant pour l’ARL que pour les participants français. Cet impératif explique notamment le maintien dans la version française de la différence de granularité entre les intitulés ; c’est ainsi que certaines disciplines de la version anglaise de LibQUAL très générales comme « Humanities » côtoient « Librarianship and Information Science », discipline au périmètre nettement plus circonscrit à la fois en termes de champ d’enseignement et de recherche mais aussi en termes de population concernée. Ces écarts sont aisément modulables grâce au paramétrage de l’outil et demanderont aux établissements de décliner certains items dans les « disciplines additionnelles » afin de les affiner. Il conviendra désormais de participer à l’évolution des libellés disciplinaires en parallèle avec les collègues anglais. Nous avons donc renommé, spécifié, voire ajouté des disciplines afin de coller à la réalité des enseignements dispensés en France et en Suisse, tout en gardant à l’esprit la nécessité de comparabilité avec les autres pays utilisant LibQUAL+.

Certaines demandes d’ajouts comme le « Sport » ont ainsi été acceptées. En revanche, les disciplines scientifiques sont regroupées dans de grandes catégories et sont à développer par chaque bibliothèque au moment de l’enquête.

Enfin, le dernier volet sur lequel a porté l’adaptation de l’enquête concerne les catégories d’usagers. Ce travail était indispensable pour recueillir des données démographiques exploitables : nous avons créé pour 2008 des catégories d’usagers qui prennent en compte la réalité du dispositif de Bologne LMD auquel nous avons ajouté l’équivalence terminologique pour la Suisse (L ou bachelor, M ou master), mis en correspondance avec les catégories « undergraduate » et « postgraduate » anglo-saxonnes. Il a fallu par ailleurs prendre en compte les cas particuliers comme les cursus de médecine qui, en France, ne sont pas encore dans le LMD.

Au final, le questionnaire tel qu’il est actuellement déployé dans les SCD est resté assez proche de ceux utilisés par les Anglo-Saxons. Gageons que l’expérience française sera riche en commentaires et nous aidera à poursuivre dans la voie d’une adéquation plus fine au paysage institutionnel universitaire francophone tout en maintenant une vision suffisamment large qui autorisera des comparaisons entre établissements européens.

Les perspectives de développement en Europe francophone

À ce jour, LibQUAL+ a été lancé à Paris-V, Angers et Lyon-I ainsi qu’à l’EPFL de Lausanne. Plusieurs SCD ont déclaré leur intérêt pour le projet et devraient déployer le questionnaire lors de la prochaine session ou en 2009. Le corpus de données recueillies donnera, à n’en pas douter, des pistes de réflexion en matière d’évaluation et d’études sur les usages de la documentation en France.

Pour faciliter la prise en main de l’outil, une liste de diffusion 5 ainsi qu’un wiki 6 ont été créés ; ils sont administrés par Nicolas Alarcon, bibliothécaire au SCD d’Angers. Le manuel de procédures, traduit par Hélène Chaudoreille, directrice du SCD de Paris-III, est accessible sur le site de l’ADBU 7.

La couverture francophone est par ailleurs sur le point de s’élargir : après Lausanne, ce sont les universités belges de Liège, Bruxelles et Louvain qui souhaitent rejoindre le dispositif, nécessitant d’autres adaptations du questionnaire.

Les résultats à Lyon-I

Le SCD de Lyon-I a expérimenté en mai 2007 l’outil dans sa version canadienne, sans y apporter la moindre modification comme il a été précisé précédemment. L’objectif consistait avant tout à acquérir au niveau français des compétences sur l’outil et être capable, à partir de l’expérience, de conduire un groupe de travail autour de l’adaptation de LibQUAL+.

Les limites des résultats obtenus sont nombreuses :

• période d’expérimentation : l’enquête a été menée en mai 2007, qui n’est pas le mois le plus représentatif en termes de fréquentation ;
• statistiques : les étudiants en médecine étant considérés en M dès la deuxième année, les chiffres recueillis à l’université ne permettent pas de faire une analyse fine de la perception de cette catégorie de population.

Pour autant, les graphiques donnent une vision globale de la perception des services de la BU tout à fait intéressante et exploitable en termes d’objectifs d’amélioration.

La figure 1 nous permet de constater plusieurs choses :

• le niveau perçu de satisfaction globale sur les trois items, toutes catégories d’usagers confondues, dépasse à peine le niveau minimum considéré comme acceptable ;
• les meilleurs résultats concernent les questions relatives au personnel où l’écart mesuré entre le perçu et le désiré est le plus bas (1,24), mais c’est aussi dans cette catégorie de questions que le niveau d’exigence est le plus faible ;
• l’écart le plus fort entre le perçu et le désiré porte sur les locaux (2,4) mais le niveau d’exigence le plus élevé concerne les ressources et leur accès.

Le radar de la figure 2 donne à voir les écarts entre les différents niveaux de réponse : en rouge, le niveau de service des BU est en dessous du minimum attendu. Comme la figure 1 le montrait déjà, les « performances » les moins bonnes des BU concernent les locaux. En regard du radar, nous avons extrait les questions pour lesquelles les écarts sont les plus grands entre les attentes et le perçu.

En bleu, le niveau de services est perçu comme au-dessus du minimum. Le jaune symbolise l’écart entre le désiré et la réponse. Nous avons également extrait de la synthèse les réponses pour lesquelles l’écart était le plus petit entre le désiré et le perçu.

Aucune zone verte n’apparaît sur le graphique. Constat cruel, la qualité des services du SCD ne dépasse sur aucun point le niveau désiré des usagers.

Qu’en conclure ? Question subsidiaire : quelles actions de correction peut-on mener ?

Les locaux des bibliothèques universitaires de Lyon-I sont inadaptés à l’utilisation souhaitée par ses usagers.

L’offre en termes de ressources documentaires, particulièrement électroniques, est encore à développer et son accès nomade est réclamé.

Il est intéressant de mesurer les différences entre les niveaux d’exigence des usagers pour prioriser les axes d’amélioration.

Les deux radars des figures 3 et 4 présentent des différences qui tiennent aux niveaux d’exigence variables entre les enseignants-chercheurs de santé et de sciences.

Perception de la bibliothèque

Il est par ailleurs tout à fait intéressant de noter que la perception de la bibliothèque comme lieu est négative pour les enseignants-chercheurs en sciences et santé alors qu’ils ne la fréquentent plus qu’épisodiquement : s’ils ne viennent pas à la bibliothèque, est-ce parce qu’elle est inconfortable et n’offre pas d’espaces pour l’étude ou répondent-ils à cette question en fonction de représentations qu’ils se font de ce que doit être une bibliothèque ? L’enquête LibQUAL à mener en 2010 après la réhabilitation de la BU Sciences permettra peut-être de répondre en partie à cette interrogation

La perception des étudiants (figures 5 et 6) est également différente selon qu’ils sont en santé ou en sciences : les besoins en santé concernent massivement les locaux. On notera que le niveau d’exigence d’un étudiant de sciences est globalement plus bas que celui d’un étudiant en santé.

Si la visualisation des résultats par type de population étudiante ne recèle pas de grande surprise, l’analyse fine des niveaux d’exigence des usagers d’une part et des écarts selon les items d’autre part permet de cibler les actions d’amélioration de la bibliothèque et/ou de valider des hypothèses de travail lors de la mise en œuvre de projets.

En résumé, les étudiants de santé demandent une bibliothèque propice au travail et des collections papier conséquentes (questions LP5, LP2, LP4 et IC3) ; les étudiants de sciences quant à eux expriment des besoins en termes de ressources électroniques et des espaces de travail individuel.

Les enseignants-chercheurs ont globalement les mêmes pratiques d’utilisation des ressources (figures 7 et 8) : Google est l’outil utilisé majoritairement quotidiennement et les enseignants ne se déplacent plus à la bibliothèque. Il serait peut-être intéressant de réfléchir au mode de signalement des ressources du SCD via Google.

Usages de la bibliothèque

Les étudiants ont des pratiques légèrement différentes (figures 9 et 10) selon qu’ils sont en sciences ou en santé, ce que la perception empirique des bibliothécaires savait déjà exprimer : il est vraisemblable qu’en raison du concours de fin de première année, les étudiants de santé, très assidus, sont plus nombreux à consulter tous les jours les ressources de la BU que leurs homologues de sciences. On notera, pour les deux populations, la faible utilisation quotidienne du web du SCD.

Il serait peut-être intéressant de réfléchir à des notices de catalogue qui seraient « attaquées » directement par les moteurs de recherche utilisés par les étudiants.

LibQUAL+ se termine par une zone de commentaires libres, qui ne sont pas dépouillés par l’ARL.

L’enquête a recueilli 212 commentaires, 375 occurrences (plusieurs commentaires par réponse) que l’on peut classer en trois grandes catégories : les espaces, les services, les collections papier et électroniques (figure 11).

Les demandes sont très homogènes : des espaces plus accueillants et à moderniser, des horaires à élargir – essentiellement en santé –, des collections papier et électroniques à développer, des outils de recherche documentaire plus simples à utiliser.

Le SCD, s’appuyant notamment sur les résultats de l’enquête, a d’ores et déjà proposé des améliorations : extension des horaires d’ouverture (ouverture jusqu’à 23 heures un mois avant les examens) et réorganisation des espaces dans différentes bibliothèques de santé. La BU Sciences fait quant à elle l’objet d’une complète réhabilitation intérieure et ouvrira à la rentrée 2009 dans des locaux -rénovés.