entête
entête

« Moteur ou labyrinthe ? »

Le portail documentaire de la bibliothèque publique d’information évalué par ses utilisateurs

Laure Bourgeaux

Amélie Fresneau

Vingt ans après l’observation des usages des catalogues informatisés menée par Joëlle Le Marec à la Bibliothèque publique d’information  1, les administrateurs du portail documentaire actuel, accompagnés par le service Études et recherche, ont souhaité évaluer la réception et la compréhension de cet outil par ses utilisateurs. La méthode des tests scénarisés, très utilisée en ergonomie informatique, a été retenue dans le but de recueillir des données fines concernant les difficultés et points de blocages rencontrés au cours de la consultation. Cette démarche d’évaluation, riche d’enseignement, ouvre à la BPI de nouvelles perspectives en matière de développement et d’évolution de ses interfaces de recherche.

Contexte et enjeux du projet

Besoins et objectifs à la BPI

Ouvert au public en avril 2006, le portail documentaire de la BPI  2 permet, sur place et à distance, d’interroger les différents catalogues et bases de données de la bibliothèque et d’accéder (dans la limite des droits associés à chaque profil d’utilisateur) à l’ensemble des documents multimédias et ressources en ligne sélectionnés par les bibliothécaires. Après deux années de fonctionnement, et en l’absence de statistiques de consultation, la BPI a jugé nécessaire d’évaluer la compréhension de cet outil et d’en mesurer l’adéquation avec les pratiques et les besoins des utilisateurs.

Par ailleurs, le chantier du nouveau site web  3 et son ouverture en décembre 2008 ont permis d’engager une réflexion sur le graphisme et l’ergonomie des interfaces proposées par la bibliothèque à ses usagers, sur place et à distance : l’existence simultanée des deux outils (site web et portail documentaire) rendait en effet nécessaire l’harmonisation des contenus, des chartes graphiques et des principes de navigation, et ce pour éviter les risques de redondance et faciliter le repérage et la consultation des informations mises en ligne par la bibliothèque. Le projet d’évaluation ergonomique du portail documentaire visait donc tout autant à identifier les points forts et les points faibles de l’outil qu’à disposer de pistes d’amélioration en vue d’une refonte graphique et d’une intégration repensée au sein du nouveau site web.

Ergonomie et utilisabilité des interfaces en bibliothèque

Ce projet s’est ancré, dès sa conception, dans le champ de l’ergonomie des interfaces, discipline qui vise à étudier et à améliorer les modes d’interaction entre l’homme et l’outil informatique. L’ergonomie des interfaces s’appuie essentiellement sur l’analyse des processus mentaux (il s’agit en effet d’adapter les outils au fonctionnement cognitif des utilisateurs), mais elle prend également en compte les caractéristiques physiques de l’interaction homme – machine (le toucher, la vue, l’audition, etc.). Au final, l’ergonomie permet, en s’appuyant sur un certain nombre de critères  4, d’assurer à la fois l’utilité du système (autrement dit sa capacité à satisfaire un besoin, à permettre la réalisation d’une ou plusieurs tâches) et son utilisabilité.

Cette dernière est définie par la norme ISO 9241-11 comme « le degré selon lequel un produit peut être utilisé, par des utilisateurs identifiés, pour atteindre des buts précis avec efficacité, efficience et satisfaction, dans un contexte d’utilisation spécifié 5 ». Autrement dit, et selon les critères énoncés par Jakob Nielsen, l’utilisabilité d’un système repose sur son efficience (soit la possibilité pour l’utilisateur d’atteindre le but qu’il s’est fixé sans perdre trop de temps), sa facilité d’apprentissage (l’aisance et la rapidité avec lesquelles l’utilisateur apprend à se servir de l’outil), sa facilité de mémorisation (la capacité pour l’utilisateur de se souvenir des différentes étapes et du fonctionnement général de l’outil), sa fiabilité (la capacité du système à prévenir et à gérer les erreurs) et enfin la satisfaction de l’utilisateur.

Méthodologie et déroulement

Le principe des tests utilisateurs

Soucieuse de mesurer l’utilisabilité de son portail documentaire, la BPI s’est intéressée à la méthode des tests utilisateurs, méthode d’évaluation qualitative qui consiste en l’observation et l’analyse des réactions d’un panel d’utilisateurs-cibles confrontés à une interface. Plus précisément, les tests scénarisés, reposant sur la réalisation d’une ou de plusieurs tâches spécifiques (trouver une information, interroger une base de données, etc.), permettent d’identifier les éventuels dysfonctionnements du système et de repérer les difficultés et points de blocage rencontrés par les utilisateurs.

Chaque utilisateur-testeur participe au test en compagnie d’un ergonome, qui anime la séquence et recueille les données. Celles-ci peuvent être chiffrées, dans le cas des tests scénarisés (on relèvera par exemple le temps écoulé pour réaliser une tâche, le temps passé dans une rubrique, le taux de réussite ou d’échec du scénario, etc.), mais il peut également s’agir d’informations plus qualitatives, relevant du cheminement parcouru dans l’arborescence, de la compréhension globale des informations et menus disposés sur l’interface ou encore de l’aisance avec laquelle les utilisateurs manipulent l’outil (ces deux derniers points étant surtout abordés via les commentaires oraux et les comportements non verbaux relevés au cours du test). Les tests utilisateurs constituent, de fait, une méthode d’évaluation structurée, facilitant le déroulement des tests et la comparaison des résultats.

Définition des utilisateurs-cibles

Selon les travaux des mathématiciens Nielsen et Landauer, un panel de 5 utilisateurs par cible permet de détecter 80 % des problèmes ergonomiques d’une interface  6. Il faudrait en revanche solliciter 15 utilisateurs pour détecter 100 % des problèmes. La majorité des prestataires s’appuient sur ces travaux pour proposer de constituer des groupes de 5 utilisateurs, mais ce chiffre est parfois discuté, car plus le nombre d’utilisateurs est important, plus la fiabilité des résultats augmente. La société PeopleSquare, prestataire des tests utilisateurs à la BPI, recommande de réunir 8 utilisateurs par groupe-cible, estimant qu’il s’agit là d’un honorable compromis entre réalités matérielles et fiabilité des résultats.

Pour constituer ces groupes et définir des cibles de niveaux d’expertise différents, la BPI s’est appuyée sur sa connaissance des publics de la bibliothèque et des usagers du portail documentaire, obtenue grâce à de précédentes études  7. L’ensemble des participants ont plus de 18 ans, ont l’habitude d’utiliser internet et sont des utilisateurs potentiels des bibliothèques et des outils documentaires qu’elles proposent. Ils ont été répartis dans trois groupes-cibles, correspondant aux trois types de publics identifiés.

  • Une première cible constituée de « novices », ne fréquentant pas particulièrement la BPI et ne connaissant pas son portail documentaire. Ce groupe a été séparé en deux, avec une moitié d’utilisateurs n’ayant jamais utilisé de portail de bibliothèque et une autre moitié utilisant des portails à caractère documentaire en général, mais jamais celui de la BPI en particulier. Ces huit personnes ont été recrutées via une base de données de testeurs constituée par PeopleSquare.
  • Une seconde cible composée d’« habitués », pour lesquels les critères de recrutement reposaient sur une fréquentation régulière de la BPI (au moins une fois par mois) et une utilisation préalable de son portail documentaire. Ce groupe de sept personnes a été recruté dans la file d’attente de la BPI.
  • Enfin, une cible de « professionnels », réunissant cinq bibliothécaires et documentalistes extérieurs à la bibliothèque, et trois collègues de la bibliothèque. Ce dernier groupe a été constitué à partir des contacts fournis par les responsables du projet à la bibliothèque.

Scénarios et passation des tests

Huit scénarios de recherche, soit huit questions assez générales, identiques pour les trois groupes d’utilisateurs constitués, ont été élaborés en concertation par les responsables du projet à la BPI et l’ergonome de PeopleSquare. Fondés sur les principaux objectifs de recherche et de consultation sous-jacents au portail, ces scénarios se voulaient proches, non seulement des pratiques constatées d’utilisation de l’outil, mais aussi des préoccupations et interrogations qui animaient les administrateurs du portail au terme de ses deux années de fonctionnement.

Il s’agissait, par exemple, de mesurer la compréhension de la terminologie utilisée sur l’interface, d’évaluer la performance des menus de navigation et des fonctionnalités proposées au regard des habitudes des utilisateurs, ou encore d’identifier les difficultés et points de blocage rencontrés au cours d’une démarche de recherche d’information ou de document. Les scénarios retenus dans le plan de test n’ont pas été différenciés en fonction des groupes-cibles, ce qui permettait à la fois de comparer aisément les résultats et de mesurer l’influence des niveaux d’expertise ou de connaissance du portail sur les comportements des utilisateurs (voir encadré ci-après).

Plan de test : les 8 scénarios

1. Vous cherchez un ouvrage de Freud dont on vous a parlé, mais vous ne vous souvenez plus du titre exact. Pouvez-vous essayer de le retrouver ?

1 bis  Vous obtenez de nombreuses références, dont certaines ne sont pas écrites par Freud. Comment feriez-vous pour limiter les résultats aux ouvrages écrits par Freud ?

1 ter  Vous vous souvenez que le titre recherché était L’introduction à la psychanalyse. Pouvez-vous vérifier la disponibilité et l’emplacement de cet ouvrage ?

 

2. Vous voulez savoir si vous pouvez faire des photocopies de cet ouvrage à la BPI et connaître le prix d’une copie. Où pouvez-vous trouver cette information ?

 

3. Jean Nouvel vient de remporter l’appel d’offres pour la nouvelle tour Signal à la Défense. Pouvez-vous consulter des documents qui en parleraient ?

 

4. Un ami vous a parlé d’une conférence sur la bande dessinée et l’humour qui a eu lieu il y a quelque temps à la BPI. Vous regrettez d’avoir raté cette conférence et souhaitez trouver un enregistrement de la rencontre. Comment faites-vous ? Pouvez-vous écouter cet enregistrement en ligne ?

 

5. Vous vous intéressez aux films documentaires sur l’architecture et souhaitez savoir s’il est possible d’en trouver à la BPI. Comment faites-vous ? Pouvez-vous visionner l’un de ces documentaires en ligne ?

5 bis  Vous souhaitez voir la liste des derniers films mis à disposition à la BPI. Comment faites-vous ?

 

6. Vous voulez savoir si la BPI propose des musiques de films. Comment faites-vous ?

6 bis  Vous avez adoré la musique du film Le grand bleu que vous avez revu récemment et aimeriez pouvoir la réécouter. Pouvez-vous vérifier qu’elle est bien à la BPI ? Pouvez-vous l’écouter ?

 

7. Vous souhaitez trouver des liens vers des revues internet concernant l’agriculture et on vous a dit que la BPI en proposait une sélection. Comment faites-vous pour y accéder ?

 

8. L’été approche et vous allez avoir du temps pour vous former dans de nouvelles disciplines. Un ami vous a dit que la BPI proposait des logiciels pour apprendre de nouvelles langues, se former à l’informatique ou au code de la route. Pouvez-vous aller voir ce qui est disponible dans les domaines qui vous intéressent ?

    Les tests se sont déroulés en partie dans les locaux de PeopleSquare (9 participants) et en partie dans les espaces de la BPI (14 participants), et ce afin de ne pas privilégier l’accès sur place par rapport à l’accès distant, ce dernier correspondant pour certains utilisateurs (novices et professionnels extérieurs) aux conditions réelles de consultation du portail. Les tests ont duré en moyenne 45 minutes ; ils ont été intégralement enregistrés, avec l’accord des participants, grâce au logiciel Morae. Ce dernier permet d’enregistrer à la fois les pages affichées sur l’écran, les actions opérées sur l’interface (saisies au clavier, clics de souris), et les expressions faciales de l’utilisateur au moyen d’une webcam.

    Après une rapide introduction, l’ergonome invitait l’utilisateur à réaliser les différentes tâches prévues par le plan de test en les commentant à voix haute. Pour chaque scénario, l’ergonome n’intervenait qu’en dernier recours, lorsque l’utilisateur rencontrait un blocage ou une difficulté l’empêchant de mener à bien la tâche qui lui avait été confiée. Au terme de ce parcours scénarisé, l’ergonome proposait d’abord un rapide retour subjectif en posant quelques questions sur des points spécifiques abordés au cours du test ainsi que sur la compréhension globale de l’outil. Dans un second temps, l’utilisateur était confronté de nouveau à la page d’accueil du portail, et invité à passer en revue chaque élément de cette page en exprimant son point de vue, son interprétation des différents intitulés et menus proposés, etc. Pour finir, il lui était demandé d’attribuer une note à l’outil en fonction de sa facilité d’utilisation, sur une échelle allant de 1 (très facile) à 5 (très difficile). Les notes attribuées au portail ont couvert l’ensemble de l’échelle, la moyenne s’étant établie à 3,1 pour les novices, 2,9 pour les professionnels et 2,6 pour les habitués.

    Enseignements

    Enseignements pratiques et méthodologiques

    Les premiers enseignements tirés des tests utilisateurs menés à la BPI sont d’ordre pratique : en mettant au jour les problèmes rencontrés par les utilisateurs au cours de leur démarche de recherche et de consultation, et en révélant certaines incompréhensions liées à la terminologie utilisée sur l’interface, l’expérience a permis de disposer de pistes d’amélioration relativement claires pour la future refonte de l’outil.

    En effet, les utilisateurs interrogés se sont souvent montrés déroutés par la multiplicité des chemins d’accès et des possibilités de recherche offerts sur l’interface. La présence en page d’accueil de deux encarts de recherche, l’un intitulé « Interroger le catalogue » et l’autre « Élargir la recherche » a, en particulier, fait l’objet d’interprétations plus ou moins hasardeuses : pour les uns, il s’agissait de deux fonctionnalités identiques ; pour d’autres, le second encart s’apparentait à la « recherche avancée » du catalogue ; pour d’autres encore, la présence simultanée des deux encarts figurait la possibilité de lancer une recherche combinant deux critères (titre et auteur, par exemple). Dès lors, il semble évident que l’outil gagnerait à ne proposer qu’un seul et unique encart de recherche, réunissant l’ensemble des fonctionnalités et contenus disponibles sur le portail : c’est l’objectif que vise le futur moteur de recherche fédérée, actuellement en cours de réalisation.

    Des entretiens exploratoires menés en amont des tests utilisateurs avaient par ailleurs pointé, pour certaines catégories d’usagers, l’intérêt des accès thématiques, par « feuilletage » d’intitulés, balisant des « parcours » préconçus parmi les ressources proposées par la bibliothèque. En particulier, il apparaissait que les publics maîtrisant mal le français écrit tendaient à se détourner des encarts de recherche (nécessitant une orthographe irréprochable) pour accorder leur préférence à des logiques de découverte et de navigation via les différentes rubriques mises à leur disposition dès la page d’accueil.

    Lors des tests scénarisés, les utilisateurs ont apprécié ces fonctionnalités, notamment pour les tâches qui en justifiaient le recours, mais nombreux sont ceux qui en ont déploré le manque de visibilité. En effet, dans la première version de l’interface, utilisée lors de la campagne de tests, il fallait cliquer sur l’intitulé « Catalogues » du menu de navigation latéral pour en dérouler le contenu et ainsi accéder à des fonctionnalités de recherche et de feuilletage thématique au sein des collections multimédias de la BPI (films, musique, documents d’autoformation, etc.). Cet aspect a été corrigé dès la seconde version du portail, mise en ligne début 2009 à l’occasion de son intégration au sein du nouveau site web.

    Enfin, parmi d’autres enseignements  8, relevons des problèmes liés à la terminologie employée sur l’interface : en effet, le jargon professionnel utilisé pour décrire les différentes catégories de documents ou intituler certaines rubriques du portail (« documents parlés », « archives sonores », « BPI numérique », etc.) semble loin d’aider les utilisateurs à construire leur démarche de recherche et de navigation et à trouver aisément et rapidement leur chemin au sein de l’outil. Il paraît donc nécessaire de travailler sur la recherche d’intitulés plus explicites : un vaste chantier, actuellement ouvert avec le projet de moteur de recherche fédérée, qui invite les bibliothécaires à repenser les principes mêmes de catégorisation des documents, ainsi que leurs modes d’exploitation et de valorisation numériques.

    Illustration
    Figure 1. Le portail de la BPI en septembre 2008

    Illustration
    Figure 2. Maquette conceptuelle, livrée par le prestataire, reprenant les principales préconisations ergonomiques pour la page d’accueil du Portail

    Enseignements théoriques

    Au-delà de ces enseignements directs et pratiques, l’expérience d’évaluation ergonomique du portail a permis à la BPI de prolonger une démarche d’observation et d’étude des usages des catalogues informatisés, initiée par Joëlle Le Marec en 1989. À l’époque où les catalogues informatisés faisaient leur apparition sur les écrans de la BPI, Joëlle Le Marec relevait chez les utilisateurs un phénomène d’attraction teinté d’interrogations et de déconvenues : un sentiment d’arbitraire et d’hétérogénéité dominait parfois au cours de la démarche de recherche et de consultation.

    Si les objets et les technologies ont changé, si la méthodologie adoptée par les deux études n’est pas tout à fait la même  9, l’évaluation du portail menée en 2008 fait apparaître certaines constances par rapport à l’enquête de 1989. Pour commencer, face au caractère peu intuitif des outils et à l’absence de dispositifs d’aide ou d’accompagnement, c’est la notion de progression par étapes, par essai-erreur, qui fait toujours référence. Et sur ce point, les propos de Joëlle Le Marec restent largement d’actualité : « Dans un grand nombre de cas, l’apprentissage se fait par la découverte aléatoire de la bonne solution plus que par les vertus de l’erreur. Tout seul face à l’écran, le visiteur doit tenter de surmonter les difficultés une par une, en aveugle, étant uniquement prévenu que quelque chose ne va pas, ou même, sans l’être du tout 10 […]. »

    Quant aux phénomènes de discontinuité de la consultation et de fragmentation des contenus disponibles à l’écran, relevés dès 1989 lors de l’observation des usages des catalogues informatisés, ils semblent, là encore, toujours opérationnels en 2008 : les tests menés sur le portail documentaire de la BPI ont en effet révélé une sensation largement partagée de perte de repères exprimée par les utilisateurs dès lors qu’ils devaient passer d’une base de données à une autre, circuler au sein d’une liste de résultats, ou lorsqu’ils étaient automatiquement redirigés, après activation d’un lien, vers une nouvelle application à l’interface parfois totalement différente de celle du portail. De ce point de vue, la difficulté du cheminement et la perte de maîtrise déplorées par les utilisateurs du portail font écho aux observations réalisées par Joëlle Le Marec : « À chaque pas de la consultation, le cheminement antérieur retourne dans la nuit, et l’usager se voit obligé de choisir entre plusieurs voies possibles sans les voir : chaque écran est un carrefour, et la progression se fait “à la lampe de poche” 11. »

    Cette continuité des usages et des difficultés rencontrées s’accompagne toutefois d’une réelle évolution concernant l’horizon d’attente et de référence des utilisateurs de catalogues informatisés : si, en 1989, les modèles prédominants du minitel et de la borne d’information orientaient clairement les représentations vers la « fonction dialogue » de l’outil, autrement dit vers une situation de conversation entre l’individu et la machine, il ne semble plus en être de même en 2008. Les utilisateurs-testeurs du portail de la BPI font montre, en revanche, d’attentes et de compétences clairement façonnées par l’usage d’internet et des moteurs de recherche. Ainsi, l’attraction exercée par les encarts de recherche aux dépens d’autres modes d’accès « par feuilletage », tout comme le parcours rapide et ultra-sélectif des pages selon des codes relevant typiquement de la lecture sur écran  12, nous semblent clairement liés à une pratique devenue courante de la navigation sur le web et de l’utilisation d’outils de recherche en ligne (moteurs généralistes mais aussi librairies en ligne, sites de vente aux enchères, etc.).

    Dès lors, face aux enseignements concernant les difficultés d’appropriation de l’outil et au constat de l’évolution permanente des pratiques et des attentes qui en structurent la réception, il apparaît nécessaire d’inventer de nouvelles manières de concevoir et d’améliorer nos interfaces de recherche et de consultation, associant pleinement les utilisateurs selon un processus dynamique, participatif et itératif. En s’inspirant des logiques de la conception centrée utilisateur, fondées sur la compréhension en amont du contexte d’utilisation et sur l’évaluation régulière des solutions mises en œuvre au regard des exigences prédéfinies et des réactions observées, nos projets d’informatique documentaire gagneront en efficacité, en efficience, en capacité d’attrait et de satisfaction : autrement dit, en utilisabilité.

    1.  (retour)↑   Joëlle Le Marec, Dialogue ou labyrinthe ? La consultation des catalogues informatisés par les usagers, Paris, Bibliothèque publique d’information – Centre Georges Pompidou, 1989.
    2.  (retour)↑  http://www.bpi.fr/recherche_documentaire.jsp (consulté le 19 octobre 2009).
    3.  (retour)↑  http://www.bpi.fr
    4.  (retour)↑   Voir notamment les critères énoncés dans la norme Afnor Z67-133-1 de 1991, intitulée « Définition des critères ergonomiques de conception et évaluation des interfaces utilisateurs », présentés dans l’article de Nicole Lompré, « Normes ergonomiques et usages des bibliothèques numériques », in Usages et pratiques dans les bibliothèques numériques, sous la direction de Fabrice Papy, Paris, Hermès Science – Lavoisier, 2007, p. 27.
    5.  (retour)↑   Norme ISO 9241-11 de 1998, citée par Jérôme Dinet et Robin Vivian, « Comportements et stratégies des utilisateurs dans les bibliothèques numériques : l’apport de l’ergonomie », in Usages et pratiques dans les bibliothèques numériques, op. cit., p. 250.
    6.  (retour)↑   Jakob Nielsen, « Why you only need to test with 5 users », Useit.com, Alertbox, 19 mars 2000. Disponible sur : http://www.useit.com/alertbox/20000319.html (consulté le 19 octobre 2009).
    7.  (retour)↑   La BPI réalise tous les trois ans une enquête générale de fréquentation, destinée à mieux connaître les profils et les pratiques de ses usagers. Le portail documentaire avait, quant à lui, fait l’objet d’une quinzaine d’entretiens exploratoires, menés auprès d’utilisateurs recrutés pendant ou au terme de leur recherche ou de leur consultation des ressources sur les écrans de la bibliothèque. Pour en savoir plus sur ces différents travaux, consulter la rubrique : http://www.bpi.fr/fr/professionnels/etudes_et_recherche.html (consulté le 19 octobre 2009).
    8.  (retour)↑   L’ensemble des recommandations remises par l’ergonome peut être consulté dans le rapport final : Tests utilisateurs et spécifications ergonomiques sur le portail BPI, PeopleSquare – Bibliothèque publique d’information, 2008. Disponible sur : http://www.bpi.fr/modules/resources/download/default/Professionnels/Documents/Etudes%20et%20recherche/PS_Synthese_V4diffusion.pdf (consulté le 19 octobre 2009).
    9.  (retour)↑   Joëlle Le Marec avait travaillé en trois temps pour son étude : le premier consistait en une observation des utilisateurs des systèmes Géac et Lise à la BPI, avec relevé systématique des démarches adoptées, le second reposait sur une vingtaine de tests individuels, et le troisième visait à compléter les informations obtenues avec quinze entretiens non directifs.
    10.  (retour)↑   Joëlle Le Marec, Dialogue ou labyrinthe ?, op. cit., p. 43.
    11.  (retour)↑  Idem, p. 53.
    12.  (retour)↑    Sur ce point, voir notamment l’article de Joëlle Cohen, « L’écran efficace : trois lois fondamentales de la perception visuelle », Documentaliste – Sciences de l’information, sept. 2000, vol. 37, n° 3-4, p. 192-198.