Les catalogues en ligne jugés par les utilisateurs

Cet exposé présente une brève vue d'ensemble de la recherche sur les utilisateurs des OPAC, et des différentes méthodes d'évaluation utilisées. Un logiciel, « OLIVE », qui permet l'analyse transactionnelle et l'introduction de questionnaires en ligne a été développé sur un micro-ordinateur. Avec celui-ci on peut examiner les intentions de l'utilisateur, la formulation et le résultat de la recherche sur divers systèmes opérationnels. Ces recherches ont mené à « OKAPI », un prototype de troisième génération, beaucoup plus interactif, qui prend compte de nos connaissances et du feed-back de l'utilisateur.

A brief overview of research on users and online catalogues is presented, focussing on the different data gathering méthodologies. « OLIVE », an enhanced facility for logging transactions and introducing online questionnaires as a front-end on a PC has been used to examine user intentions, search formulations and success ratings on several commercial systems. A third generation system « OKAPI », addressing some of the issues raised by user feedback is then described.

Depuis quelques années, on a vu l'installation des catalogues en ligne proliférer dans toutes les bibliothèques. Les marchands de systèmes reconnus introduisent actuellement de nouvelles versions améliorées sur le marché. Des logiciels pour OPAC, sur micro-ordinateurs, et un certain nombre de systèmes CD-ROM sont récemment apparus.

Pourtant, malgré ces progrès apparents, les divers développements ne semblent guère prendre en compte les besoins des utilisateurs ni aborder de manière systématique les problèmes qu'ils rencontrent. De plus en plus conscients des limites et des contraintes des systèmes courants, les professionnels cherchent sincèrement à comprendre les stratégies mises en place par les utilisateurs lors d'une interrogation de catalogue en ligne.

Les premières recherches

Il existe une vaste littérature sur les OPAC. Notre centre de recherche a compilé une bibliographie qui comprend plus de mille références (1).

La plupart recensent des articles de périodiques qui décrivent ou débattent d'implantations de systèmes ou de leurs développements. Moins de 5 % concernent les processus de recherche employés par les utilisateurs, ou l'évaluation proprement dite du système. Il s'agit d'enquêtes qui rassemblent des données sur le comportement de l'utilisateur, ou qui évaluent les systèmes en termes d'utilisation et d'efficacité.

Il existe deux sortes de recherches sur les catalogues en ligne : les enquêtes exploratoires et l'analyse transactionnelle.

Enquêtes exploratoires

Les enquêtes exploratoires ont pour objectif de déterminer le degré d'acceptabilité de la nouvelle technologie. Pour la plupart modestes, elles consistent à sonder les utilisateurs sur l'installation d'un système particulier.

La plus connue, et la plus importante, est le sondage national réalisé par le Council for library resources, en 1981, aux Etats-Unis (2) qui conclut principalement : d'une part, que les utilisateurs s'enthousiasment fort pour le catalogue informatisé, d'autre part, qu'ils préfèrent les recherches par sujets.

Ces enquêtes donnent une idée générale mais juste de l'attitude des utilisateurs.

Analyse transactionnelle

La seconde méthode est une méthode d'observation qui consiste à examiner le processus même de l'interrogation. Elle indique les différentes caractéristiques du comportement ainsi que les difficultés éprouvées. Les résultats principaux sont résumés ci-dessous :
- la durée moyenne d'une session dure de 5 à 10 minutes,
- un tiers des utilisateurs mélange recherche par sujets et recherche par auteurs ou titres dans une même session,
- les problèmes d'entrées comportent des fautes d'orthographe, des erreurs de syntaxe et des difficultés avec les touches de fonction,
- les références sont trop nombreuses ou nulles,
- les opérateurs booléens et la troncature sont rarement utilisés,
- les écrans d'aide ne servent pas.

Toutefois, si l'analyse transactionnelle est un moyen d'observation globale des utilisateurs en groupe, qui permet d'identifier certaines de leurs difficultés, cette méthode a néanmoins ses limites. On peut se faire une idée générale de l'utilisation des systèmes, mais elle informe peu sur l'utilisateur individuel. L'analyse ne permet de déduire ni les raisons qui le poussent à procéder de telle ou telle façon ni l'intention qui l'anime (3).

Méthodes de recherche et d'évaluation courantes

Prenant appui sur ces premières études et sur leurs résultats, le travail qui est actuellement entrepris à la City university se propose d'observer l'utilisateur à différents niveaux et dans diverses situations. Il s'agit d'abord d'approfondir les connaissances qu'on a de lui par l'analyse détaillée de son comportement dans le processus complet de la recherche d'informations, et pas seulement pendant sa consultation du catalogue.

En second lieu, outre les difficultés qu'il rencontre, nous essayons également d'aborder ses problèmes conceptuels, en explorant des mécanismes de recherche plus efficaces que les opérateurs booléens et en testant ceux-ci avec de « vrais » utilisateurs, dans le cadre de la bibliothèque, et pas seulement au laboratoire.

Observation de l'utilisateur

Les systèmes commerciaux ne permettent pas de procéder à une analyse transactionnelle, ni, par conséquent, d'enregistrer ce qui se passe sur l'écran du terminal. En utilisant un PC comme terminal, nous avons donc développé un logiciel spécial, placé en amont du système OPAC (4). Le logiciel « Olive » (Online interactive validation and evaluation) a différentes fonctions.

Il peut :
- « capturer » et enregistrer individuellement la recherche entière d'un utilisateur,
- introduire des questionnaires en ligne, avant, après et durant la recherche,
- repasser ou imprimer les sessions, pour analyse.

Nous avons ainsi pu réaliser un certain nombre d'études sur des OPAC opérationnels dans des bibliothèques municipales et universitaires, dans le but d'amasser des données sur les utilisateurs, mais aussi de tester l'efficacité de cette méthode (5).

En ce qui concerne l'utilisateur, nous nous sommes jusque-là intéressés à trois aspects de son comportement : l'intention qu'il a quand il consulte le catalogue, la formulation de sa recherche et l'estimation qu'il fait du résultat obtenu.

Dans les réponses aux questionnaires, deux tiers des utilisateurs déclarent, qu'avant d'entreprendre une recherche, ils attendent des références connues, mais aussi des références qu'ils ignorent.

L'analyse transactionnelle révèle au contraire que la moitié au moins, et plus, entreprennent une recherche dans le catalogue pour obtenir une référence spécifique. Il semble en effet que ce soit la tactique adoptée au premier stade de la recherche, mais que la recherche devienne par la suite essentiellement une recherche par sujets, et se continue en rayons.

Les réponses obtenues dans les questionnaires remplis avant et après recherche, comme l'analyse transactionnelle, montrent que, dans les deux tiers à trois quarts des cas, les recherches sont un mélange des divers procédés : ce qu'on a appelé une recherche hybride par sujets. Dans ce cas, la recherche d'une référence spécifique ou connue n'est pas considérée par l'utilisateur comme l'objectif principal ou fondamental de sa consultation.

Conceptualisation

En ce qui concerne la formulation, quand il procède à une recherche par sujets et que différentes méthodes ou points d'accès lui sont offerts, l'utilisateur a tendance à sélectionner la première option parue dans le menu.

La plupart expriment leur besoin d'information d'une manière assez générale, avec un mot ou trois, et ont des difficultés à préciser ensuite davantage - 75 % entrent une ou deux expressions par session. Ils préfèrent recommencer leur recherche en la reformulant avec des termes nouveaux. Très peu développent l'interrogation d'une manière interactive, en parcourant les vedettes matières ou en reliant d'autres points d'accès, comme par exemple les codes de classement. Ils n'explorent pas les options et les tactiques mises à leur disposition.

Ils ne font pas non plus facilement la différence entre une recherche par mots clés et une recherche par vedettes matières, et n'ont aucun moyen d'estimer quelle est la méthode la plus appropriée - ce qu'amplifie l'emploi des opérateurs booléens, qui dépend de l'indexation des notices MARC et diffère selon les systèmes.

La plupart d'entre eux ne font pas de recherche exhaustive. Quand ils ont trouvé une ou deux références, ils vont prendre les livres en rayons pour y continuer leur recherche.

Les questionnaires indiquent qu'environ 25 % ne trouvent pas ce qu'ils cherchent, 50 % le trouvent partiellement, et 25 % trouvent tout, voire plus. Ce qui signifie que, malgré l'interactivité des catalogues en ligne, l'interaction ne fonctionne pas beaucoup. Les utilisateurs doivent d'abord s'adapter au système. Et une fois le problème initial de l'accès surmonté, ils n'ont pas les moyens d'améliorer, de raffiner, ni de développer leur premier résultat.

Un prototype de troisième génération

Parallèlement à l'observation du comportement de l'utilisateur sur les systèmes courants de deuxième génération, le Centre a aussi développé un prototype de troisième génération (6) : Okapi (Online keyword access for public information) évolue, depuis 1985, à travers ses différentes versions -chacune des versions est testée par des utilisateurs en bibliothèques.

Le travail sur prototype exige une interaction entre l'utilisateur et le créateur, puisque celle-ci est essentielle pour le développement du système. La philosophie d'Okapi étant de créer un système transparent pour l'utilisateur néophyte, on a réalisé une interface qui permet un dialogue entre les deux parties.

La meilleure façon de montrer l'interaction introduite dans Okapi est de suivre le processus de recherche à ses différents stades. Au début, l'utilisateur n'a pas besoin de choisir une méthode de recherche dans un menu. Il suffit simplement qu'il entre son interrogation. Partout dans le système, le dialogue - soit les questions posées à l'utilisateur et les réponses qui lui sont faites - a lieu dans un style conversationnel, en langage naturel. A tout moment l'utilisateur est informé de l'activité du système et des résultats, par les fenêtres le plus souvent.

L'interactivité d'Okapi va plus loin qu'une simple interface homme-machine. C'est la recherche même qui devient interactive, et ce, de deux façons. En premier lieu, contrairement aux systèmes où l'on n'aboutit que s'il y a correspondance totale entre tous les termes de l'interrogation et ceux des notices de la base de données, Okapi fait la recherche dans tous les cas de figures, que les termes soient exacts ou non. S'il ne les retrouve pas tous, l'utilisateur en est informé et le système affiche des références plus ou moins proches. Il peut aussi rapprocher les termes en relevant les fautes d'orthographe et en faisant des troncatures automatiques.

Ce en quoi Okapi diffère le plus des autres systèmes est la non-utilisation de la logique booléenne. Le système emploie un mécanisme de recherche qui alloue une valeur à chaque terme de l'interrogation, valeur qui dépend de la fréquence d'emploi du terme dans la base de données. Les termes les plus fréquents ont une valeur inférieure à celle des termes plus rares. Les références de plus grande valeur s'affichent en tête des autres. C'est une méthode efficace pour obtenir des références par ordre de pertinence.

Le système utilise également une technique qui permet de développer l'interrogation initiale. Quand l'utilisateur choisit d'afficher une référence personnelle, le système lui demande d'indiquer si c'est bien ce qui l'intéresse. Si la réponse est affirmative et que l'utilisateur est d'accord, le système retrouve automatiquement des références équivalentes à celle qu'a sélectionnée l'utilisateur. A l'interrogation initiale, s'ajoutent donc de nouveaux termes tirés du titre et les vedettes matières de la référence choisie. Le système repasse alors l'interrogation élargie.

Ce processus peut se répéter à volonté.

Pour conclure, nous avons des connaissances sur le comportement de l'utilisateur, mais nous pourrions les élargir. En tant que chercheurs, il serait bon de collaborer davantage avec les professionnels pour suivre de plus près l'utilisation qui est faite des OPAC courants et les besoins des divers groupes d'utilisateurs.

Le développement de systèmes plus efficaces dépend du feedback des utilisateurs car ce sont eux qui jugent. Espérons que chercheurs et professionnels arriveront à influencer les vendeurs pour que ceux-ci proposent des OPAC plus appropriés aux besoins de ceux qui les utilisent (7).

Mai 1991