Évaluer pour évoluer

Roland Ducasse

Analyse de la problématique créée par l'introduction des méthodes d'évaluation dans les bibliothèques et systèmes d'information documentaire. La formation professionnelle s'avère inadaptée et le mode de fonctionnement des établissements devrait être repensé en fonction du service rendu à l'usager. L'ouverture sur l'extérieur implique l'intégration de spécialistes en matière de gestion. La plupart des activités d'un établissement peuvent donner lieu à évaluation, tant dans le secteur de la lecture publique que des bibliothèques spécialisées. Le recours aux enquêtes et sondages, combiné avec des systèmes informatiques légers, permet de collecter des informations fiables et de procéder à des comparaisons. L'information s'inscrivant dans une logique économique, la rentabilité des banques de données ne peut être obtenue qu'en associant davantage à leur création leurs véritables utilisateurs, les chercheurs.

Analysis of the problems induced by the adoption of valuation methods in library and documentary information centers. It appears that professional training is not suitable anymore : working methods should be formulated according to the user's needs. The new opening involves a cooperation with experts in management. Most activities in an establishment can be estimated, public libraries as well as special libraries. By the use of inquiries and soundings, together with light automation systems, reliable information can be collected and compared. As information is part of an economical logic, profitability of databanks will be obtained only if their real users - the searchers -are more associated with their setting up.

BBF. L'Ecole d'été organisée en 1984 1 avait pour thème les méthodes d'évaluation dans les systèmes d'information documentaire. Pourquoi ce choix ? Est-ce qu'un enseignement de haut niveau peut véritablement trouver un répondant à l'intérieur des systèmes d'information français tels qu'ils existent actuellement ?

Roland Ducasse. L'animateur pédagogique que j'ai été à Bonas ne peut répondre que sur le thème bien précis de l'évaluation des systèmes d'information documentaire (SID). L'Ecole d'été visait principalement, comme la précédente consacrée à l'indexation automatique, à compenser certaines lacunes de l'enseignement dispensé en France dans le domaine. Le niveau et la technicité des cours exigeaient des prérequis qui écartaient de fait nombre de professionnels, bibliothécaires ou documentalistes... encore que, je tiens à le souligner, nous ayons accepté tous ceux qui s'étaient portés candidats.

L'intersection des parallèles

Si l'Ecole d'été a surtout attiré des chercheurs français ou étrangers, c'est probablement parce qu'actuellement l'évaluation des SID procède davantage d'une problématique de chercheur que de praticien. L'absence, parmi les auditeurs, d'enseignants « institutionnels » (ENSB, INTD....) est de ce point de vue révélatrice; sans doute était-elle due au fait qu'ils interviennent dans des structures de formation dont la finalité professionnelle exige une adéquation étroite entre les matières enseignées et les pratiques bibliothéconomiques en vigueur. Les prérequis que j'évoquais précédemment - notamment en statistique, en mathématiques, mais aussi en informatique - demandent à eux seuls un nombre d'heures d'enseignement important... et il n'est guère possible, il faut le reconnaître, dans le cadre d'une formation courte d'y pourvoir de façon satisfaisante; d'autant, c'est un euphémisme, qu'ils ne correspondent certainement pas à une demande pressante des milieux professionnels.

Quant au « répondant » dont vous parliez, à l'intérieur même des SID, il serait facile de citer des exemples étrangers, la bibliothèque universitaire de Lancaster en Grande-Bretagne, le système SIGIRD au Québec... mais aussi Compiègne, en France ! Trop souvent, une bibliothèque ou un centre de documentation fonctionne en circuit fermé, donnant la priorité à l'administration ou à l'organisation du service d'IST; trop souvent le système est « centré document », comme disent les anglo-saxons, quand il devrait tenir le plus grand compte de l'environnement local, chercher à s'y adapter et non le contraire. Centrer un SID sur l'usager est certes contraignant, mais cela engage, à mon avis, l'efficacité du service documentaire, son « rendement », lequel ne peut être réellement apprécié que si l'on se dote d'instruments d'évaluation performants parce que pertinents.

En résumé, pour répondre à votre question, c'est bien ce « modèle » de fonctionnement qui est en cause. Peut-être verra-t-on un jour en France des bibliothèques universitaires dirigées par un binôme bibliothécaire-gestionnaire, gestionnaire du système d'information, entendons-nous bien. A mon sens, cette évolution est non seulement inéluctable, mais souhaitable. Avec l'automatisation croissante, la télématique, l'avènement de réseaux locaux, tel celui que nous mettons en place en ce moment sur le campus de Bordeaux, le SID participera à l'environnement scientifique et ne se contentera pas, comme trop souvent aujourd'hui, d'une simple coexistence.

BBF. Telle que vous la définissez, l'évaluation paraît avoir une portée très large... mais peut-on raisonnablement demander à des praticiens de repenser leur mode de fonctionnement à des fins d'évaluation ?

RD. Tout, pratiquement, peut donner matière à évaluation : la durée de vie d'un ouvrage, son public potentiel, sa circulation... Les informations que l'on en retire devraient intéresser en premier lieu le bibliothécaire, mais aussi, pourquoi pas, l'éditeur, ou l'auteur, ou ceux qui sont en charge d'une discipline, de la politique scientifique dans un domaine donné... N'oublions pas que les problématiques de l'évaluation dépassent largement le seul cadre bibliothéconomique; l'historien, le sociologue, le responsable d'une administration de tutelle sont eux aussi concernés. Pour décider d'une politique budgétaire, autant se fonder sur des informations sérieusement établies.

Trop souvent les praticiens sont dans l'incapacité « technique » de fournir des données fiables, nombreuses, significatives, relatives à leurs « résultats ». L'informatique, à condition qu'elle ait prévu d'intégrer l'évaluation du SID, devrait être l'adjuvant qui manquait, notamment dans les bibliothèques universitaires. Demander à un bibliothécaire d'enregistrer et de comptabiliser à la main toutes sortes de données, d'opérer sur ces données nombre de traitements statistiques ou mathématiques, relève d'une gageure que bien peu ont pu relever. Et je les comprends !

Des techniques d'évaluation sophistiquées

L'automatisation, dont on attend toujours l'extension dans les bibliothèques universitaires, devrait certainement les y aider. Encore faudra-t-il que l'on ne se contente pas d'adapter de simples systèmes de gestion de stocks, comme on le voit trop souvent. Combien de systèmes d'automatisation du prêt, par exemple, se limitent au seul contrôle physique du document : qui l'a emprunté ? Jusqu'à quand ? La finalité d'une automatisation dépasse l'émission bureautique d'une lettre de rappel, ou le décompte du nombre d'ouvrages prêtés selon leur cote ou la catégorie socio-professionnelle du lecteur-emprunteur.

Evaluer la circulation d'un ouvrage, d'une collection, c'est se donner la possibilité d'orienter une politique d'acquisition, de varier la durée du prêt, de promouvoir tel ou tel auteur, thème ou discipline... de solliciter telle ou telle catégorie de lecteurs, ou de non-lecteurs. C'est se donner la possibilité, en permanence, de suivre au plus près la demande, sinon de la précéder.

Nous n'avons plus rien à attendre des systèmes Brown ou Newark; ils ont montré et leurs limites et leurs carences en matière d'aide à la gestion de l'information. En milieu universitaire, un ouvrage c'est un « document »; on l'achète ou on l'emprunte pour l'ensemble des informations qu'il contient: c'est pour cela que les usagers viennent. De l'aptitude du SID à répondre à la demande dépendra très directement la satisfaction de l'usager et, partant, le transfert d'informations scientifiques et de connaissances. Il n'est pas étonnant en définitive de constater que les premiers travaux d'évaluation au sens moderne du terme aient concerné les bibliothèques de célèbres établissements scientifiques ; rappelons-nous les travaux de Philip M. Morse au Massachussets Institute of Technology. La sophistication des techniques d'évaluation doit être à la hauteur des enjeux. C'est ce que nous avons souligné durant l'Ecole d'été.

La lecture publique en amarre

BBF. Votre analyse ne se situe pas uniquement au niveau des bibliothèques universitaires ou spécialisées qui sont pionnières dans ce domaine.

RD. Elles sont en effet pionnières, encore que..., mais l'évaluation concerne tout autant les bibliothèques de lecture publique, sur le « modèle » de fonctionnement desquelles, me semble-t-il, il reste encore beaucoup à réfléchir - qu'il s'agisse de leur financement ou de leur aptitude à rendre tel ou tel type de service.

Trop souvent, à mon sens, les bibliothèques de lecture publique se cantonnent dans le seul domaine de la lecture de divertissement ou de loisir, délaissant des domaines où elles pourraient rendre d'immenses services: je pense à la formation professionnelle des adultes, à la récupération d'informations en ligne pour le compte de PME ou PMI, etc. Ces besoins, ces attentes existent dans certains environnements, encore faut-il les percevoir. Je me souviens, ceci est anecdotique, d'une bibliothèque municipale qui ne disposait d'aucun des titres inscrits dans la bibliographie d'un concours administratif fort connu, bibliographie qui concernait localement une soixantaine de personnes auxquelles l'acquisition des ouvrages aurait coûté quelque 600,00 F.

Evaluer les publics potentiels, la pénétration dans telle ou telle catégorie d'usagers, de quartiers... suivre l'évolution des migrations intra-urbaines, etc., autant d'objets d'évaluation qui concernent au premier chef une bibliothèque de lecture publique. Et il y en a beaucoup d'autres.

La lourdeur des systèmes

BBF. Poser la question de l'évaluation c'est aussi poser celle des ressources, car l'implantation de systèmes lourds suppose des moyens conséquents au départ.

RD. Je ne pense pas que l'on ait besoin de systèmes lourds pour être en mesure d'évaluer. Les techniques de l'évaluation sont en fait très diversifiées, mais c'est vrai que l'automatisation de certaines fonctions (acquisitions, catalogage, prêt...) constitue une aide des plus précieuses.

La question importante est celle des logiciels, leur conception intègre-t-elle ou non, ou à quel degré, l'idée d'évaluation ? On trouve aujourd'hui sur la plupart des micro-ordinateurs des outils d'aide à la décision qui pourraient parfaitement être adaptés à l'environnement documentaire; a fortiori ces outils devraient être présents sur les gros systèmes. Trop souvent les informaticiens livrés à eux-mêmes ramènent le suivi du développement d'un fonds documentaire, la gestion d'une collection à une simple statistique comptable, alors qu'il est possible d'en extraire des masses de données, lesquelles, après traitement, fourniraient des informations de qualité.

Je pense que des systèmes légers du type Mobi-prêt, devraient particulièrement veiller à accroître la capacité d'évaluation, car, largement distribués, ils permettraient aux bibliothécaires d'intéressantes comparaisons de performances..., à l'administration centrale aussi !

N'oublions pas que c'est en période de réduction des moyens, de vaches maigres, que les besoins d'évaluation se font pressants, ne serait-ce que pour une rationalisation des choix budgétaires, une optimisation des ressources. Il est banal de constater le recours croissant ces dernières années aux techniques d'audit, enquêtes et sondages. Elles sont de plus en plus utilisées dans le domaine industriel et économique ; pourquoi ont-elles aussi peu droit de cité dans nos bibliothèques ?

Je est un autre

BBF. Cette dernière solution repose d'une manière aiguë le problème de la sensibilisation des professionnels aux méthodes statistiques ; car, face aux résultats d'une enquête, la réaction la plus courante est de dire : « Ces résultats ne s'appliquent pas à mon propre cas ». D'où une floraison d'enquêtes ponctuelles, plus ou moins improvisées et, en définitive, peu satisfaisantes...

RD. C'est effectivement un des risques liés le plus souvent à une méconnaissance de l'approche statistique ou des techniques d'enquête; tout comme l'attitude, elle aussi très répandue, qui consiste à dire : « Je n'ai pas besoin d'une enquête sur ce problème précis car je dispose déjà de cette information ». C'est ainsi qu'il arrive que l'on construise de grands équipements, monopolisant des investissements lourds, sans qu'au préalable on ait seulement essayé d'évaluer les besoins des usagers, persuadés que sont souvent les décideurs de bien connaître leur public local quand ils se fondent en fait sur des « impressions » par trop générales. Certes, il est parfaitement acceptable d'extrapoler le comportement des jeunes travailleurs bordelais 2, mais cela ne veut pas dire qu'on puisse extrapoler de la même façon leur relation respective aux équipements de lecture publique.

Les techniques d'enquête sont généralement plus complexes à mettre en oeuvre qu'il n'y paraît, et, personnellement, je suis de ceux qui pensent qu'elles sont affaire de professionnels. A chacun son métier ! Quand la Ville de Paris a commandité voici quelques années une enquête sur l'utilisation de son réseau de bibliothèques, elle a confié ce travail à une équipe spécialisée et non aux responsables des bibliothèques.

Cela ne signifie pas que ces derniers doivent être tenus à l'écart : ils doivent pouvoir intervenir, être à même d'en apprécier les résultats. Sans doute cela passe-t-il par une sensibilisation aux techniques de l'évaluation qui devrait être faite au niveau de la formation initiale et poursuivie dans le cadre d'une formation permanente qui fait encore trop souvent défaut. Tant qu'on continuera de recruter les personnels sur un profil littéraire et pour une formation si brève, il est à craindre que le dialogue de sourds entre bibliothécaires et gestionnaires, informaticiens, sociologues... ne se poursuive indéfiniment.

La charrue avant les boeufs

BBF. On parle beaucoup en ce moment des enjeux liés au marché de l'information scientifique et technique. Pensez-vous que la même problématique lui soit applicable ?

RD. Il y a en effet toute une action menée au niveau des pouvoirs publics pour encourager le développement de l'information scientifique et technique, mais quelles sont les mesures d'accompagnement pour sensibiliser les usagers, les chercheurs et les universitaires à cette politique ? Il ne faut pas se leurrer : à l'exception de quelques secteurs bien précis (médecine ou chimie par exemple), la plupart des usagers ont des pratiques datées et n'ont pas clairement conscience des enjeux posés par leur propre information. D'où décalages et hésitations de la politique de promotion de l'information scientifique et technique qui a été lancée depuis quelques années. On a créé des banques de données, mais ces banques ont été créées en amont : les services spécialisés font une indexation et donnent des références, mais ces références peuvent très bien être des traductions, des articles de seconde ou troisième main... qui n'apportent pas une véritable information. Lorsque ce service, payant, qui s'inscrit dans une économie du marché de l'IST est reconnu comme peu fiable, peu rentable, il n'est pas surprenant de le voir boudé par les chercheurs et autres spécialistes du domaine. C'est ainsi qu'on aboutit à des systèmes documentaires en déficit chronique, à des banques de données comptant 15 « abonnés ».

Il me semble qu'il faudrait renverser la procédure : multiplier les actions de sensibilisation aux enjeux de l'IST, mais aussi inciter, associer davantage les chercheurs à la création de banques de données. Une des principales difficultés tient au fait que les « documentalistes » qui produisent ces banques n'ont pas de liens réels avec la recherche, d'où des bruits, des silences et un manque à gagner considérable au niveau du produit final. Dans le domaine de la géologie qui m'est familier, la procédure expérimentée à Bordeaux a été tout autre; partant des besoins de base, on a fait en sorte que l'information soit collectée, analysée, et donc « produite » par les chercheurs eux-mêmes, quitte à ce qu'elle soit ensuite formatée selon les usages par les documentalistes. C'est une voie difficile.

Dans un tel système, les documentalistes ne sont aucunement dépossédés, car leur compétence s'affirme au niveau de la recherche des sources d'information, de la formation des chercheurs à la récupération d'information en ligne, etc. Plutôt que de s'exercer à devenir des virtuoses de la procédure, ils améliorent leur connaissance du domaine. La plus-value du documentaliste devrait se traduire par sa capacité à évaluer la qualité et la pertinence de l'information fournie.

Du point de vue de la production d'IST en France, je pense que les systèmes d'information documentaire devraient s'appuyer sur des banques de données locales, réparties, hyper-spécialisées puis réunies et organisées. Toute la question est là : partir des besoins de l'utilisateur et créer un service adapté plutôt que de construire un système conforme aux seules vues de « producteurs » que l'on pourrait qualifier parfois de simples « distributeurs ». Les banques de données n'ont pas encore trouvé « l'éditeur », dont l'imprimé, lui, a su se doter.

BBF. Tout ceci déborde de très loin le cadre des universités et de l'information scientifique.

RD. L'information en général s'inscrit toujours dans une logique économique: il est confondant qu'une expérience télématique d'information locale en milieu rural ait commencé par proposer les cours de la bourse et les bulletins de météorologie nationaux aux agriculteurs du Sud-Ouest. Après quoi on déplorera l'insuccès de la télématique et la faible capacité du public à absorber l'innovation...

Le carcan rompu

Pour en revenir aux problèmes concrets des services d'information documentaire, nombre de mesures ponctuelles pourraient intervenir, même si tout ne peut être révolutionné en un jour: pourquoi le responsable d'une section de bibliothèque n'irait-il pas passer un mois ou deux dans un laboratoire de recherches ? Il aurait l'occasion de voir réellement les problèmes d'information scientifique au lieu de les imaginer. Dans certains établissements le directeur de la bibliothèque s'oblige, au moins une fois par mois sinon plus, à « faire » le service de référence et à dialoguer avec le lecteur de base. Ceci est révélateur d'un état d'esprit, d'une relation à l'environnement peu fréquente en France où la centralisation engendre une « déresponsabilisation ». Quand toutes les ressources proviennent de Paris, les initiatives pour trouver des financements complémentaires ou générer des « modèles » locaux ne peuvent être que limitées; a contrario, voyez l'exemple de la bibliothèque universitaire de Compiègne, déjà citée.

BBF. Il en existe tout de même quelques-unes et la décentralisation va mettre ces questions à l'ordre du jour.

RD. Sans doute. Il y a toute une politique d'incitation à mener et les quelques exemples que nous avons en France, bibliothèques universitaires ou de lecture publique, devraient être encore plus soutenus qu'ils ne le sont... mais tout cela n'aura qu'une portée limitée si on ne modifie pas le carcan administratif car l'évaluation, la mise en relation permanente entre un service et son environnement, ne signifie pas seulement un changement de politique. Elle signifie surtout un autre état d'esprit, une autre conception, nous dirions un autre « modèle ».