L'évaluation permanente

A quoi servent l'information scientifique et les nouvelles technologies ? A s'informer. Vous avez perdu. Ou, plutôt, vous avez omis la moitié de la réponse : l'IST sert à évaluer, à gérer, à mesurer, à planifier. Paradoxe ? le séminaire sur l'évaluation des systèmes d'information de Talence 1 en a pourtant été une belle illustration et l'analyse introductive de Roland Ducasse a montré comment l'IST dépasse son rôle initial de ressource pour devenir un indicateur d'évaluation des politiques d'enseignement et de recherche.

Quand des chercheurs provenant de tous les horizons des sciences de l'information se réunissent en colloque, la démarche de communication scientifique est une démarche au deuxième degré: on communique sur l'évaluation de la communication scientifique. On discute de la façon de la mesurer, de chiffrer son impact, son audience, voire sa rentabilité... Problème : comment évaluer le provisoire et l'indicible ? En se référant au durable et à l'écrit : la communication scientifique écrite, autrement dite la publication, a été à l'honneur de ces deux journées, avec son corollaire, la consultation, appréhendée par les indicateurs désormais classiques que sont les données de prêt inter et de prêt tout court. Autant dire que la gestion documentaire dans les bibliothèques et tout le secteur documentaire est à l'ordre du jour dès qu'on parle de bibliométrie.

La gestion documentaire, c'est, d'abord, celle des périodiques. L'approche évaluation ouvre des réponses au casse-tête familier des responsables d'acquisitions : comment mettre en oeuvre une véritable politique de la demande ? La méthodologie du Centre de recherches rétrospectives de Marseille est totalement pragmatique : l'informatique et les bases de données permettent de faire des tris sur des champs aussi diversifiés que les auteurs, les titres, les lieux de publications, la couverture des publications par les grandes banques de données internationales et les index de citations. Il est désormais possible d'établir, université par université, une cartographie documentaire précise des relations entre les domaines et les lieux « éditoriaux » des équipes de recherche. Une première application a porté sur la discipline pilote de la bibliométrie, la chimie. Si l'on en croit Henri Dou, la vérité qui sort des ordinateurs est quelque peu explosive : nombre de chercheurs ne publient pas où ils lisent et telle revue dite « indispensable » n'est souvent lue que par une ou deux personnes...

Du numéro à l'article

Autre prolongement de l'approche évaluative : le suivi du profil des revues pour lesquelles, à l'intérieur d'une période donnée, il devient possible de relever des décalages, des glissements insidieux, entre les contenus de la recherche et les thèmes éditoriaux et d'adapter la politique documentaire en conséquence. Et, quitte à adapter, il vaut mieux le faire sur des bases saines et poser la question de l'utilisation en termes d'article et non en termes de volume ou d'abonnement : « si on considère la revue comme un support qui doit contenir au temps X de son utilisation des éléments d'information nécessaires à un travail, à une recherche, il n'est pas évident qu'une collection ait la valeur effective, sur le plan de l'utilité, que lui attribuent certains ». L'article scientifique ayant une durée de vie limitée, en cette période de restrictions budgétaires, « si les abonnements ne sont pas consultés au delà d'un certain seuil, l'abonnement vaut-il la peine d'être maintenu ? ».

L'équation coût/bénéfice se faisant donc au niveau des articles, ne reste plus qu'à mesurer leur utilisation : la démarche a été faite pour un grand centre de documentation et de fourniture à distance pour les sciences exactes. Une fois déterminé le ratio le plus pertinent entre les séries « fourniture de volumes » et « fourniture d'articles », on a pu établir que les périodiques les plus théoriques, les plus fondamentaux, attirent une demande éclatée sur un nombre maximum d'articles. A l'inverse, pour les revues les plus techniques, les plus pointues, la demande se concentre sur un nombre restreint d'articles-leaders, rarement plus d'un seul par numéro.

Autre facette de la bibliométrie, l'étude, pointue, des besoins des utilisateurs : on analyse le taux d'utilisation des documents, le taux de frustration prenant en compte le « manque », l'absence de documents souhaités ou, à l'inverse leur disponibilité. Là aussi, ces études ont généralement pour cadre les bibliothèques, seul lieu relativement mesurable. Les modèles et les instruments ne manquent guère - modèle de Morse, modèle de Saracevic - les applications à l'échelon français sont actuellement fort rares et le travail de J. Delon 2 reste exceptionnel. Mais les techniques d'enquête, aussi sophistiquées soient-elles, ne permettent d'appréhender les besoins des utilisateurs qu'a posteriori ; encore à l'état de test, les questionnaires en ligne de l'EVALBIB reposent sur une logique d'évaluation immédiate. Le graphisme des questionnaires à choix multiples, la possibilité de dialogue avec les utilisateurs, la convivialité du système devraient être autant d'atouts pour l'instauration d'un dialogue fructueux entre la bibliothèque universitaire de Bordeaux et ses utilisateurs.

Vers l'infométrie

L'unité de demande, l'article, est-elle aussi pertinente pour analyser la production ? Car la bibliométrie intègre aussi tout le versant production de la communication scientifique. Ainsi les cartindex (dits aussi leximappes) permettent de cerner la distribution des thèmes d'intérêt des revues et leur évolution en se fondant sur la fréquence d'apparition de mots clés associés à l'intérieur des résumés. D'autres études se sont fondées sur les index de citations et les index tout courts pour analyser la distribution des articles avec référence aux lois de Zipf et de Bradford et Lotka 3.

D'abord définie comme une méthode d'analyse de la production scientifique, la bibliométrie évolue pour s'engager dans une problématique d'évaluation des résultats de la recherche : William Turner qui travaille sur la recherche dans le Nord-Pas-de-Calais, met en avant la notion d'« infométrie » ou de scientométrie quantitative extensive. La démarche consiste à étudier la productivité d'un système de recherche en examinant ses outputs (publications, alimentation de banques de données, brevets, etc.), ses liens avec les autres systèmes, sa « centralité » à l'intérieur des différents réseaux de recherche locaux, nationaux et internationaux. La porte est maintenant ouverte à une gestion de la recherche sur des critères définis de façon scientifique et normalisés.

Mais peut-on se fonder sur une approche purement quantitative ? Gérard Losfeld met radicalement en cause le mode de fonctionnement même des banques de données en sciences humaines ; celles-ci sont fondées sur l'accumulation, l'absence de tout critère de tri et d'appréciation dans les résumés qui ne sont qu'une présentation « à plat ». Or, la recherche documentaire n'est jamais une recherche à plat, totalement innocente ; elle fonctionne sur le mode de l'arborescence : on s'intéresse aux oeuvres de tel auteur, aux autres membres de son collège invisible, aux productions de son université, etc. La morale de l'histoire : la bibliométrie doit tenter de décrire le mode de production de la recherche dans sa logique et dans ses règles avant de s'attaquer à ses résultats. La morale de cette morale, l'approche bibliométrique est assez largement dans ses objectifs et ses contenus pour qu'il soit désormais possible de parler de discipline à part entière ? La théorie est faite. Ne reste plus qu'à l'appliquer.