L'évaluation des établissements et des politiques documentaires à l'heure de la bibliométrie

L’Urfist de Paris et Médiadix ont organisé, le 13 avril dernier à Saint-Cloud, une journée d’étude consacrée à un sujet qui fait partie du quotidien de l’enseignement supérieur et de la recherche : « L’évaluation des établissements et des politiques documentaires à l’heure de la bibliométrie ».

Une pratique ancienne, incontournable et controversée

Manuel Durand-Barthez a d’abord dressé un tableau général de l’évaluation de la production scientifique, sujet central pour les tutelles administratives et financières et indicateur majeur des classements internationaux. Les indicateurs produits (facteur d’impact, facteur H…) et les méthodologies utilisées sont sujets aux critiques, reflétant une vision simpliste de l’usage de la documentation, qui ne tient pas compte des pratiques spécifiques aux disciplines (les sciences humaines en particulier). Parallèlement, des campagnes d’évaluation et de nouveaux outils se multiplient en France : le Graal (Gestion de la recherche, application sur les activités des laboratoires) ; le Sigaps (Système d’interrogation, de gestion et d’analyse des publications scientifiques) dans le domaine de la santé ; le Crac (Compte-rendu annuel d’activité chercheurs, élaboré par le CNRS). Les individus ou les services en charge de ces évaluations se heurtent à des problèmes de temps et de méthodes (que compter ? comment compter ?). Ces difficultés ont conduit à la constitution de groupes de travail, notamment au sein de l’Observatoire des sciences et des techniques  1 ou encore à l’initiative de l’Urfist de Paris  2. L’un de leurs objectifs est l’amélioration de la formation des professionnels de la documentation sur ces questions, qui permettra une plus grande fiabilité des données et des indicateurs et une réflexion approfondie sur les objectifs et les méthodes. À terme, une grille unique pour l’évaluation est-elle possible ?

Pierre-Yves Renard (bibliothèque de l’Insee) a dressé un panorama de l’évaluation de la documentation à l’université, qui a évolué sensiblement depuis les années 1950. De la mesure quantitative, nous sommes passés à l’évaluation qualitative avec la construction d’indicateurs de performance. Aujourd’hui, c’est le qualitatif qui prime. Des outils sont mis à disposition, telles les normes ISO 2789 et 11620. Les bibliothèques doivent désormais mesurer les écarts entre les attentes des usagers et ce qu’ils perçoivent. P.-Y. Renard conclut sur le double écueil de l’évaluation : une démarche qui, à force d’« objectiver » les résultats, finit par déshumaniser les activités étudiées ; une évaluation réalisée par les pairs avec le risque de tomber dans la connivence.

Christophe Genolini (statisticien, maître de conférences, université Paris-Ouest Nanterre – La Défense) a décrit le nouveau modèle Sympa (système de répartition des moyens à la performance et à l’activité) qui a remplacé San Remo (système analytique de répartition des moyens) en 2008. Ces modèles visent à déterminer la répartition des moyens de l’État entre les différentes universités. À la demande de l’université de Nanterre, C. Genonini a décortiqué le modèle Sympa, qui inclut la notion de performance parmi les facteurs de répartition. Les calculs sont certes pondérés, mais, selon Christophe Genolini, en fonction de données inconnues (le ministère de l’Enseignement supérieur ne répondant pas aux questions), et la base de calcul est également sujette à caution (public d’enseignants et d’étudiants aux contours flous).

Enfin, Annick Salaün (documentaliste à l’Ifremer, Institut français de recherche pour l’exploitation de la mer) a exposé la manière dont l’Ifremer utilise les indicateurs bibliométriques. L’Ifremer souhaitait connaître son positionnement scientifique international, en mesurant le nombre de publications, d’expertises et de citations sur trois ans. L’enquête a abouti à une base de dépôts propre à l’Ifremer, la base Archimer, qui est à la fois un réservoir documentaire et un outil d’automatisation de rapports d’activité.

La multiplicité des indicateurs

La première table ronde abordait la question des indicateurs. Ils sont liés aux objets et conditions de recherche des centres, ainsi qu’aux institutions de contrôle et tutelles. Mais cette multiplicité d’indicateurs n’empêche pas les lacunes en matière de littérature grise, et surtout dans le domaine des sciences humaines et sociales : ces dernières sont référencées dans de multiples ressources, et le poids scientifique des monographies y est sous-évalué.

La deuxième table ronde traitait des outils de l’évaluation. Le CNRS, avec les fiches Crac et la base Ribac (Recueil d’informations pour un observatoire des activités des chercheurs en sciences humaines et sociales), l’Inria, ou encore l’université de Nanterre, ont créé des outils d’évaluation où sont référencées et décrites les activités scientifiques. Tous les intervenants s’accordaient pour souligner l’intérêt d’élaborer un outil commun, les principaux blocages étant disciplinaires, malgré le discours dominant en faveur de la transdisciplinarité.

Un nouveau chantier pour la documentation

En conclusion, on retiendra que la question de l’évaluation prend aujourd’hui une ampleur considérable : le champ des activités à évaluer s’étend et se complexifie, et la pression s’accroît sur les chercheurs. Si nous pouvons et devons nous interroger sur les indicateurs qui gèrent désormais la vie des établissements scientifiques, un outil unique semble impératif. Tout au long de cette journée, a été également constatée l’absence dans ce débat des services commun de la documentation (SCD), écartés de fait des instances évaluatrices comme ils le sont souvent des instances décisionnelles des universités. Comme le soulignait M. Durand-Barthez, il faudrait que leurs responsables défendent le rôle d’expertise des SCD dans ces chantiers.