Les réformes ministérielles successives contribuent à la modification des paysages de l’IST et de la recherche. Elles renforcent la culture d’évaluation déjà présente dans les unités de recherche. L’implication des centres documentaires y est d’autant plus nécessaire aujourd’hui. Dans un contexte structurel en (r)évolution, le Réseau des professionnels de l’IST du CNRS, Renatis, a pris la mesure des enjeux de l’implication de ces personnels dans l’activité scientifique. Il apparaît dès lors essentiel à ces spécialistes de se doter d’indicateurs spécifiques en complétant la norme ISO 11620.

Successive government reforms have reshaped the field for scientific and technological information services and research, strengthening the existing evaluation culture within research groups and making it more necessary than ever for document resource centres to be involved in the process. In this context of change, Renatis, the network for scientific and technological information professionals at the French National Centre for Scientific Research (Réseau des professionnels de l’information scientifique et technique du CNRS), has looked at what it means for their staff to take part in the scientific research process. It is essential that these information specialists develop their own specific indicators following ISO standard 11620.

Die aufeinanderfolgenden Regierungsreformen tragen zur Veränderung der wissenschaftlichen und technischen Informationslandschaften (IST) und der Forschungslandschaft bei. Sie verstärken die innerhalb der Forschungseinheiten bereits vorhandene Evaluierungskultur. Die Miteinbeziehung der Dokumentationszentren ist heute um so notwendiger. Renatis (Réseau des professionnels de l’information scientifique et technique du CNRS) Verbund der Fachleute für wissenschaftliche und technische Information am nationalen Zentrum für wissenschaftliche Forschung, hat in einem (r)evolutionärem Strukturrahmen das Ausmaß der Herausforderungen der Miteinbeziehung dieser Mitarbeiter in die Wissenschaftstätigkeit erkannt. Es erscheint diesen Spezialisten seitdem wesentlich, sich mit spezifischen Indikatoren auszustatten, indem sie die Norm ISO 11620 ergänzen.

Las reformas ministeriales sucesivas contribuyen a la modificación de los paisajes de la información científica y técnica y de la investigación. Ellas refuerzan la cultura de evaluación presente ya en las unidades de investigación. La implicación de los centros documentales es tanto más necesario hoy en día ahí. En un contexto estructural en (r)evolución, Renatis, red de profesionales de la información científica y técnica del CNRS, ha tomado la medida de los retos de la implicación de estos personales en la actividad científica. Este aparece desde entonces esencial para estos especialistas dotarse de indicadores específicos completando la norma ISO 11620.

L’évaluation est aujourd’hui devenue incontournable dans le monde de la recherche. Chercheurs, services, directions, unités, établissements, écoles doctorales, tous sont soumis à un contrôle, que ce soit dans le cadre de la loi de finances (Lolf) 1 ou encore par l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES) 2. Les structures de l’information scientifique et technique (IST) participent par leur travail quotidien (études bibliométriques, valorisation de la production scientifique, etc.) à cette évaluation. Mais qu’en est-il de l’évaluation de ces structures elles-mêmes ? Comment les professionnels de l’IST peuvent-ils évaluer leurs tâches et en rendre compte ? Comment est-il possible de mesurer la pertinence, la validité de ce qui est fait ? Il est d’autant plus important de se poser ces questions maintenant que les réformes ministérielles engagées dans la recherche et l’enseignement supérieur vont modifier le paysage de l’IST, avec notamment la création de la Mission de l’information scientifique et technique et du réseau documentaire (MISTRD) 3.

Depuis plusieurs années déjà, des organismes internationaux de normalisation se sont penchés sur la question des indicateurs. Ceci a donné lieu à la rédaction d’un outil, la norme internationale ISO 11620, qui traite des indicateurs de performance des bibliothèques  4. Cette norme est « destinée à caractériser la qualité et l’efficacité des services fournis par les bibliothèques dans l’objectif d’évaluer l’efficience des ressources associées ». Dans son introduction, on peut lire qu’« il est conseillé d’interpréter les résultats de l’utilisation des indicateurs de performance décrits dans la présente norme internationale en fonction de facteurs locaux » tels que la communauté desservie, l’infrastructure technologique et sa configuration, etc. Sa dernière mise à jour date d’octobre 2008 et fait état d’une quarantaine d’indicateurs  5.

Des normes mal adaptées au monde de la recherche

Les professionnels de l’IST au sein du Centre national de recherche scientifique (CNRS) ne se retrouvent cependant pas complètement dans cette norme qui doit être adaptée à la structure dans laquelle ils exercent et à ses spécificités. Leurs activités ne se limitent pas à la facilitation d’accès à des données en lignes ou en mètres linéaires, elles sont complémentaires de celles des services communs de la documentation (SCD) et des différentes plateformes technologiques développées spécifiquement, comme HAL (Hyper articles en ligne) 6 créé par le Centre de communication scientifique directe du CNRS  7, ou encore Cairn-info  8, par Revues.org, par exemple. C’est pourquoi un groupe de travail s’est monté dans le cadre du réseau national Renatis  9 (voir encadré) afin de réfléchir à des indicateurs pertinents qui refléteraient les tâches extrêmement diverses et variées des personnels de l’IST dans les unités du CNRS.

Une grande disparité dans les structures

L’organisation des structures de l’IST dans le monde de la recherche, et plus particulièrement au CNRS, est en effet très hétérogène. Certaines structures se résument à un poste de travail informatique, d’autres nécessitent plusieurs bâtiments pour leur hébergement ; certaines sont très spécialisées, d’autres plus générales. L’on peut compter de nombreux agents dans l’une et n’en avoir qu’un seul affecté à un programme de recherche dans l’autre. Cette disparité est historique, elle est également liée aux moyens alloués, aux évolutions scientifiques, technologiques et administratives. Elle a un avantage car elle permet une proximité essentielle avec les chercheurs, les professionnels répondant ainsi au plus près des besoins de leur public, mais également les devançant parfois dans leurs attentes.

Comment fixer un bon indicateur ?

Il semble nécessaire pour bien comprendre la méthodologie suivie par le groupe de travail de rappeler quelques définitions. Qu’est-ce qu’un indicateur, pourquoi en avons-nous besoin, à qui va-t-il servir, comment le construire, quelle sera son utilisation ? Pouvoir répondre à toutes ces questions est indispensable pour établir la liste qui doit être retenue. La dernière question trouve très facilement sa réponse : un indicateur sert avant tout à vérifier si les objectifs ont bien été atteints, et cela avec un coût minimum. Il va donc être fixé en fonction d’objectifs déterminés à l’avance. Les indicateurs permettent aussi de photographier à un instant donné la situation d’un service ; dans le temps, ces mêmes indicateurs peuvent évaluer l’évolution de ce service. La norme ISO 11620 définit un indicateur comme étant une « expression servant à caractériser des activités en termes quantitatifs et qualitatifs afin d’en déterminer la valeur, accompagnée de la méthode de calcul associée 10 ». Un indicateur est un outil d’aide à la décision pour l’administration ou les tutelles. Il va permettre, par exemple, d’aider à la décision d’embaucher ou pas, ou encore d’attribuer des fonds à une action spécifique. Il permet de rendre compte d’une activité, de l’utilité de cette activité, de la nécessité de la conserver, c’est donc un outil de pilotage non négligeable.

C’est également un outil interne qui permet de vérifier que l’on a atteint ses objectifs, de détecter ses points faibles afin de les améliorer, ses points forts afin de les conserver. C’est encore un outil de valorisation de son travail et donc de reconnaissance. Il est donc très important que les indicateurs choisis soient tous compréhensibles par tout un chacun, directement liés aux objectifs fixés, quantifiables, atteignables et pertinents.

Par ailleurs, un indicateur seul ne vaut rien car il faut expliciter le contexte dans lequel il intervient. Il doit être associé à d’autres indicateurs pour permettre une vision globale d’un service ou d’une activité. De plus, il convient de garder en mémoire qu’un indicateur évolue dans le temps. Certains peuvent se révéler à l’usage moins pertinents, car le contexte change, ou encore difficiles à relever, et nécessiteront d’être remplacés. Ils devront donc être suivis dans le temps et donner lieu à des tableaux de bord.

Un indicateur pour un objectif

Un indicateur est lié à un objectif fixé. Cet objectif doit faire l’objet d’une description sous forme de processus. Un processus décrit l’enchaînement complet et logique d’une activité. Les procédures, elles, décrivent toutes les actions qui concernent un processus donné. Chaque procédure comporte un objet, le domaine d’application concerné, la description de la procédure ainsi que la liste des documents associés (comme par exemple un règlement intérieur). On peut disposer à la fois de procédures communes et de procédures spécifiques, sachant qu’il faut privilégier si possible les procédures collectives. La norme ISO 9000  11 décrit le processus ainsi : « Toute activité ou ensemble d’activités qui utilise des ressources pour convertir des éléments d’entrée en éléments de sortie… »

À partir de ces définitions, la méthodologie à suivre pour le groupe de travail était toute tracée. Après avoir fait un état de l’art de la question afin de voir si le groupe ne s’engageait pas dans un travail déjà fait, les activités de chacun de ses membres ont été décortiquées sous forme de questionnaire. De même, les attentes ont été recensées. Cette démarche a permis au groupe de dégager quatre grandes thématiques rassemblant un nombre d’activités communes à l’ensemble des professionnels de l’IST du CNRS. Ces activités font actuellement l’objet d’études afin d’en dégager à chaque fois les procédures réunies sous un processus. Dans chaque cas, le groupe pointe les endroits où il est possible d’évaluer l’action en cours et donc d’intégrer un indicateur, ce qui en génère dans un premier temps un très grand nombre. Il conviendra ensuite de déterminer les indicateurs pertinents, c’est-à-dire de ne conserver que ceux qui sont absolument nécessaires.

Réaliste et contraignant

Un bon indicateur doit être à la fois réaliste et contraignant. Si l’objectif est, dès le départ, trop difficile à atteindre, l’indicateur est faussé car impossible à tenir. Par contre, il n’a aucune valeur s’il est trop facile à atteindre. Il faudra sans doute aussi éliminer ceux qui entraînent des effets pervers, susceptibles d’interprétations divergentes. Une fois cette liste d’indicateurs établie, il sera nécessaire de rédiger pour chacun d’entre eux une fiche explicative, puis de les tester. D’abord sur un petit échantillon, le groupe de travail, puis en l’élargissant à des collègues bien disposés afin d’obtenir un nombre de résultats suffisant. À partir de là, il faudra éventuellement réajuster les indicateurs, revoir les fiches et tester à nouveau ceux qui auront été modifiés. La dernière étape consistera en la rédaction d’un livret à destination des professionnels de l’information scientifique et technique du CNRS. Notre objectif sera atteint et notre indicateur positif si ces professionnels adoptent et utilisent ces indicateurs et nous font part de leur retour ou des manques qu’ils détecteraient, et également si nos tutelles valident ce travail.

C’est donc dans le même esprit de la norme ISO 11620 que le groupe de Renatis se propose de définir des indicateurs appropriés aux spécificités des structures IST de la recherche. Cette démarche rejoint les réflexions menées par l’Association of Research Libraries (ARL) 12, et notamment son questionnaire LibQUAL+  13, soutenue en France par la Ligue des bibliothèques européennes de recherche (Liber) 14 et l’Association des directeurs et personnels de direction des bibliothèques universitaires et de la documentation (ADBU) 15.