L’évaluation des collections des bibliothèques de l’Upec (ex-Paris 12) a été une étape préalable à la rédaction du plan de développement des collections (PDC). Ce compte rendu d’expérience décrit la démarche mise en œuvre, des prérequis nécessaires pour mener une évaluation des collections à la rédaction d’un premier niveau de PDC par discipline. Il permet d’aborder les conséquences tangibles de l’évaluation sur le travail quotidien des acquéreurs et la dimension stratégique d’un tel plan dans le contexte de « défléchage » des budgets qu’impose la loi relative aux libertés et responsabilités des universités.

Evaluating library collections at UPEC (formerly Université Paris 12) was a key step in drawing up plans to develop the collection (PDC, plan de développement des collections). This article describes the process, from the requirements necessary prior to evaluation to drawing up an initial level of development plan for each field of study. It looks at the impact of the evaluation process on the daily routine of acquisitions staff and the strategic aspects of such plans in a context of de-ring-fencing of budgets as imposed by the new law on rights and responsibilities of universities (LRU, loi relative aux libertés et responsabilités des universités), which devolves financial responsibility to individual universities.

Die Evaluierung der Bestände der Upec-Bibliotheken (ehemals Paris 12) war eine der Ausarbeitung des Bestandsentwicklungsplans PDC (oder plan de développement des collections) vorausgehende Phase. Dieser Erfahrungsbericht beschreibt den Umsetzungsprozess, notwendige Vorbedingungen zur Durchführung einer Evaluierung der Bestände bis zur Ausarbeitung einer ersten Stufe des Bestandsentwicklungsplans nach Fachgebiet. Er ermöglicht die Auseinandersetzung mit den greifbaren Konsequenzen der Evaluierung bei der täglichen Arbeit der Erwerber und dem strategischen Ausmaß eines solchen Plans im Rahmen der „Umverteilung“ der finanziellen Mittel, die das Gesetz über die Autonomie und Eigenverantwortung der Universitäten fordert.

La evaluación de las colecciones de las bibliotecas de la Upec (ex-Paris 12) ha sido una etapa previa a la redacción del plan de desarrollo de las colecciones (PDC, plan de développement des collections). Este informe de experiencia describe la andadura de ejecución, de los prerrequisitos necesarios para llevar una evaluación de las colecciones a la redacción de un primer nivel de PDC por disciplina. Este permite abordar las consecuencias tangibles de la evaluación sobre el trabajo cotidiano de los compradores y la dimensión estratégica de un tal plan en el contexto de “deflechaje” de los presupuestos que impone la ley relativa a las libertades y responsabilidades de las universidades.

C’est dans le cadre du projet de rédaction d’un plan de développement des collections (PDC) que la question de l’évaluation s’est posée comme un préalable au sein du service commun de la documentation (SCD) de l’université Paris-Est Créteil Val-de-Marne (Upec), ex-Paris 12.

Se doter d’un plan de développement des collections dans le cadre de l’Upec – université pluridisciplinaire avec, notamment, une faculté de médecine et un IUFM (institut de formation des maîtres), et université multisite – se révélait indispensable. Le SCD compte, en effet, douze bibliothèques intégrées et cinq bibliothèques associées. Disposer d’un tel plan, décliné par disciplines, permet d’assurer la continuité du développement des collections et le suivi de l’évolution des achats, de justifier et d’assumer les choix documentaires. De plus, la dimension stratégique d’un tel plan est à prendre en compte dans le contexte de « défléchage » des budgets qu’impose la nouvelle loi sur les responsabilités et compétences élargies des universités  1.

L’évaluation des collections est la première étape d’un travail permettant l’appropriation des collections par les acquéreurs. Elle sert de support à la rédaction, au suivi et à l’évolution du plan de développement des collections.

Conditions préalables au lancement du projet

L’expérience s’est déroulée d’avril à juin 2009. Mais, dès le printemps 2008, au moment de l’élaboration du projet d’établissement 2009-2012 de l’université, le PDC a été inscrit comme un axe fort du volet documentaire du projet d’établissement.

Quelques préalables indispensables ont permis de démarrer rapidement ce projet :

• Dès 2006  2, la bibliothèque de droit a été pilote en la matière en se dotant d’un PDC. Ce travail a permis de s’appuyer sur une méthodologie éprouvée et de proposer un travail frontal portant sur l’ensemble des collections du SCD.
• Une charte documentaire du SCD  3, validée en conseil de la documentation en mars 2008, a tracé les axes fondamentaux de la politique documentaire. Toutefois, si la charte s’est avérée être un bon outil de communication sur les grands principes de notre politique, elle n’est pas suffisamment précise pour guider le travail des acquéreurs.
• La description de quasiment tous les documents possédés par le SCD dans le SIGB Aleph 500 (système intégré de gestion de bibliothèques développé par la société Ex-Libris), avec la migration des données des centres documentaires de l’IUFM en juillet 2008, a permis de disposer d’une unicité des sources et d’un traitement statistique cohérent.
• Le signalement, à partir de décembre 2007, dans notre SIGB, de l’ensemble des titres de revues électroniques payantes ainsi que d’une grande partie des revues open source, à partir de la base de connaissance de notre résolveur de liens (SFX de la société Ex-Libris), a permis de prendre en compte tous les types de documents.

Nous disposions ainsi d’éléments suffisants pour envisager une évaluation de l’ensemble de notre collection documentaire, livres imprimés, périodiques imprimés, ressources électroniques, payantes ou gratuites.

Les objectifs poursuivis

Deux objectifs ont sous-tendu notre démarche :

• Le premier a été de favoriser, par ce travail demandé autour des plans de développement des collections, l’appropriation par les acquéreurs d’un véritable outil de travail, les amenant à observer la physionomie actuelle de leurs fonds et à en identifier les points forts et les lacunes en fonction des publics et des enseignements. Le travail collaboratif entre acquéreurs doit s’en trouver facilité car les complémentarités entre supports et entre disciplines émergent.
• Le deuxième objectif a été la nécessité de disposer, dès septembre 2009, d’un PDC de « premier niveau », par grands secteurs disciplinaires et pour tous les supports, afin de formaliser des demandes budgétaires argumentées vis-à-vis de l’université.

Un groupe de travail restreint (composé de trois personnes) 4 s’est réuni à partir de janvier 2009 pour élaborer, en collaboration avec la responsable de la mission informatique documentaire, une méthodologie de travail qui allait impacter tous les acquéreurs. À chaque étape du processus, les acquéreurs ont été associés aux travaux. Dans un contexte d’acquisitions fortement décentralisées, le processus était certes lourd, mais il a conditionné la réussite à terme du projet.

Quels critères pour évaluer les collections ?

Les critères retenus pour l’évaluation des collections ont été : la volumétrie de la collection, son âge, la langue, l’usage et le volume d’acquisitions.

Pour permettre une analyse complète, nous avions également besoin de disposer de données sur les publics : niveau (licence, master, doctorat), nombre d’étudiants par discipline, nombre de chercheurs et d’enseignants-chercheurs par discipline. Nous avons aussi décidé de considérer le niveau intellectuel de notre collection.

La collecte de ces données a porté en grande partie sur les données du SIGB pour les collections de livres et de périodiques sur support papier. Concernant les ressources électroniques, nous nous sommes appuyés sur les données des éditeurs. Pour une meilleure connaissance du nombre et du niveau des usagers par filière d’enseignement, le service scolarité de l’université a été sollicité.

Notre première préoccupation a été de disposer d’une liste de cotes validées partagée par tous les acquéreurs du SCD. Cette première étape a permis aux acquéreurs des différentes bibliothèques qui partagent les mêmes disciplines d’unifier les pratiques de cotation. Ce travail de concertation a permis de modifier certains usages en place.

Par la suite, sur la base de cette liste de cotes validées, un travail de segmentation intellectuelle de la collection des livres a été mené avec les acquéreurs. Il s’agissait de disposer de segments regroupant un nombre suffisant de livres pour donner du sens à notre travail statistique. Un segment pouvait regrouper plusieurs indices aux thématiques liées.

C’est donc sur cette segmentation des secteurs disciplinaires qu’allait ensuite reposer l’évaluation quantitative et qualitative des collections, les plans de développement des collections et l’élaboration de tableaux de bord de suivi. Cette notion de segmentation, entre la cotation fine et la discipline, a permis de disposer d’une étude sur un volume de données exploitables quel que soit le lot considéré.

Les livres imprimés

La relative jeunesse de la collection de livres (nous n’avions pas, par exemple, de fonds en attente de rétroconversion) nous a permis d’envisager d’emblée une évaluation quantitative complète de la collection, la quasi-totalité des exemplaires étant décrit dans un SIGB unique. Le travail a porté sur près de 190 000 notices de monographies et sur plus de 310 000 exemplaires.

Le groupe de travail a construit une trame pour l’évaluation des collections de livres, avec une série d’indicateurs ventilés selon cinq axes : volumétrie, langue, âge, usages, acquisitions.

À partir des extractions de données du logiciel de production de statistiques du SIGB (logiciel ARC), chaque acquéreur devait travailler sur un premier niveau global de la discipline dont il avait la charge, puis calculer les éléments statistiques par segment.

Ainsi, pour chaque acquéreur, les rapports suivants ont été produits :

• huit rapports pour les acquisitions (nombre de titres et d’exemplaires acquis en 2007 et 2008, nombre de titres et d’exemplaires éliminés en 2007 et 2008) ;
• deux rapports pour l’âge des collections (âge moyen, âge médian des collections en libre accès) ;
• deux rapports pour la langue des collections (pourcentage des différentes langues des collections en libre accès) ;
• dix rapports pour les usages des collections (nombre de prêts 2007 et 2008, nombre de livres jamais empruntés sur cinq ans, « Top 100 » des emprunts, nombre de prêts pour deux mois test) ;
• quarante rapports pour la volumétrie (pour chaque indice, nombre de titres et d’exemplaires par statut de prêt – empruntable ou pas – et par emplacement – libre accès ou magasin).

Il s’est agi ensuite de construire, à partir de ces rapports, des documents de synthèse chiffrés, qui ont été réalisés par les acquéreurs entre mi-mars et fin avril 2009. Les procédures de manipulation des données des tableaux, assez complexes, ont demandé une formation des acquéreurs et la rédaction d’un cahier de consignes pour aider à l’obtention des résultats. Au final, un tableau récapitulatif par segment a permis de définir les grandes lignes directrices en matière d’acquisition, de politique de communication et de conservation.

Les ressources électroniques payantes, bases de données et périodiques

La première évaluation par discipline et par niveau a eu lieu au printemps 2009 (voir figures 1 et 2). Les données utilisées venant de SFX et des statistiques des éditeurs n’ont pas impliqué de travail pour les acquéreurs, le travail a été réalisé par les deux responsables des ressources électroniques et de la mission informatique documentaire.

La méthode d’évaluation a été de croiser l’indexation matière existante des revues et bases de données électroniques (fournie par la base des connaissances du logiciel SFX) avec les rapports « Counter  5 » des éditeurs de ressources électroniques, le pivot de la comparaison étant l’ISSN  6 de la revue. Ceci a permis la production d’un tableau détaillant le titre de la revue, son champ disciplinaire ainsi que le nombre de consultations de chaque revue en 2008.

En compactant ensuite ces données, il a été possible d’établir un taux de consultation pour chaque discipline. Le tableau ainsi réalisé nous a permis de présenter de façon très synthétique chaque base de données, en qualifiant sa discipline, son niveau intellectuel, son taux de consultation et son prix.

Nous disposons donc d’un tableau qui sera remis à jour tous les ans, et qui permet de constater, outre le coût croissant de la documentation électronique, le poids relatif de chaque discipline et le niveau (majoritairement « recherche ») de la collection proposée.

Les périodiques imprimés

Malgré de longues heures de travail complexe, à essayer de croiser des données issues de notre SIGB et de l’interface web de notre fournisseur, il s’est avéré finalement que les données obtenues n’étaient pas suffisamment fiables pour faire l’objet d’une réelle évaluation. Nous avons donc renoncé pour 2009 à une évaluation systématique fine, au-delà de la connaissance par chaque acquéreur du nombre de titres souscrits dans sa discipline et de l’enveloppe financière correspondante.

La rédaction du plan de développement des collections

Un premier niveau de rédaction du PDC par discipline a été réalisé par les acquéreurs entre avril et juillet 2009.

À partir d’un plan de rédaction fourni par le groupe de travail, des résultats du travail statistique des acquéreurs et du tableau récapitulatif par segment, nous avons demandé aux acquéreurs de rédiger chacun le PDC par discipline. Le souhait du groupe de travail était d’inciter les acquéreurs à ne pas se limiter aux livres papier, mais d’intégrer dans leur réflexion les périodiques papier et les ressources électroniques, même de manière moins approfondie.

Cette première étape est réalisée. Elle ne correspond pas à proprement parler à une version définitive, qui devra adopter une logique plus globale que la logique des segments disciplinaires. Cependant, dans la continuité du travail d’évaluation, il était important que chacun s’approprie la démarche et l’intègre dans son travail au quotidien, même si la synthèse de documents nombreux et très détaillés sera complexe. Nous nous interrogeons aujourd’hui sur le niveau de finesse de la partie rédactionnelle pour permettre d’expliciter nos choix documentaires en direction des usagers.

D’autres actions en cours pour compléter l’évaluation

Attribuer un niveau intellectuel aux collections

Nous souhaitions évaluer qualitativement la collection sur son niveau intellectuel. Nous en avons défini trois : « Enseignement », « Recherche », « Textes » (ce dernier niveau pour les codes juridiques, les textes littéraires, etc.). Cette information a été rendue obligatoire dans un champ de la notice pour toutes les notices entrées dans le catalogue à partir de janvier 2009.

Pour le rétrospectif, une injection automatique de cette indication de niveau a été faite le plus largement possible dans l’ensemble du catalogue du SCD, puis les acquéreurs ont été sollicités pour compléter manuellement les notices restées « sans niveau ».

Pour injecter automatiquement le niveau dans les notices, nous avons utilisé successivement les informations suivantes : pour le niveau « Enseignement », nous avons exploité les sous-catalogues existants, « Manuels » et « Références ». Nous avons identifié les éditeurs et les collections propres à chaque niveau : par exemple, ont été « tagués » en niveau « Enseignement » les collections telles que « Cursus » ou « Que sais-je », les éditeurs tels que Bordas, Foucher, Ellipses, etc.

Pour le niveau « Textes », les documents ont été repérés par des méthodes extrêmement variées, comme par exemple l’exploitation de certaines particularités de la cotation CDU (classification décimale universelle) pour les textes littéraires, certaines informations récurrentes dans les notices bibliographiques (par exemple, le mot « roman » dans le sous-titre), ainsi que par identification des grandes collections de textes (du type « Pléiade » ou « Collection des universités de France », etc.).

Pour le niveau « Recherche », le codage a été réalisé sur les notices comportant des mots clés, notamment « colloques », « congrès », « mélanges », ainsi que les notices du sous-catalogue « Thèses » (construit sur une requête booléenne) 7.

Ensuite, toutes les notices « sans niveau » ont été extraites du SIGB, découpées par secteur disciplinaire et fournies aux acquéreurs concernés pour renseigner le niveau intellectuel (travail actuellement en cours).

À ce jour, plus de 60 % des exemplaires des ouvrages du SCD (près de 200 000 exemplaires) ont ainsi pu recevoir l’indication du niveau intellectuel.

Évaluer l’usage des revues libres

Jusqu’à présent, toutes les revues contenues dans les bouquets de revues libres de la base des connaissances de SFX étaient versées dans le catalogue. Une première analyse succincte du taux de consultation pour 2008 a démontré que, si les revues libres francophones étaient très consultées, les revues libres de langue anglaise l’étaient beaucoup moins. En conséquence, il a été demandé aux acquéreurs d’opérer une sélection des revues libres anglophones qui leur semblaient pertinentes, en cohérence avec les axes forts déterminés dans leur PDC, et en s’appuyant sur les secteurs très présents dans les enseignements ou la recherche de l’université.

Grâce à ce travail de sélection, seules 700 revues libres de langue anglaise ont été versées dans notre catalogue, au lieu des milliers précédemment signalées. Elles sont donc davantage mises en valeur, et les acquéreurs ont commencé d’intégrer dans leur travail les ressources électroniques gratuites, jusque-là presque totalement ignorées par eux. Une évaluation du taux de consultation de ces revues est prévue mi-2010, suivie d’un nouvel ajustement de l’offre.

Conséquences sur le travail des acquéreurs

La création de tableaux de bord

L’une des évidences qui ressort de l’expérience est qu’il faut très fortement articuler acquisition et désherbage. Le groupe de travail a donc proposé deux modèles de tableaux de bord, destinés à mettre en pratique, dans le quotidien du travail, les principes théoriques présents dans les plans de développement des collections. À compter de janvier 2010, il a été demandé à chaque acquéreur de tenir deux tableaux de bord : l’un concerne le suivi des acquisitions, l’autre le suivi du pilon.

Le tableau de bord « suivi des acquisitions » permet à chaque acquéreur, en début d’année, de ventiler son budget en fonction des segments qu’il a identifiés comme prioritaires, à renforcer, à maintenir ou à réduire. Il est destinataire par courriel à fréquence régulière (tous les mois ou deux mois à sa convenance) des listes des acquisitions (en cours ou achevées) extraites de notre SIGB, pour chacun des budgets disciplinaires dont il a la responsabilité, afin de suivre finement, par segment, ses acquisitions dans le tableau de bord.

Le tableau de bord « suivi du pilon » permet de suivre, pour chaque segment, le nombre de titres et d’exemplaires pilonnés au cours de l’année.

Cohérence, continuité et coopération

Plusieurs réunions et séances de travail ont été programmées durant tout le processus d’évaluation et de rédaction de PDC. Elles ont permis de partager et de confronter les pratiques. Ce travail devrait permettre d’assurer la cohérence et la continuité du travail d’acquisition et d’élimination malgré les changements ou absences de personnel.

Cette expérience a permis de confronter les acquéreurs à leurs propres pratiques, de les amener à travailler de façon moins intuitive et plus formalisée, et de mieux prendre en compte l’évolution des enseignements et de la recherche de notre université et ses conséquences sur les achats dans chaque discipline.

Les acquisitions documentaires sont à juste titre considérées comme un « cœur de métier » pour les bibliothécaires. Au-delà de l’incantation, le travail sur l’évaluation permet aux acquéreurs de considérer la totalité de la collection, quel que soit le support, de peser les conséquences intellectuelles et financières des achats disciplinaires dans leur globalité, de s’adapter aux évolutions des enseignements. On touche là, grâce à ce travail, à la reconnaissance d’une légitimité sur ce cœur de métier, via une explicitation qui passe par une analyse complète et partagée des pratiques et de la gestion des évolutions.

Vers une évaluation continue des collections

L’évaluation continue des collections est un processus que nous voulons mettre en place via les outils de suivi. C’est une forme d’assurance, pour les acquéreurs, que le budget qui leur est attribué tient compte d’une évaluation régulière de la collection, et repose sur des critères explicités et partagés. Elle permet, de plus, de formaliser des demandes sur des secteurs disciplinaires précis, et de justifier ces demandes avec des critères validés et clairs.

Mais ce travail présente un autre enjeu, celui-ci politique et stratégique. En effet, l’attribution des budgets se fait, à l’Upec, en grande partie sur des projets. Il n’est plus possible d’attendre maintenant une dotation comme une évidence, le contexte du « défléchage » des crédits implique une remise en question profonde de l’attribution des crédits accordés à la documentation au sein de l’université.

C’est ainsi que le travail d’évaluation nous a permis d’obtenir, en plus du budget courant, près de 50 000 euros supplémentaires en 2009 au titre du « plan licence », en nous appuyant sur une identification des titres les plus empruntés dans les segments les plus sollicités pour les étudiants en licence, pour lesquels nous avons décidé de multiplier le nombre d’exemplaires de manière conséquente.

Il nous a également conduits à alerter le Conseil scientifique sur les conséquences du poids financier croissant des ressources électroniques, et à travailler à des pistes de financements supplémentaires. Ce travail nous permet ainsi d’asseoir une légitimité au sein de l’université et de débattre des enjeux de la documentation au niveau politique en dépassant l’éternel débat sur les horaires d’ouverture.

Enfin, il est important de souligner que ce travail d’évaluation des collections s’inscrit dans un processus plus large, puisque le SCD a réalisé en avril 2009 l’enquête LibQUAL+ qui mesure la satisfaction des usagers. Il participe donc pleinement à la démarche qualité défendue par l’Upec dans son projet d’établissement 2009-2012.

Au-delà de l’université, l’existence du pôle de recherche et d’enseignement supérieur (PRES) 8 Paris-Est dessine une nouvelle carte documentaire. Le groupe métier « documentation » du PRES travaille d’ailleurs depuis fin 2008. La construction progressive d’une politique documentaire université Paris-Est, qui est un axe du travail de ce groupe, se construira en partie sur un travail inspiré de ces évaluations.

Avril 2010