Techniques d'évaluation des ressources documentaires des bibliothèques universitaires
Après quelques remarques terminologiques et méthodologiques et un examen comparé de la littérature francophone et anglophone, on passe en revue les techniques d'évaluation des collections. Elles sont classées en quatre catégories. 1° L'évaluation par les normes tant qualitatives que quantitatives, ainsi que par des formules - telles que la formule de Clapp et Jordan - et par l'emploi de listes bibliographiques standard. 2° L'évaluation par les statistiques conventionnelles et par l'emploi d'indicateurs de performance qui intègrent les données statistiques dans des modèles systémiques. Les modèles discutés sont ceux de Hamburg, Orr, Buckland et Saracevic. 3° L'évaluation qualitative, tant subjective - par enquête directe auprès des utilisateurs ou par des consultants extérieurs - qu'objective, fondée sur des études bibliométriques. 4° L'évaluation du rapport coût-efficacité, conformément à la loi des rendements décroissants, illustrée par Bradford et de nombreuses études récentes d'utilisation de la documentation. On conclut après cet inventaire comparatif des techniques en usage qu'il n'existe pas de modèle idéal.
After a few terminological and methodological remarks and a comparative review of the French and English literature, collection evaluation techniques are discussed. They are grouped into four classes : 1° Evaluation by both qualitative and quantitative standards ; evaluation by formulas such as the Clapp and Jordan one and by the use of standard bibliographic lists. 2° Evaluation by conventional statistics and by the use of performance indicators which integrate the statistical data in systemic models. The models discussed are those of Hamburg, Orr, Buckland and Saracevic. 3° Subjective qualitative evaluation using users' surveys or external consultants ; objective qualitative evaluation based on bibliometric studies. 4° Cost-effectiveness evaluation according to the law of diminishing returns as illustrated by Bradford and numerous recent studies of literature use. After this comparative inventory of the techniques of collection evaluation, we have come to the conclusion that there is no ideal model.
Un colloque organisé par l'AUPELF sur le thème « l'évaluation des services des bibliothèques universitaires » s'est déroulé à l'Université de Nice, du 29 novembre au 2 décembre 1982. La communication présentée ci-dessous constitue l'un des rapports généraux d'introduction au thème du congrès.
Remarques préliminaires
Evaluer c'est mettre en rapport une situation de fait à un moment donné et un objectif visé, qu'il soit considéré comme objectif minimal, moyen ou maximal. « L'évaluation n'est possible que lorsqu'il existe un ou plusieurs objectifs explicites, en fonction desquels une situation de fait peut être mesurée » (Ménard, 1978, p. 101).
Une des difficultés de l'évaluation des services de bibliothèques universitaires réside dans le fait que leurs objectifs, même quand ils sont explicites, demeurent souvent à un haut niveau de généralité et à long terme, interdisant toute mesure, donc incompatible avec les exigences d'une évaluation scientifique. Rares sont en effet les objectifs à court terme, se prêtant à la mesure, du genre : atteindre en 1983 une capacité de communication de 50 % des documents requis par les utilisateurs en 24 heures, par exemple.
Des objectifs de ce genre sont pourtant nécessaires si l'on veut que l'évaluation ne soit pas un exercice stérile, se limitant à une macro-évaluation, capable seulement de dresser un constat. C'est par l'analyse des échecs et des écarts entre les objectifs visés et les résultats obtenus que l'évaluation peut devenir un instrument précieux de gestion. Elle atteint alors le stade de microévaluation, capable de diagnostiquer les faiblesses et de déboucher sur des actions correctives 1.
L'évaluation des ressources documentaires ne constitue qu'une composante, une facette, du processus global d'évaluation des performances de la bibliothèque étudiée. La collection d'une bibliothèque universitaire - bien que ressource fondamentale - ne représente qu'un sous-système dont le rendement est largement tributaire de celui des autres sous-systèmes et des interactions de l'ensemble de leurs éléments en vue de réaliser un but commun ultime. Celui-ci peut être exprimé en termes d'exposition accrue des utilisateurs aux ressources documentaires, ou plus généralement, en termes de réduction du taux de frustration des utilisateurs, ou encore - et cela revient au même - d'augmentation du taux de leur satisfaction en matière de documentation.
Les techniques d'évaluation des ressources documentaires d'une bibliothèque universitaire dépendent dans une large mesure de la nature de l'université (polyvalente, spécialisée), des disciplines enseignées, de l'envergure des enseignements, et surtout de son âge et de la proportion des activités de recherche. En effet, on ne peut pas évaluer de la même manière une jeune université qui ne compte que quelques années d'existence et une autre qui a atteint un âge respectable. Il en est de même pour la place occupée par la recherche : une université où la recherche est inexistante n'a pas les mêmes besoins en ressources documentaires qu'une université prestigieuse, centre d'excellence dans un ou plusieurs domaines, où la recherche occupe une place de choix.
Examen de la littérature
La littérature professionnelle de langue française concernant l'évaluation des services de bibliothèques est extrêmement pauvre. Les quelques publications recensées dans les bibliographies sont très récentes. Elles se limitent souvent à des études statistiques, à des réflexions à caractère normatif, à des traductions et très rarement à des comptes rendus d'évaluations effectives. Il existe cependant de la « littérature grise » sur la question. Au Québec, par exemple, de nombreuses études d'évaluation ont été menées, mais la majorité d'entre elles n'ont pas été publiées et les rapports internes les concernant sont difficilement accessibles.
Les études les plus connues en la matière sont :
- L'enquête statistique générale auprès des bibliothèques universitaires (ESGBU). Le Bulletin des bibliothèques de France en publie régulièrement la synthèse des résultats. Cette enquête réalisée pour la première fois en 1976 pour 1974, a été conçue avec le souci de contribuer à améliorer l'analyse et l'évaluation par chaque bibliothèque universitaire de son activité et de sa gestion.
- L'étude établie par Withers pour le compte de l'UNESCO sous le titre Normes pour l'établissement des services de bibliothèques : enquête internationale. Ce livre consacre un chapitre aux normes relatives aux bibliothèques d'université et d'autres établissements d'enseignement post-secondaire et un autre aux normes pour les services de bibliothèques - publiques, universitaires, etc. - dans les pays en voie de développement. Dans le premier on trouve une foule de données quantitatives et qualitatives relatives aux collections des bibliothèques universitaires alors que le dernier chapitre se limite à fournir un cadre général où sont formulés des principes de base.
- L'évaluation de l'efficacité de la bibliothèque de collège : une approche systémique. Cette étude, publiée à Montréal en 1978, passe en revue les méthodes d'évaluation de la capacité des bibliothèques à fournir les documents demandés par les utilisateurs et rend compte de deux évaluations menées par un groupe de travail sur l'évaluation des bibliothèques de collège :
1) Evaluation de l'efficacité de 5 bibliothèques collégiales à satisfaire les requêtes documentaires connues et exprimées par la clientèle (selon le modèle de Saracevic).
2) Etude statistique de la circulation des volumes de psychologie à la bibliothèque du Collège de Maisonneuve (selon le modèle de Morse).
- La traduction française des Principes directeurs pour l'évaluation des systèmes et services d'information de Lancaster, publiée par l'UNESCO en 1978. Ce document comble une grande lacune dans la littérature d'expression française dans le domaine.
Contrairement à la littérature francophone, les publications en langue anglaise sur l'évaluation sont très abondantes. Pour s'en rendre compte, il suffit de jeter un coup d'œil sur les bibliographies qui suivent les articles de Annual review of information science and technology ou sur celles que mentionne Lancaster dans ses Principes directeurs et dans un ouvrage plus complet The measurement and evaluation of library services.
La partie réservée à l'évaluation des ressources documentaires dans ces études est variable. La bibliographie des Principes directeurs de Lancaster, à titre d'exemple, se présente comme suit :
1) Bibliographie sur l'évaluation : 2 références
2) Evaluation, généralités : 6 références
3) Evaluation des collections des documents : 29 références
4) Evaluation des services de communication des documents : 10 références
5) Evaluation des catalogues des bibliothèques : 8 références
6) Evaluation des services de réponse aux questions : 9 références
7) Evaluation des activités de recherche bibliographique : 41 références
8) Evaluation des index imprimés : 11 références
9) Evaluation des services techniques : 22 références
10) Evaluation des rapports coût-efficacité et coût-avantage : 59 références
11) Evaluation des systèmes internationaux d'information : 1 référence
12) Indicateurs statistiques de transfert de l'information : 7 références
Dans un article de synthèse publié en 1974, George Bonn cite pas moins d'une centaine d'études consacrées à l'évaluation des ressources documentaires, dont une vingtaine ont un caractère méthodologique dominant, alors que les autres constituent essentiellement des comptes rendus d'expériences d'évaluation de collection.
Bonn passe en revue les techniques les plus souvent utilisées, essentiellement aux Etats-Unis, pour évaluer les ressources documentaires des bibliothèques. Si on ajoute à ces techniques celles présentées par Lancaster dans les deux études citées plus haut, on aboutit à une grande variété de techniques dont l'évaluateur peut choisir celles qui répondent le mieux aux besoins de l'étude. Ces techniques peuvent être regroupées en quatre grandes catégories : l'évaluation par les normes, l'évaluation par les statistiques (statistiques conventionnelles et indicateurs de performance), l'évaluation qualitative (subjective et objective) et l'évaluation coût-efficacité.
L'évaluation par les normes
On se réfère souvent à des normes quand il s'agit de planifier ou d'évaluer des services de bibliothèques. A côté des normes stricto sensu, promulguées par des organisations nationales et internationales de normalisation, il existe une grande variété de documents à caractère normatif : principes directeurs, directives, recommandations, etc.
Les normes de bibliothèques et autres documents assimilés sont très controversés. Contrairement aux normes industrielles, les normes de bibliothèques ne sont que des modèles à suivre, elles ne constituent pas de codes exécutoires (cf. Lancaster, p. 283). Elles sont davantage le produit d'une pratique professionnelle empirique que le résultat d'une recherche scientifique.
Quand elles définissent les services de bibliothèques tels qu'ils devraient être et non tels qu'ils sont, on leur reproche d'être idéalistes. Mais quand elles sont modestes, minimales, on les soupçonne de freiner le développement des services de bibliothèques, parce que mal interprétées, elles justifieraient la médiocrité.
On leur reproche, par ailleurs, d'être concernées par la mesure des ressources et non pas par celle des services fournis. Or, l'évaluation des bibliothèques doit être axée sur la satisfaction de l'utilisateur et non pas sur les ressources qui, en elles-mêmes, ne sont que des moyens à mobiliser pour atteindre l'objectif final.
En dépit de toutes ces limites, les normes présentent-elles quelque intérêt pour l'évaluation des collections ? Quelle valeur faut-il attacher aux normes dans ce domaine ?
Il est certainement plus facile d'établir des normes de construction de bibliothèques et d'espace que des normes de collections, les paramètres anthropométriques étant universellement les mêmes alors que les besoins documentaires sont très variables. Withers admet qu'il est extrêmement malaisé d'établir des normes pour les collections de bibliothèques universitaires, tant les dissemblances sont grandes entre les universités - et entre leurs bibliothèques - du point de vue de la gamme des études et des recherches qui y sont menées. Cette difficulté est encore plus grande dans le cas d'établissements où une grande proportion des enseignements et des recherches est d'un niveau élevé. Autrement dit, il est plus difficile d'établir des normes minimales pour les collections de bibliothèques d'universités où des programmes de doctorat sont développés que pour celles appartenant à des universités où les enseignements ne dépassent pas le niveau de la licence. Le critère de classement le plus pertinent - du point de vue des normes de collections - est la part que consacrent les universités et leurs bibliothèques à la recherche.
« Une fois la part faite des différences de fonctions, de dimensions et de niveau, les normes définies pour les bibliothèques d'universités et d'autres établissements d'enseignement supérieur apparaissent très semblables tant qu'elles consistent en considérations générales sur le rôle, les structures, (...) les collections (...) et les bâtiments. Comme on peut s'y attendre, en revanche, les normes proprement quantitatives ayant trait aux fonds de livres, aux autres collections et aux effectifs présentent de grandes différences » (cf. Withers, p. 36).
On ne saurait assez mettre en garde contre l'utilisation des normes dans un contexte autre que celui qu'elles concernaient expressément. On peut, bien sûr, envisager de doter chaque bibliothèque universitaire américaine d'une collection de deux millions de volumes ou plus, mais quelle serait la valeur d'une telle « norme » pour une bibliothèque universitaire africaine par exemple ?
Normes qualitatives
Les normes qualitatives, moins précises et moins controversées que les normes quantitatives, se présentent sous forme de principes ou d'objectifs 2. On y trouve quelques indications utiles concernant l'esprit dans lequel il faut constituer, gérer et évaluer les collections des bibliothèques universitaires. Les principes et objectifs suivants, cités par Withers, sont empruntés aux Standards for college libraries développés en 1959 par 1'« Association of college and research libraries » des Etats-Unis :
« Les collections doivent répondre à tous les besoins des étudiants préparant le premier grade universitaire et leur être aisément accessibles. Elles doivent aussi satisfaire les demandes des étudiants poursuivant des études de niveau supérieur dans toutes les disciplines où l'établissement octroie un grade de master. La bibliothèque devra aussi offrir aux enseignants toutes les publications qui leur sont nécessaires pour se tenir au courant des derniers progrès des connaissances et pour accroître leur qualification professionnelle. Compte devra aussi être tenu des programmes d'études individuelles qui pourraient être organisés.
En sus des publications se rapportant directement ou indirectement aux programmes d'études, les collections devront comprendre les grands ouvrages classiques qui représentent l'héritage de la civilisation, ainsi que des livres de parution récente susceptibles de stimuler la curiosité intellectuelle des étudiants et de satisfaire leur besoin de lecture récréative.
La bibliothèque devra posséder une collection complète et à jour d'ouvrages de référence et de bibliographies faisant autorité et portant sur les principaux domaines du savoir ; et elle ne devra pas se limiter à acquérir des ouvrages ayant un rapport avec le programme d'enseignement et des publications en langue anglaise.
Les périodiques devront être choisis de façon à servir au travail des étudiants et aux recherches des étudiants avancés et des professeurs ; ces derniers devront aussi y trouver des informations sur les progrès intervenant dans leur spécialité et il faudra aussi acheter des revues de caractère général et récréatif dont la lecture soit susceptible de stimuler la réflexion personnelle. Des journaux nationaux, régionaux et locaux, ainsi que les principaux journaux étrangers, devront être mis à la disposition des lecteurs. Divers points de vue politiques devront être représentés.
Le droit du bibliothécaire de choisir des ouvrages présentant tous les aspects de questions controversées ne devra pas être mis en cause.
Il ne faudra pas acquérir sans raison valable, au détriment de la qualité de la collection, des titres figurant déjà dans le fonds, mais la bibliothèque devra disposer d'un nombre suffisant d'exemplaires des ouvrages présentant un intérêt permanent ou actuel.
Les publications périmées et les exemplaires usés devront être régulièrement retirés du fonds, après consultation des enseignants. Une politique des dons devra être définie et les ouvrages donnés devront normalement être intégrés dans la collection (...)
L'importance des collections sera, dans une large mesure, fonction de l'envergure et de la nature des enseignements, du nombre et du caractère des programmes d'études de niveau supérieur, des méthodes pédagogiques, des effectifs d'étudiants du premier et du deuxième cycle (à plein temps ou inscrits à des cours périuniversitaires), des besoins des professeurs en publications spécialisées difficiles à se procurer dans les bibliothèques de recherche de la région. » (cf. Withers, p. 64 et 65).
Ces normes recommandent par ailleurs de tenir des statistiques du prêt, de relever les références des ouvrages qui n'ont pu être fournis, d'analyser la nature des prêts entre bibliothèques et d'initier les étudiants à l'utilisation des ressources de la bibliothèque. Ce sont des indications générales, certes, mais très utiles pour un bibliothécaire qui cherche à rationaliser la gestion de sa collection et à en maximiser le rendement.
Normes quantitatives
Les chiffres cités dans les différents documents à caractère normatif n'en présentent pas moins quelque utilité, si on les utilise avec discernement. Ils peuvent servir de points de repère quand on ne dispose pas d'autres moyens pour planifier le développement de la collection ou pour la comparer à d'autres collections similaires.
Quelques normes nationales
En République fédérale d'Allemagne, un rapport datant de 1964 recommande pour les nouvelles bibliothèques universitaires un fonds initial de 5 000 titres de périodiques, une collection d'ouvrages de référence et les manuels de base en nombre suffisant. Un fonds initial global de 300 000 volumes est jugé nécessaire pour que le recours à l'extérieur reste dans les limites de 25 % des besoins des utilisateurs. Une nouvelle bibliothèque universitaire ne peut fonctionner normalement qu'à partir de 600 000 volumes. Dans ce dernier cas, elle pourrait satisfaire vraisemblablement 90 % des besoins 3.
« Le nombre des étudiants inscrits à l'université n'est pas, en Allemagne, une considération déterminante : la politique d'acquisition de la bibliothèque tient le plus grand compte de la double fonction d'enseignement et de recherche de l'université, et sont donc achetés non seulement les livres nécessaires aux étudiants, mais aussi les publications et la documentation qui sont utilisées par les chercheurs. L'effectif des étudiants n'a pas à être pris en considération dans le deuxième cas, et c'est seulement pour la constitution des collections de manuels qu'on doit le faire intervenir. La politique consistant à établir une relation entre les dépenses d'acquisition, le personnel de la bibliothèque et le budget total de l'université n'est concevable que dans les établissements où les services de bibliothèque forment une entité. Tel n'est pas le cas dans les universités actuelles de l'Allemagne de l'Ouest ». (Wissenschaftsrat, rapport cité par Withers, p. 45).
Un autre rapport, établi en RFA en 1972 par un groupe de travail sur la planification des bibliothèques de cinq nouvelles universités polyvalentes en Rhénanie et Nord-Westphalie, recommande des chiffres plus élevés que les précédents. Ces recommandations présentent, par ailleurs, l'avantage de définir le volume du fonds initial par discipline enseignée.
« En ce qui concerne les collections de base, les besoins d'acquisition seront les mêmes pour les cinq bibliothèques, mais ils différeront dans le cas des publications spécialisées suivant les disciplines principales enseignées à l'université et selon la proportion d'étudiants faisant les études courtes ou longues. Les ouvrages de base devant figurer dans les cinq bibliothèques sont répartis ainsi : lettres, 250 000 volumes ; sciences sociales, 100 000 ; sciences exactes et naturelles, 50 000 ; sciences de l'ingénieur, 40 000 ; ouvrages de caractère général, 100 000. Soit un total de 540 000 volumes. » (Zwischenbericht, cité par Withers, p. 49).
Il est proposé que chaque bibliothèque dispose finalement de 800 000 volumes (au lieu des 600 000 volumes recommandés précédemment).
Les auteurs de ce rapport - tel qu'il est résumé par Withers - ne semblent pas avoir eu beaucoup de préoccupations au sujet du coût de l'opération. En effet, en dehors de motifs d'autonomie, il ne semble pas que le développement de cinq collections « jumelles » soit économiquement justifié, vu le voisinage de ces cinq universités et donc les potentialités de coopération et de complémentarité.
Au Canada, un rapport publié en 1964 par l'Association canadienne des bibliothèques universitaires et de collèges (sigle anglais CACUL), propose la démarche suivante :
- Pour les livres, un nombre minimal est fixé ; au-delà de ce minimum, une relation est établie entre le nombre des ouvrages et celui des étudiants : a) minimum : 100 000 volumes. Ce chiffre devrait être augmenté de 200 volumes par étudiant de niveau supérieur à la licence jusqu'à ce que l'application de la norme b donne un total plus élevé ; b) 75 volumes par étudiant à plein temps.
La norme de 75 volumes par étudiant représente la moyenne des chiffres observés en 1963.
- Pour les périodiques : le volume moyen de la collection des périodiques va de 1 000 titres pour 1 000 étudiants à 7 250 titres pour 7 000 personnes.
Là aussi, il s'agit de moyennes observées à la même époque.
D'autres normes recommandent que le budget d'une bibliothèque universitaire ne soit pas inférieur à un certain pourcentage du budget total de l'établissement dont elle dépend (5 à 10 %) et que cette proportion soit plus élevée dans des institutions de création récente.
En conclusion, ces normes supposent que les collections propres à chaque bibliothèque universitaire doivent satisfaire tous les besoins des étudiants du 1er cycle et répondre au plus grand nombre possible, qu'on situe autour de 90 %, des demandes des autres catégories d'utilisateurs.
Formules quantitatives
Plusieurs auteurs ont tenté de définir, par des formules mathématiques plus ou moins complexes, le nombre de volumes qu'une bibliothèque universitaire doit compter en fonction de divers paramètres, dont le nombre d'étudiants, celui des professeurs, le nombre de programmes d'enseignement par niveau, etc.
L'une des formules les plus connues est celle proposée par Clapp et Jordan. Cette formule peut être exprimée de la manière suivante :
V=50 750+ 100F+ 12E+ 12H+335U
+ 3050M + 24 500D
V= Volumes
F=Nombre d'enseignants (faculty)
E = Etudiants inscrits (enrolled)
H = Etudiants de 1er cycle (honors)
U = Programmes de 1er cycle
(Undergraduate subjects)
M = Programmes de 2e cycle (master)
D = Programmes de doctorat
Les faiblesses de cette formule résident dans le fait qu'elle ne prend pas en considération la différence entre les besoins d'un étudiant en histoire et ceux d'un élève-ingénieur, par exemple. Elle ne tient pas compte, non plus, des différences d'accroissement et de vieillissement de la littérature d'un domaine à l'autre.
Listes standard
Une technique fort simple d'évaluation des collections consiste à définir dans quelle mesure la collection évaluée couvre la documentation recommandée par une liste standard. Une liste standard est une liste bibliographique qui recense à l'intention de bibliothèques d'un même niveau (1er cycle généralement) les titres de base dans le domaine d'étude de ces bibliothèques. Des listes de ce genre sont publiées dans certains pays, par des associations de bibliothécaires ou d'autres associations professionnelles (de médecins, de juristes, etc.) ou par d'autres organismes, chargés de l'accréditation d'établissements d'enseignement supérieur.
Ces listes n'ont d'intérêt que pour les bibliothèques auxquelles elles sont destinées. Elles permettent alors d'établir la proportion dans laquelle la collection évaluée, ou quelques-unes de ses composantes (ouvrages de référence, périodiques, etc.) contiennent les titres recommandés. Même dans ce cas, leur utilisation comme instrument d'évaluation n'est pas sans comporter quelque risque. En effet, si les mêmes listes utilisées pour l'évaluation ont servi préalablement pour le choix et l'acquisition, quel crédit pourra-t-on accorder aux résultats obtenus ? Enfin, last but not least, l'évaluation par l'emploi de listes standard passe sous silence les titres qui font partie de la collection - quelle que soit leur valeur - et qui ne figurent pas sur les listes.
Deux conditions doivent être remplies pour que ces listes aient quelque utilité : qu'elles soient limitées à des collections de base de premier cycle et qu'elles soient constamment révisées et tenues à jour.
En conclusion, l'évaluation par les normes ne présente qu'un intérêt limité. Ces normes se présentent sous forme de règles qualitatives et surtout quantitatives établissant les ressources minimales en documents. Leur principal inconvénient est qu'elles ne sont pas tournées vers l'utilisateur, mais vers les ressources. Les normes actuelles ne permettent pas une évaluation significative de la qualité des services offerts aux utilisateurs d'une bibliothèque universitaire.
L'évaluation par les statistiques
Les ressources documentaires sont des objets tangibles qui se prêtent à l'observation directe et à la manipulation statistique. S'il y a des chiffres que les statistiques de fonctionnement des bibliothèques universitaires n'omettent pas de citer, ce sont bien les chiffres qui concernent la collection. Ces statitisques sont de valeur inégale et ne donnent que rarement une image complète et cohérente de la collection, de sa composition, de son taux d'accroissement ou de renouvellement, et des autres traits qui la caractérisent. La physionomie de la collection ne peut être tracée et son développement ne peut être traduit par les chiffres que si on établit au préalable la liste de tous les paramètres qui doivent être mesurés périodiquement et sans la moindre ambiguïté. Les unités de mesure de la collection sont-elles le mètre linéaire, le volume, le titre, l'article ou le chapitre, la page, le mot... ? Faut-il distinguer entre unité physique et unité bibliographique ?
Que convient-il de mesurer ? La capacité potentielle de la collection d'une bibliothèque universitaire à satisfaire l'usager ou la satisfaction réelle de celui-ci ? Dans le premier cas, on mesurera des ressources, pour juger du degré d'excellence de la collection, alors que dans le deuxième cas, ce sera l'expertise du bibliothécaire qui sera mesurée et sa façon d'organiser ses ressources documentaires (cf. Reicher). Dans le premier cas, on se contentera de collecter des statistiques brutes, ce sont les statistiques conventionnelles de fonctionnement des bibliothèques. Dans le deuxième cas, on tentera d'intégrer les statistiques collectées dans des modèles plus ou moins élaborés - pour aboutir à des indicateurs de performances.
Les statistiques conventionnelles
Si les statistiques conventionnelles sont abondantes, elles ne sont pas toujours faciles à exploiter. Elles pèchent souvent par manque de cohérence ; c'est ainsi que l'objet compté varie d'une bibliothèque à l'autre et même au sein de la même bibliothèque d'une année à l'autre. Tantôt on compte des volumes, tantôt des titres. Certaines statistiques distinguent les brochures, les rapports, les thèses, les brevets et les publications officielles, alors que d'autres les incluent dans les deux principales catégories : les monographies et les périodiques. Alors que des statistiques répartissent les prêts par type de documents, par sujet et par catégorie d'utilisateurs, d'autres ne fournissent que des chiffres globaux répartis par mois 4. On donne une année des chiffres concernant les abonnements en cours, les abonnements suspendus et les nouveaux abonnements et on oublie l'année suivante de fournir les statistiques correspondant à ces trois aspects. On donne parfois le quotient de duplication de la collection 5 pour les monographies et les périodiques et on ne donne d'autres fois que le quotient global.
Pour que les statistiques puissent servir de base à tout projet d'évaluation, il faut qu'elles soient cohérentes d'une année à l'autre au sein de la même bibliothèque et qu'elles soient comparables avec celles que dressent les bibliothèques similaires.
En dehors de la cohérence des unités utilisées, la fiabilité des statistiques se vérifie par l'absence d'erreurs arithmétiques et la compatibilité des résultats avec le fonctionnement de la bibliothèque.
Les statistiques conventionnelles sont compilées au sujet de nombreux paramètres.
Le volume global de la collection est souvent exprimé en volumes pour les monographies, en titres et en volumes pour les périodiques et en unités physiques pour les cartes, les microformes et les documents audiovisuels. L'ESGBU donne en plus l'état de la collection de livres, de périodiques et de thèses et mémoires par mètre linéaire, ainsi que le pourcentage des fonds mis en accès direct 6. L'état global de la collection permet de « situer » rapidement la collection. Quantité n'est certes pas toujours synonyme de qualité, mais dans ce domaine, on a observé aux Etats-Unis et on peut l'observer ailleurs, une certaine corrélation entre le volume de la collection et la qualité de l'institution universitaire. Cette qualité peut être mesurée par la réputation de l'université, par ses publications et celles de son, corps enseignant, par le nombre de doctorats et autres diplômes supérieurs qu'elle décerne, par le nombre de découvertes qui peuvent lui être attribuées, par le nombre de prix Nobel et médailles Field ayant couronné l'effort de son corps enseignant, etc.
Il n'y a pas de doute que toute autre condition étant égale par ailleurs (mais comment s'en assurer ?), une bibliothèque qui dispose d'un million de volumes a une capacité supérieure à répondre aux besoins de ses usagers à celle d'une autre qui n'en a qu'un demi-million.
Certes, la gestion de la collection est au moins aussi importante que son volume. Une collection de taille modeste, développée rigoureusement par des professionnels compétents, peut rendre d'énormes services. Mais il est un seuil minimal, qui, non atteint, provoque la pénurie documentaire empêchant la bibliothèque universitaire de remplir sa mission. Ceci semble être le cas de plusieurs bibliothèques africaines. De l'enquête menée par Bousso en Afrique francophone, il ressort que les bibliothèques universitaires africaines qui comptent 100 000 volumes ou plus constituent quelques exceptions rarissimes. Seule la bibliothèque de l'Université d'Alger a dépassé le cap du demi-million de volumes 7.
Les fonds des bibliothèques universitaires africaines, dont il est question dans le rapport mentionné plus haut, ne sont pas tous aussi pauvres du point de vue de la qualité que de celui de la quantité. Mais d'une manière générale, aux limites quantitatives, viennent s'ajouter les faiblesses qualitatives suivantes :
- Vieillissement : les collections ne se renouvellent pas assez vite, les publications spécialisées récentes n'y sont pas suffisamment représentées.
- Doubles : des ouvrages en 10, 20, voire même en 50 exemplaires occupent inutilement les rayons alors que des ouvrages de référence de base, tant généraux que spécialisés, font souvent défaut.
- Tendance à l'accumulation plutôt qu'à la constitution d'un fonds cohérent régulièrement mis à jour en fonction des besoins des utilisateurs.
Le volume global de la collection est un indice insuffisant, son complément naturel est le taux d'accroissement annuel 8. En effet, une collection qui ne se développe pas, ou du moins qui ne se renouvelle pas, perd de sa valeur 9. Dans les bibliothèques où on pratique une politique d'élagage des collections, le chiffre absolu des nouvelles acquisitions est plus significatif que le taux d'accroissement qui, lui, tient compte des éliminations 10.
Aussi bien le volume global de la collection que l'accroissement annuel peuvent être répartis par type de supports et par sujets. L'analyse par supports et par sujets peut révéler des déséquilibres ou du moins des tendances à la rupture de l'équilibre antérieur. Ces tendances, si elles ne vont pas dans le sens souhaité, alerteront le bibliothécaire et pourront provoquer une action corrective.
Des statistiques concernant les dépenses courantes et la répartition de ces dépenses par nature (abonnements, livres, etc.) et par domaine d'étude peuvent refléter l'appui financier dont bénéficie la collection. Ces données, traduites en pourcentages et comparées ensuite aux proportions des ressources documentaires par sujet et par type de supports, permettent de voir quels sont les secteurs de la collection qui se développent le plus et ceux qui périclitent.
Les statistiques du prêt ont un intérêt très particulier parce qu'elles expriment une bonne partie de l'utilisation effective 11. Des statistiques de prêts répartis par supports, par sujets et par catégories d'utilisateurs permettent de montrer aux instances directrices de l'université dans quelle mesure la bibliothèque sert sa clientèle. L'étude du prêt en fonction de l'âge des documents est un exercice particulièrement fructueux. Il permet, entre autres, d'identifier les documents qui ne sont pas demandés, ceux qui ne le sont que rarement et ceux qui sont très fréquemment utilisés. Ces données peuvent guider le bibliothécaire pour l'élimination de certaines parties de la collection, l'achat d'exemplaires supplémentaires de publications très « populaires », etc. L'étude du prêt des acquisitions récentes, disons celles des 2 à 5 dernières années, peut servir de test pour juger la politique d'acquisition de la bibliothèque.
La comparaison des proportions de prêts enregistrés par domaine d'étude, d'une année à l'autre, avec les proportions du fonds relatives au même domaine, constitue un autre moyen pour vérifier si la politique d'acquisition est adéquate ou non.
Un facteur d'utilisation de la collection correspondant au rapport volumes prêtés (plus si possible volumes consultés sur place) sur le nombre total de volumes de la collection, ou d'une classe en particulier, permet de mesurer l'intensité d'utilisation de la collection ou de la fraction en question. Ce facteur d'utilisation peut alerter le bibliothécaire s'il constate que certaines parties de la collection sont extrêmement utilisées, alors que d'autres dorment sur les rayons.
Un des avantages fondamentaux de l'automatisation des bibliothèques est de permettre l'obtention de statistiques extrêmement fines, tenues constamment à jour. Les bibliothèques où les acquisitions et le prêt sont automatisés peuvent obtenir automatiquement, le cas échéant, des corrélations entre ces deux éléments et ajuster ainsi les acquisitions en fonction du prêt 12.
Des statistiques, qui seraient pourtant d'une extrême utilité, ne sont guère tenues par les bibliothèques universitaires : demandes non satisfaites (d'habitude, on ne garde pas de traces des échecs, il n'y a enregistrement que s'il y a transaction), volumes perdus, volumes retournés avant la fin de la période du prêt, volumes rendus en retard, etc. Toutes ces indications seraient susceptibles d'aider le bibliothécaire à rationaliser davantage sa gestion de la collection.
Des statistiques sur le prêt interbibliothèque (PIB) sont aussi un adjuvant nécessaire à la bonne gestion de la collection. Aucune bibliothèque universitaire, quelle que soit la richesse de ses ressources, ne peut vivre en autarcie complète. D'ailleurs, ce sont les plus grandes bibliothèques qui empruntent le plus et prêtent le plus.
Comme le note Lancaster (p. 37), « l'évaluation de la communication des documents par l'intermédiaire des PIB est bien moins difficile à réaliser que l'évaluation de la communication des documents figurant sur les rayons d'une bibliothèque ; en effet, dans le premier cas, il existe une trace de chaque demande, tandis que, dans le second, il n'y a aucune trace, à moins d'entreprendre une enquête spéciale pendant une durée déterminée ».
En conclusion, en quoi les statistiques traditionnelles permettent-elles d'évaluer les collections des bibliothèques universitaires ? En dépit de l'avantage principal qu'elles présentent et qui réside dans la facilité relative de leur collecte et leur coût relativement réduit, les statistiques traditionnelles ne constituent pas à elles seules un moyen adéquat d'évaluer les collections d'une bibliothèque universitaire. Comme les normes, « elles considèrent presque exclusivement les ressources plutôt que les résultats ou les performances. En effet, ces statistiques traitent principalement du budget, du nombre de documents dans la collection, du nombre de volumes ajoutés annuellement, etc. Elles mesurent, par conséquent, les ressources qui n'expriment que la capacité potentielle d'une bibliothèque à assurer une certaine qualité de service et n'évaluent pas directement la qualité du service actuellement fourni à la clientèle » (cf. chap. « L'évaluation »).
Quelques indicateurs de performance
Adoptant une approche systémique, plusieurs chercheurs ont tenté d'intégrer les données statistiques conventionnelles, ainsi que les statistiques collectées ponctuellement lors d'enquêtes ad hoc, dans des modèles analytiques, susceptibles d'évaluer les performances des services documentaires étudiés. Parmi les indicateurs développés, quelques-uns portent sur la capacité de la collection de fournir les documents demandés par la clientèle. Ces demandes sont de deux types : celles relatives à des documents connus à l'avance par leur titre ou leur auteur et celles qui portent sur des documents qui ne sont pas connus a priori, relatifs à un sujet particulier.
« Exposition aux documents » de Hamburg
Hamburg a développé avec son équipe un indicateur extrêmement facile à calculer, appelé « exposition aux documents » (Hamburg et al, (1974) ). Considérant que l'objectif fondamental d'une bibliothèque consiste à maximiser l'exposition des utilisateurs à l'information contenue dans les ressources documentaires, la mesure de performance la plus adéquate est, selon Hamburg, le taux d'exposition effective des utilisateurs aux ressources documentaires de la bibliothèque.
L'exposition aux documents peut être directe ou indirecte. Une unité d'exposition directe est enregistrée chaque fois qu'un utilisateur consulte un document à la bibliothèque ou obtient un document en prêt à domicile, que le document provienne de la collection de la bibliothèque étudiée ou par la voie du prêt interbibliothèque. Une unité d'exposition indirecte est comptée chaque fois que le personnel de la bibliothèque consulte un document pour répondre à une question posée par un utilisateur. Toutes ces unités sont additionnées pour obtenir le nombre total d'expositions enregistrées au cours de la période considérée.
Un facteur de pondération peut être introduit pour tenir compte de la durée de l'exposition, l'unité de durée pouvant être l'heure ou la journée 13.
Que les données soient pondérées par la durée de l'exposition ou non, on aboutit à un chiffre global qui exprime le nombre d'expositions enregistrées ou le nombre d'heures d'exposition aux documents. Cette mesure globale est alors rapportée au nombre d'utilisateurs et au budget pour calculer le taux d'exposition par utilisateur et par unité monétaire dépensée.
Toutes les activités de la bibliothèque doivent être conçues, selon Hamburg, en fonction de l'exposition maximale des utilisateurs aux documents : horaires d'ouverture, volume de la collection, nombre d'exemplaires, accessibilité de la éollection, durée de la période du prêt, classement sur les rayons, accessibilité des catalogues, aide apportée aux utilisateurs, etc.
Mais le modèle de Hamburg ne constitue, en dernière analyse, qu'un modèle de macroévaluation. Il ne peut pas fournir des indications relatives aux échecs, ni par conséquent, servir d'instrument diagnostique permettant d'étudier les problèmes existants qui affectent le taux d'utilisation d'une bibliothèque et d'améliorer son rendement.
En dépit de ses limites, le modèle de Hamburg n'en a pas moins des mérites dont l'un des plus importants est d'assigner à la bibliothèque un objectif valable qui se prête facilement à la mesure : l'exposition des utilisateurs à l'univers des ressources documentaires.
L'expression « exposition aux documents » dénote, par ailleurs, une attitude dynamique, bien plus en tout cas que celle suggérée par la notion d'accessibilité. Quand on définit les objectifs d'une bibliothèque en termes de maximisation de l'accessibilité des ressources documentaires 14, on met l'accent sur celles-ci, la bibliothèque se contentant alors de rendre les ressources disponibles, alors que la maximisation de l'exposition aux documents est un objectif qui met l'accent sur l'utilisateur.
Les deux aspects constituent, certes, les deux faces d'une même médaille. La bibliothèque est en dernière analyse une interface entre la communauté des utilisateurs et l'univers des ressources documentaires. L'objectif de la bibliothèque est de maximiser l'exposition des utilisateurs à ces ressources en améliorant l'accessibilité de celles-ci.
Notons enfin que la notion de maximisation est une notion qu'on a tendance à abandonner pour celle, plus réaliste, d'optimisation 15.
« Capacité de livraison de documents » de Orr
Cet indicateur cherche à mesurer la proportion des documents demandés - ou plus exactement susceptibles d'être demandés -par les utilisateurs et le temps mis par la bibliothèque pour fournir chaque document demandé.
Cette approche est basée sur le principe qu'une bibliothèque a pour objectif principal de communiquer le plus rapidement possible les documents demandés par les utilisateurs.
Orr a constitué un échantillon probabiliste de 300 références bibliographiques à partir des références citées dans des travaux récents, rédigés par les utilisateurs des bibliothèques évaluées. Cet échantillon est représentatif de l'ensemble des références citées par les auteurs quant à l'âge des documents, la langue dans laquelle ils sont écrits, leur forme, etc.
Une fois la batterie de tests constituée, chaque référence fait l'objet d'une recherche dans les fichiers de la bibliothèque à évaluer pour déterminer si le document correspondant existe dans la collection ou non. Si le document existe dans la collection, on doit mesurer la vitesse de sa livraison.
Le test consiste en fait à répondre aux deux questions suivantes :
1) Quelle proportion des documents de l'échantillon fait partie de la collection ? (C'est un test de couverture)
2) Quel est le degré de disponibilité de chaque document communiqué ?
Pour mesurer ce degré de disponibilité, Orr a établi une série de cinq cotes de rapidité (t) correspondant à cinq vitesses possibles de livraison des documents, basées sur une échelle exponentielle :
1) t<101 Moins de dix minutes
2) 101<t<102 Entre 10 et 100 minutes (ou deux heures)
3) 102<t<103 Entre deux heures et un jour
4) 103<t<104 Entre un jour et une semaine
5) t > 104 Plus d'une semaine
La première vitesse (moins de 10 minutes) correspond à un document immédiatement disponible sur les rayons, la dernière vitesse (plus d'une semaine), à un document devant faire l'objet d'un prêt interbibliothèque, par exemple, alors que les valeurs moyennes correspondent à des situations diverses : document disponible mais se trouvant dans un magasin éloigné, document disponible, mais il faut attendre qu'il soit retourné par la personne qui l'a emprunté, document se trouvant à l'atelier de reliure ou en train d'être photocopié, etc.
A partir de la vitesse moyenne de livraison des documents, on peut calculer l'indice de capacité de livraison de documents de la bibliothèque, qui est égal à :
5 - Vitesse moyenne x 100 4
Ainsi, une note maximale de 100 signifierait que tous les documents demandés sont communiqués à la vitesse 1 (moins de 10 minutes).
Une variante - simplifiée - de ce test consiste à affecter à la collection un taux de couverture. Si la bibliothèque possède 200 documents des 300 de l'échantillon, son taux de couverture est de 0,66. Ensuite, on effectue une recherche sur les rayons pour établir le taux de disponibilité des documents sur les rayons. Supposons que sur les 200 documents, 150 seulement se trouvent sur les rayons, le taux de disponibilité est alors de 0,75. Le produit des deux taux constitue un indice de la capacité de livraison de documents de la bibliothèque. Dans cet exemple, l'indice est égal à : 0,66 x 0,75 = 0,49. La probabilité qu'un usager, venu à cette bibliothèque demander un document en particulier, trouve ce document dans la collection au moment où il en a besoin est de 49 %.
Le test de « capacité de livraison de documents » a été administré par Orr et son équipe dans 92 bibliothèques universitaires médicales aux Etats-Unis. Les résultats du test varient de 49 % à 94 %. Le taux de couverture des collections varie, quant à lui, de 57 % à 97 %.
Cet indicateur reflète la capacité de la bibliothèque à fournir les documents demandés par les usagers au moment où ils sont demandés. Il présente l'avantage d'être relativement facile à appliquer 16.
La faiblesse majeure de ce test vient du fait qu'il néglige toutes les autres utilisations de la collection où des livraisons de documents n'interviennent pas : questions posées au personnel de la bibliothèque, « bouquinage » (browsing) à travers les rayons de la bibliothèque, etc 17.
Une enquête basée sur les demandes effectives des utilisateurs, bien que plus difficile, est supérieure à la méthode de Orr. Elle exige beaucoup de coopération de la part des utilisateurs, mais elle permet de mesurer les échecs de la collection et de calculer le rapport réussites/échecs de livraison des documents requis par les utilisateurs pendant la période donnée 18.
Buckland, Lancaster et d'autres auteurs ont reproché à Orr, à juste titre d'ailleurs, d'avoir établi sa batterie de tests à partir des références citées par les utilisateurs des bibliothèques qu'il voulait évaluer, ce qui a rendu l'échantillon invalide. Ces références ont en effet toutes chances de provenir surtout des documents consultés dans les bibliothèques en question.
Enfin, comme l'indicateur de Hamburg, ce test ne permet pas de dresser une microévaluation de la qualité d'une bibliothèque, autorisant le diagnostic des échecs et pouvant conduire à des actions correctives susceptibles d'améliorer son rendement.
« Niveau de satisfaction » de Buckland
« Quelle que soit la méthode de test de communication de documents que l'on utilise, la partie la plus importante de l'évaluation est l'analyse des raisons de ces échecs (c'est-à-dire la microévaluation). Le test pourrait être utilisé pour identifier les catégories de documents dans lesquelles la collection est insuffisante et également pour identifier les lacunes spécifiques de la collection. On peut également chercher à déterminer pourquoi certains documents de la collection ne sont pas disponibles au moment où on les demande. Il est alors possible de concevoir des stratégies précises pour améliorer dans l'avenir la capacité de communication des documents d'un centre (par exemple en prévoyant d'acheter plusieurs exemplaires des documents les plus souvent demandés, ou en réduisant la durée des prêts pour les documents que l'on sait être très demandés) ». (cf. Lancaster, p. 32).
Buckland (1972) a entrepris avec son équipe, à l'Université de Lancaster en Grande-Bretagne, une évaluation qui répond à ces exigences.
Les demandes effectives de documents sont enregistrées pendant la durée de l'étude et le taux de réussite dans la communication des documents est mesuré. L'indicateur de performance établi intègre tous les paramètres qui influent sur la disponibilité des documents, tels que : la durée de la période du prêt, le nombre d'exemplaires d'un titre demandé, le nombre de volumes consultés sur place, la popularité d'un titre, exprimée par la fréquence de sa demande, la probabilité qu'un usager fasse réserver un volume non disponible au moment où il l'a demandé etc.
Le niveau de satisfaction enregistré à la bibliothèque de l'Université de Lancaster a été de 60 %, ce qui signifie que six usagers seulement sur dix obtiennent les documents demandés 19.
Des simulations sur ordinateur ont été effectuées pour mesurer l'impact d'actions correctives éventuelles. Chaque modification d'une variable quantifiée du modèle affecte plus ou moins considérablement la performance de la bibliothèque mesurée par le « niveau de satisfaction ».
La conclusion principale à laquelle Buckland a abouti est que la règle d'or en matière de gestion de collections doit être de varier la période du prêt et le nombre d'exemplaires d'un titre en fonction de sa popularité. Plus un document est demandé, plus la période de prêt doit être courte et plus le nombre d'exemplaires mis à la disposition des utilisateurs doit être élevé.
En dépit des avantages des microévaluations présentés par le « niveau de satisfaction », cet indicateur présente quelques inconvénients. Le plus grave de ceux-ci tient à la méthodologie fort complexe qu'exige le calcul de cet indicateur et au fait que l'enquête elle-même requiert la mobilisation de toute une équipe d'enquêteurs. Une autre faiblesse tient au fait que le « niveau de satisfaction » n'intègre pas de paramètres relatifs aux besoins non exprimés, ni au « bouquinage ».
« Frustration de l'usager » de Saracevic
Ce modèle, qui s'inspire du modèle précédent, est également un modèle de microévaluation. Mais, alors que Buckland se limite à mesurer la corrélation qui existe entre la politique du prêt et la disponibilité des volumes, Saracevic considère que la politique du prêt ne constitue qu'un facteur parmi tant d'autres qui sont responsables de la satisfaction ou de la frustration de l'utilisateur. Les variables identifiées par Saracevic sont au nombre de quatre : les acquisitions, la politique du prêt, le fonctionnement interne de la bibliothèque et le comportement même de l'utilisateur. Ces quatre facteurs peuvent être mesurés pour constituer des paramètres indicatifs de la qualité des services rendus par la bibliothèque.
Lancaster (p. 36) résume les différentes raisons d'échec, donc de frustration, de l'usager qui cherche un document en particulier, de la manière suivante :
Le document recherché :
1) ne figure pas dans la collection (échec de la collection) ;
2) figure dans la collection, mais n'est pas encore inscrit au catalogue (échec du traitement) ;
3) figure au catalogue, mais n'a pas été trouvé par l'usager (échec d'usage du catalogue) ;
4) a été trouvé dans le catalogue par l'usager, mais n'était pas disponible au moment voulu (échec de la communication des documents) ;
5) existe dans le catalogue et sur les rayons mais n'a pas été trouvé par l'usager (échec de la recherche de l'usager).
Les frustrations dues au service des acquisitions de la bibliothèque évaluée par Saracevic (Bibliothèque Sears de la Case Western Reserve University, Cleveland - Ohio) ont pour causes la lenteur des fournisseurs à livrer les documents commandés et les échecs du choix de documents, révélés par l'absence dans la collection de titres demandés par les utilisateurs.
Les causes de frustration de l'usager attribuées au fonctionnement interne de la bibliothèque tiennent surtout à la lenteur du traitement, au vol de documents et au mauvais classement de fiches dans les catalogues et de volumes sur les rayons (fiches et volumes classés aux mauvais endroits).
Quant aux motifs de frustration de l'usager dont il est lui-même responsable, ce sont essentiellement son inaptitude à se servir correctement des fichiers de la bibliothèque ou à trouver sur les rayons un volume classé à la bonne place.
Le niveau de satisfaction global des usagers de la bibliothèque évalué par Saracevic est établi à 48 %. Ce taux est fréquent dans les bibliothèques universitaires américaines où ce modèle a été appliqué. Au Québec, où ce modèle a été utilisé pour l'évaluation de cinq bibliothèques de Cégep (Collèges d'enseignement général et professionnel) en 1978, les résultats enregistrés varient de 35,1 % à 82,9 %.
Le modèle de Saracevic est certainement l'un des modèles de microévaluation les plus puissants, destinés à mesurer la capacité d'une bibliothèque à satisfaire - ou à frustrer - l'utilisateur.
Comme le modèle de Buckland, la « frustration de l'usager » de Saracevic est un modèle assez complexe. Son application requiert, en outre, un haut degré de coopération de la part des usagers 20 et la mobilisation d'une équipe d'enquêteurs qualifiés. Comme son prédécesseur aussi, le modèle de Saracevic ne tient pas compte des besoins non exprimés ni des exigences de « bouquinage » sur les rayons.
En conclusion, la plupart de ces indicateurs de performance tentent de répondre à la question suivante : « Lorsqu'un usager se présente à la bibliothèque pour rechercher un document donné, quelle est la probabilité pour que ce document soit obtenu au moment où il est demandé ? ».
Les modèles de Buckland et de Saracevic ont une supériorité manifeste sur les deux premiers, mais leur application est relativement difficile. Ils permettent, contrairement aux indicateurs de Hamburg et de Orr, de diagnostiquer les faiblesses des collections et de leur gestion et d'entreprendre des actions correctives.
Evaluation qualitative
Pas plus les normes que les statistiques conventionnelles et les indicateurs de performance ne fournissent d'indications relatives à la valeur qualitative de la collection.
Quels sont les critères à partir desquels on pourrait établir la valeur qualitative d'une collection ?
Deux approches sont développées dans la littérature :
- Une approche subjective, selon laquelle la valeur de la collection peut être estimée par les utilisateurs de la collection eux-mêmes ;
- Et une approche objective, selon laquelle la valeur de la collection doit être établie à partir d'études bibliométriques.
Evaluation subjective
Cette méthode est de loin la plus employée. L'évaluation peut être informelle, continue, sollicitée de temps à autre des utilisateurs à diverses occasions (discussions, réunions du conseil de la bibliothèque, plaintes, etc.) ou formelle, ponctuelle et planifiée. Dans ce deuxième cas, on distingue l'évaluation par enquête directe auprès des utilisateurs et celle effectuée par des consultants extérieurs.
L'évaluation par enquête directe auprès des utilisateurs
Une enquête directe auprès des utilisateurs portant sur l'évaluation de la collection ne doit pas être confondue avec une enquête d'opinion sur l'utilisation des services de la bibliothèque ayant pour objet de connaître les caractéristiques des utilisateurs et celles des non-utilisateurs des services de la bibliothèque.
Les bibliothèques universitaires ont l'avantage sur d'autres types de bibliothèques de compter parmi leurs utilisateurs des professeurs, des chercheurs et des étudiants au niveau du doctorat qui sont des spécialistes dans leurs domaines respectifs, capables d'analyser les faiblesses et les points forts des collections mises à leur disposition. L'opinion de cette catégorie d'utilisateurs doit être sollicitée de temps à autre sur la base d'une enquête par questionnaire et/ou par interview.
La deuxième catégorie d'utilisateurs, à savoir les étudiants de niveau inférieur - qui constituent après tout la grande majorité de la clientèle - ne doit pas être négligée non plus.
On peut établir un questionnaire très bref pour chacune de ces deux catégories et interviewer un échantillon représentatif des utilisateurs pour approfondir et expliciter certains aspects 21. Le questionnaire adressé aux professeurs et étudiants-chercheurs peut se limiter à quelques questions fermées où l'on demande, par exemple, de cocher, sur une échelle de valeurs, la case correspondant au niveau perçu par le répondant de la portion de la collection qu'il utilise régulièrement pour ses travaux et quelques questions ouvertes. Celles-ci peuvent porter sur les titres qui manqueraient, ceux qui auraient « vieilli » et devraient être éliminés de la collection et remplacés par d'autres plus récents, etc.
Des questions différentes portant sur la capacité de la collection de répondre à leurs besoins peuvent être posées aux étudiants des cycles élémentaire et moyen.
Ces enquêtes directes auprès des utilisateurs peuvent fournir - en dehors des opinions sur la qualité de la collection - des indications précieuses sur leurs besoins en documentation et révéler parfois des changements dans leurs centres d'intérêt, et donc un décalage entre les ressources et les besoins. Elles constituent ainsi un moyen de feedback, renvoyant au bibliothécaire l'image que l'utilisateur se fait de la collection et des principes de choix, d'acquisition, de duplication et de renouvellement sur lesquels repose sa gestion.
Cette méthode présente cependant de nombreuses faiblesses. Si les utilisateurs enquêtés ont eux-même participé à la constitution de la collection, ils seront portés à la juger trop favorablement. Si d'autre part, un utilisateur n'a que des besoins fort limités, ne dépassant jamais ce qu'il peut obtenir sur place, il sera porté à juger favorablement une collection, même si elle est médiocre. Un utilisateur résigné, habitué par sa bibliothèque de collège à ne trouver qu'une partie des documents qu'il cherche, sera agréablement surpris, une fois à l'université, d'obtenir plus souvent satisfaction et sera également porté à juger favorablement la collection de sa bibliothèque universitaire même si elle présente de grandes lacunes.
« Une enquête d'opinion n'est pas très utile pour diagnostiquer les états pathologiques des produits et des services documentaires. En effet, les usagers ne sont pas toujours capables de découvrir les lacunes existant dans les services offerts, encore moins d'identifier leurs causes. La technique du questionnaire peut être valable pour connaître les attitudes ou les perceptions de la clientèle à l'égard de la bibliothèque, mais elle demeure trop superficielle pour établir un diagnostic valide sur son efficacité et pour conduire à des améliorations significatives de sa performance » (cf. chap. « L'évaluation... »).
L'évaluation par des consultants extérieurs
Cette méthode nécessite l'intervention d'un ou de plusieurs consultants pour examiner la collection et juger de sa qualité. « Il est évident que le succès de cette méthode repose entièrement sur le savoir des individus qui ont pour mission de procéder à l'enquête. Ces experts doivent avoir une connaissance approfondie de la documentation existant dans les domaines que couvre la collection. En outre, ils doivent être très bien renseignés sur les besoins d'information de l'ensemble du public desservi par la collection. Il est difficile de trouver des individus qui soient pleinement compétents sur ces deux plans à la fois ». (cf. Lancaster, p. 27).
Si l'appel à des évaluateurs extérieurs permet d'éviter l'écueil de partialité qui risque d'entacher le jugement d'universitaires appelés à évaluer la collection de leur propre bibliothèque universitaire, cette méthode n'en demeure pas moins une méthode subjective qui partage avec la méthode précédente toutes ses autres faiblesses.
Etudes bibliométriques
Un mode d'évaluation moins subjectif, qui rappelle à plusieurs égards l'emploi des listes standard à caractère normatif, consiste à procéder à une étude bibliographique et bibliométrique de la documentation dans un domaine particulier en vue de sélectionner les références des « meilleurs » documents et de comparer le fonds de la bibliothèque avec les titres sélectionnés.
Si on veut évaluer la collection in toto, on peut examiner quelques ouvrages de référence faisant autorité, extraire les références qui font l'unanimité de leurs auteurs et voir dans quelle mesure la collection contient les documents leur correspondant. Cette technique n'est valable que s'il s'agit d'une collection du niveau du premier ou du deuxième cycle universitaire.
Quand il s'agit d'évaluer la qualité de la collection d'un niveau supérieur, il est recommandé de procéder par sujets ou domaines d'études. Une technique assez simple consiste à élaborer, à partir de synthèses bibliographiques récentes, une liste des références les plus citées et de comparer le fonds de la bibliothèque avec la liste établie 22.
On peut également dresser une liste des références citées par les auteurs de livres et d'articles récents, jugés très pertinents, et comparer le fonds de la bibliothèque avec cette liste. Une question à laquelle ce test peut répondre est la suivante : les auteurs de ces publications auraient-ils réussi à mener à bien leurs travaux, s'ils n'avaient disposé que des ressources de la collection étudiée ?
Pour l'évaluation des revues, on peut utiliser les listes de revues dépouillées par les services secondaires « majeurs », telles que celles qu'on trouve dans les différentes sections du Bulletin signalétique du Centre national de la recherche scientifique (CNRS), celles publiées dans les quatre séries de la Bibliographie internationale des sciences sociales ou la liste des revues dépouillées par les différents services secondaires membres d'ICSU/AB 23 (International council of scientific unions/Abstracting board).
« La liste des périodiques couverts par l'Index Medicus, par exemple, représente l'ensemble des publications médicales qui sont jugées les plus dignes de figurer dans un index par la National library of medicine (Etats-Unis). On peut utiliser une liste de ce genre comme norme pour estimer la valeur du fonds de périodiques d'une autre grande bibliothèque, ou pour comparer les collections respectives de deux ou plusieurs bibliothèques. Une liste de ce type peut également constituer un indicateur de la valeur documentaire globale des ressources bibliographiques d'un pays dans telle ou telle matière. Ainsi la valeur documentaire des ressources en périodiques médicaux existant, disons, au Mexique, pourrait être estimée d'après la proportion des titres cités dans l'Index Medicus que l'on trouve dans les fonds des bibliothèques de ce pays. Ce type d'évaluation des ressources disponibles dans un pays est particulièrement important lorsque celui-ci importe des services d'information automatisés sur ordinateur (par l'intermédiaire de services de bandes magnétiques ou de systèmes d'accès « conversationnel »). En effet, le danger apparaît alors de voir de tels systèmes de documentation automatique créer une demande de documents que les ressources nationales ne sont pas capables de satisfaire ». (cf. Lancaster, p. 27).
Des listes de revues classées par ordre d'importance sont plus utiles et beaucoup plus faciles à utiliser. Il existe plusieurs listes de ce genre - et il en existera certainement de plus en plus. On peut classer ces listes en trois catégories : celles qui classent les revues par ordre de productivité, celles qui les classent par ordre de citations reçues et celles qui les classent par ordre de popularité dans les bibliothèques. Ces dernières sont les moins nombreuses et n'ont qu'un intérêt local. Par contre les deux autres types de listes peuvent aider à juger de la valeur de la collection examinée.
Etude de productivité
Les listes de revues classées par ordre de productivité donnent par ordre décroissant de productivité les titres de revues de base (core journals) qui fournissent la plus grande proportion d'articles dans le domaine considéré. Les revues classées en tête de liste sont celles qui publient le plus d'articles, elles ne sont pas nécessairement celles qui ont le plus de mérite scientifique, mais on peut supposer qu'étant les plus prolifiques, il est probable qu'elles contiennent une bonne proportion d'articles de valeur 24.
Des listes de ce genre sont publiées, entre autres, par l'Institute for scientific information (ISI) de Philadelphie et par le Bureau des résumés de l'Union internationale des unions scientifiques (ICSU/AB). A titre d'exemple, la liste des revues de base en sciences de la vie, établie par l'ICSU/AB et publiée par l'UNESCO sous le titre de Core list ofjournals in the life science présente les caractéristiques suivantes :
Cette liste compte 1 350 revues. Ces revues contiennent à elles seules 80 % des articles couverts par Biological abstracts et Bioresearch index pendant les cinq années qui ont précédé la publication de la liste (1974-1978). La contribution de chaque revue à la littérature est indiquée de deux manières. Un pourcentage correspondant à son taux de couverture est calculé, il est égal au nombre d'articles relatifs aux sciences de la vie publiés dans la revue pendant la période quinquennale, divisé par le nombre total d'articles en sciences de la vie publiés dans les 1 350 revues de base, au cours de la même période, le quotient étant ensuite multiplié par 100. En se basant sur les pourcentages obtenus, on assigne à chaque revue un rang qui indique son importance relative en matière de production d'articles.
La valeur de l'indice de couverture de la collection des titres mentionnés dans une pareille liste est évidemment fonction de la valeur de la liste elle-même par rapport à la collection évaluée. Or, il n'existe pas de listes types valables pour toute espèce d'évaluation. Les besoins documentaires varient en effet considérablement d'une communauté d'utilisateurs à une autre, la barrière linguistique, le niveau d'études et de recherches, la définition donnée au domaine et la manière dont il est délimité, étant des facteurs déterminants. Si la liste est amendée en tenant compte des conditions locales de la bibliothèque évaluée, elle constituera un moyen d'évaluation plus adéquat. Mais modifiée, elle ne permet plus d'établir des comparaisons avec d'autres bibliothèques similaires.
Analyse des citations
La fréquence des citations reçues par les articles publiés dans une revue 25 n'est certainement pas le seul indice de la valeur de la revue en question. Elle fournit cependant un critère objectif de mesure.
Les listes de revues, classées par nombre de citations reçues, qui sont les plus connues et les plus élaborées sont celles publiées par l'ISI sous le titre de Science citation index - Journal citation reports et Social sciences citation index - Journal citation reports (JCR).
Parmi les questions auxquelles répondent les JCR, on peut citer les questions suivantes : combien de fois telle revue est-elle citée ? Quelles sont les revues qui la citent ? Quelles sont les revues qu'elle cite ? Quelle est sa productivité ? Quel est l'âge médian 26 (half-life) de la revue ? Quel est l'impact d'une revue (rapport des citations reçues sur le nombre des articles publiés par la revue) ? Quel est son impact immédiat (même rapport que le précédent mais pour la seule année en cours) ? Quel est son rang selon chacun de ces paramètres ? etc. (cf. Garfield).
Quel est l'intérêt de l'emploi des listes de revues classées par ces différents critères pour évaluer la qualité d'une collection ?
Les auteurs d'articles ne citent pas tout ce qu'ils lisent 27. La fréquence de citations ne dépend pas que du mérite scientifique des travaux cités. Le tirage de la revue, sa périodicité, le nombre d'articles qu'elle publie, la réputation de ses auteurs, etc. sont autant de facteurs qui entrent en ligne de compte.
Garfield lui-même a constaté que ce sont les revues les plus productives qui sont les plus souvent citées 28.
D'autre part, les lectures d'un auteur d'articles scientifiques - cités de surcroît - et celles d'un étudiant - surtout avant la licence - ne se confondent pas. Ceci explique le décalage observé entre la fréquence d'utilisation des revues dans les bibliothèques et celle des citations dont ces revues sont l'objet.
En conclusion, l'évaluation de la collection par les listes de ce genre n'est pas sans poser quelques problèmes. Ces listes ne doivent pas être utilisées sans tenir compte d'autres facteurs : circulation des documents dans la bibliothèque étudiée, caractéristiques (linguistiques et autres) des utilisateurs, etc.
L'évaluation de la collection par cette méthode juge la collection en fonction d'une batterie de tests qui constitue un standard d'excellence et non pas en fonction de l'usage effectif qui en est fait. Il s'agit en dernière analyse d'une macroévaluation qui ne permet pas de diagnostiquer en profondeur les échecs de l'usage de la collection.
Evaluation du rapport coût - efficacité
Toutes les techniques d'évaluation évoquées jusqu'ici se préoccupent de mesurer la collection, sa capacité à fournir les documents demandés par les utilisateurs, le degré d'excellence de la collection par rapport à des normes, à des listes bibliographiques ou à l'opinion d'experts. Toutes ces techniques ne disent rien du rapport qualité-prix ni de celui du coût-efficacité et encore moins du rapport coût-avantage ou coût-bénéfice.
Coût-efficacité et coût-bénéfice
Le rapport coût-bénéfice d'une collection ou de tout service d'information est pratiquement impossible à établir avec exactitude. Quelle valeur financière peut-on associer au bénéfice tiré de la lecture d'une revue scientifique ou d'un article d'une encyclopédie ? Urquhart illustre cet aspect par une image et un exemple frappants : « L'analyse des étapes de réflexion théorique et d'expérimentation qui ont conduit à la maîtrise de l'énergie atomique révèle qu'il n'est pas possible de déterminer les parts respectives revenant à l'information, dans l'accroissement de richesse réalisé, et à la recherche. On ne saurait donc attribuer une valeur monétaire à chacun des services d'information qui ont été utilisés. Cependant, la valeur totale de l'information fournie est supérieure à son coût, puisque sans elle, il n'y aurait pas eu de progrès. »
On peut comparer l'activité scientifique à un troupeau d'oies dont quelques-unes pondent parfois des œufs d'or. Impossible de prédire l'oie qui pondra de tels œufs, ni le moment où l'événement se produira. Les habitudes antérieures de l'oie ou ses ancêtres ne peuvent donner aucune indication. Tout ce qu'on sait, c'est que si l'on possède un certain nombre d'oies de l'espèce convenable et si on leur assure l'hébergement, la nourriture appropriée et de l'information en abondance, quelques-unes pondront des œufs d'or. Mais il est dans la nature des choses que l'on ne puisse déterminer immédiatement quels oeufs sont en or. En fin de compte, la valeur totale des œufs sera bien supérieure au coût total de l'entretien du troupeau d'oies. De fait, si l'on recherche la cause principale de l'accroissement de richesse, on constate bel et bien qu'il résulte, d'une part, des travaux de recherche et du développement, d'autre part de l'utilisation de l'information, sans qu'il soit possible de déterminer les proportions respectives.
Bien que l'on puisse citer des exemples d'information ayant permis de réaliser des économies, de tels cas sont rares. Le point essentiel est que l'information n'est pas une marchandise divisible en éléments dont chacun aurait une valeur donnée. Il n'est donc pas possible d'invoquer des considérations strictement économiques pour déterminer les modalités d'un programme relatif à l'information. « L'homme de l'information » est fort différent de l'homo economicus (cf. La politique..., 1976, p. 6).
Si l'évaluation coût-avantage ou coût-bénéfice des services d'information est pratiquement impossible, qu'en est-il de l'analyse du rapport coût-efficacité ou du rapport qualité-prix 29 ?
L'évaluation du coût-efficacité des ressources documentaires consiste à étudier la mesure dans laquelle les crédits consacrés à l'acquisition des ressources documentaires et à leur gestion sont répartis de manière à en maximiser le rendement. « L'objectif idéal du coût-efficacité serait la situation dans laquelle on pourrait dire que chaque unité monétaire du budget affectée d'une certaine manière ne pourrait produire un meilleur rapport (c'est-à-dire un service plus important et meilleur) si on la répartissait de quelque autre manière » (cf. Lancaster, 1978, p. 68).
L'étude du coût-efficacité vise donc à établir des seuils de rentabilité, à connaître le « juste prix », conformément à la loi des rendements décroissants. Or, comment peut-on mesurer le rendement d'une collection ? Il semble que la seule mesure significative soit celle de l'utilisation qui en est faite.
De nombreuses études du prêt et d'autres modes d'utilisation des ressources documentaires montrent que les ressources sont utilisées conformément à une distribution hyperbolique appelée distribution de Bradford-Zipf où une faible proportion des ressources, constituant le noyau dur de la collection, est très fréquemment utilisée, alors que les autres fractions de la collection se constituent en zones de plus en plus étendues et de moins en moins utilisées.
Loi de Bradford-Zipf
La loi de la dispersion de Bradford a été largement commentée, critiquée, appliquée et développée par de nombreux auteurs. Cette loi concerne la dispersion des articles pertinents à une question scientifique à travers un grand nombre de périodiques. Si on classe ces périodiques ou sources par ordre décroissant de productivité, on obtient une liste de sources qu'on peut diviser en zones 30 dont chacune contient un nombre égal d'articles. Bien que le nombre d'articles compris dans chaque zone soit approximativement le même, on constate que le nombre de sources varie considérablement. C'est ainsi que la première zone ou noyau contiendra un petit nombre de périodiques ayant contribué chacun à un grand nombre d'articles pendant la période de référence, alors que la dernière zone contiendra un très grand nombre de périodiques, dont chacun n'a publié qu'un article pertinent pendant la même période. Bien que le nombre d'articles publiés par les revues comprises dans chaque zone soit le même, le nombre des revues varie selon une progression géométrique de la forme :
1 : a : a2 : ... an
où 1 représente le nombre de périodiques formant le noyau et a est un multiplicateur (Bradford, 1948).
La dispersion des articles dans les périodiques est semblable à la distribution des mots dans un texte, telle qu'elle a été décrite par Zipf 31. Etudiant le rapport qui existe entre la fréquence des mots dans un texte en langage naturel et le rang de ces mots classés par fréquence, Zipf a observé au même moment où Bradford a découvert sa loi de la dispersion 32 qu'un petit nombre de mots (par exemple 20 % de l'ensemble des mots utilisés) enregistre des occurrences très élevées (par exemple, 90 % de l'ensemble des occurrences). Selon Zipf, c'est la loi du moindre effort qui explique cette distribution. C'est parce qu'on ne veut pas fournir d'effort qu'on affectionne certains mots auxquels on donne alors une multitude de significations (faire, en français ; get, en anglais, etc.) alors que d'autres mots, bien plus nombreux, ne sont guère utilisés 33.
Substituée au principe du moindre effort, la notion d'économie (d'argent, mais aussi d'effort) a amené les théoriciens de l'information à reprendre les observations de Zipf (avant celles de Bradford) concernant la langue et à les appliquer à la documentation.
Les courbes de Zipf et de Bradford se ressemblent ; il s'agit de deux expressions voisines d'une même loi, la loi des rendements décroissants. La distribution hyperbolique de Bradford-Zipf semble régir une grande variété de phénomènes documentaires dont la dispersion de la littérature, la concentration des citations, l'utilisation des ressources documentaires dans les bibliothèques, etc. Lotka, par exemple, a trouvé que le nombre d'auteurs ayant publié n articles dans un domaine donné était, en gros, égal à 1/n2 du nombre d'auteurs ayant publié un seul article (Lotka, 1926).
Cette distribution est également observée au sujet de la fréquence de l'utilisation par les indexeurs des descripteurs d'un langage documentaire (un petit nombre de descripteurs est très fréquemment utilisé, le reste des descripteurs étant réparti en zones correspondant à des fréquences d'utilisation de plus en plus faibles). Il en est de même de la productivité des éditeurs en matière de monographies scientifiques (peu d'éditeurs produisant beaucoup de monographies, etc.), des utilisateurs des bibliothèques universitaires (peu d'utilisateurs empruntent et consultent une grande proportion des ressources prêtées et consultées sur place), etc.
Brookes - adepte inconditionnel de la loi de Bradford - et d'autres après lui ont appliqué la distribution de Bradford-Zipf à la solution d'un certain nombre de problèmes documentaires pratiques, dont en particulier la définition du volume optimal d'une collection de bibliothèque, la définition du seuil à partir duquel il devient plus rentable de demander une publication en prêt interbibliothèque que de l'acheter, etc.
Etudes d'utilisation
Les études d'utilisation des ressources documentaires permettant d'établir le rapport coût-efficacité de la collection sont fort nombreuses. « Le but principal de ces études est d'identifier les documents d'une collection qui sont les plus demandés, et ceux qui le sont moins, afin que les éléments les plus utilisés puissent être matériellement classés aux endroits les plus accessibles, et que les moins utilisés soient conservés à l'écart, en des emplacements moins accessibles et moins coûteux » (cf. Lancaster, 1978, p. 29).
Il existe deux techniques d'étude d'utilisation des ressources documentaires : l'emploi d'un échantillon de la collection et l'emploi d'un échantillon de la circulation. Dans le premier cas - et l'emploi de cette technique n'est possible que si chaque document dispose d'un enregistrement du nombre de fois où il a été utilisé - on peut, à partir de l'échantillon de documents retenu, établir la répartition des demandes selon des paramètres tels que domaine, langue, âge des publications, etc. La deuxième technique consiste à étudier la circulation (prêt et si possible consultation sur place) pendant une période donnée en vue de déterminer les caractéristiques des documents les plus souvent demandés.
Jain utilise une méthode mixte - employant un échantillon de la collection et un échantillon de la circulation - appelée « méthode de l'usage relatif ». L'usage relatif (R) d'une portion de la collection (i) est égal à :
Ri = Hi + Ii × 100 / Si
Hi est le nombre de monographies appartenant au groupe i, empruntées pendant une période déterminée.
Ii est le nombre de monographies appartenant au groupe i, consultées sur place pendant la même période. Si est le nombre total de monographies appartenant au groupe i se trouvant dans l'échantillon (cf. Jain, 1969).
« Cette méthode consiste à rapprocher les proportions d'usage correspondant à divers segments de la collection (calculées à partir d'un échantillon de circulation) des proportions de l'ensemble de la collection que représentent respectivement ces segments. Il est ainsi techniquement possible de déceler les discordances inacceptables 34 entre la composition de la collection et la façon dont se répartit son usage. Par exemple, on peut découvrir que les livres de chimie composent 40 % du total de la collection et ne comptent que pour 15 % du volume d'usage, ou encore que les ouvrages en langue allemande représentent 20 % du volume de la collection, mais seulement 5 % de son usage » (cf. Lancaster, 1978, p. 29).
Trueswell développe une procédure de prévision de l'usage dont devra faire l'objet un volume - ou un ensemble de volumes -à partir de l'étude du prêt dont il a fait l'objet dans le passé 35. Pendant la période de l'étude, la fiche de prêt de chaque volume emprunté est examinée au moment du prêt et la dernière date de prêt est notée. Trueswell a trouvé que 90 % des volumes demandés ont été utilisés pendant les derniers 12 mois précédant l'étude et 97 % l'ont été pendant les derniers 36 mois. La technique de Trueswell permet de connaître la partie de la collection qui est capable de pouvoir satisfaire une proportion donnée des demandes futures. Dans les bibliothèques où Trueswell a appliqué cette méthode, il a trouvé que plus de 90 % des demandes peuvent être satisfaites par 25 à 40 % seulement des collections étudiées. A partir de ces observations, Trueswell énonce la règle des 80/20 selon laquelle 80 % de la circulation provient de 20 % seulement de la collection totale.
L'usage relatif très inégal des différents segments de la collection pose le problème de la répartition optimale de l'espace disponible. Cette répartition optimale suppose que les documents susceptibles d'être demandés soient classés aux endroits les plus accessibles et que ceux qui risquent de n'être jamais demandés ou d'être demandés très rarement soient éliminés ou relégués aux endroits les moins accessibles.
Fussler et Simon (Université de Chicago) ont trouvé que la prévision de l'usage peut être définie en fonction de l'âge et de la langue. Cette prévision est cependant plus fondée en sciences exactes qu'en sciences humaines. Pour les publications en série, ils ont trouvé que la meilleure façon d'éliminer les moins utilisées est de commencer par les volumes les plus vieux et de procéder progressivement à l'élimination des volumes suivants jusqu'à ce qu'un seuil minimal d'usage soit atteint (par exemple, un usage tous les cinq ans). Cette règle est beaucoup plus efficace que celle basée seulement sur l'âge et la langue.
N.C. Urquhart et J.A. Urquhart (Université de Newcastle) trouvent que la « relégation » des monographies est plus difficile et plus coûteuse que celle des périodiques. Mais ils ont calculé, sur la base d'extrapolations à partir d'échantillons, que si toutes les monographies qui n'étaient jamais empruntées pendant les 12 dernières années étaient « reléguées », cela n'aurait affecté la circulation que de 2 % et aurait permis de gagner 22 % de l'espace occupé par la collection en accès rapide. Les deux auteurs pensent qu'en ce qui concerne les monographies, seule la technique de « relégation » en bloc est envisageable, et ce, à partir des statistiques de prêt, arrangées le plus finement possible.
Plusieurs études ont établi que la demande des documents - ainsi d'ailleurs que leur citation dans la littérature - diminue avec l'âge. Le taux d'obsolescence ou de vieillissement de la littérature est exprimé en fonction de l'âge médian 36. L'âge médian - et donc le taux d'obsolescence - varie d'un domaine à l'autre. Il est d'autre part différent dans l'utilisation en bibliothèque de ce qu'il est dans les citations bibliographiques dans la littérature. En général, l'âge médian des citations est plus court que l'âge médian des documents demandés par les utilisateurs de bibliothèques.
Dans son étude de l'utilisation des documents à la MIT science library, Chen a trouvé que 52,3 % de l'utilisation totale des revues de physique porte sur celles d'entre elles qui ont moins de 6 ans, ce qui donne un âge médian de cinq ans et demi. Elle a trouvé, d'autre part, que seulement 49 revues sur 220 (soit 22,3 % de l'ensemble des revues de la collection analysée) répondent à 90 % des demandes des utilisateurs (cf. Chen, p. 258).
Bien que controversé - dans la manière de le calculer et de l'interpréter - le facteur d'obsolescence de la littérature, à travers les citations et l'utilisation des publications en bibliothèque, peut être utile pour une gestion dynamique et économique de la collection 37.
Plusieurs travaux ont montré que la sélection des revues basée sur les citations - ou la productivité - n'est pas adéquate. Ils n'ont trouvé, en effet, qu'une faible corrélation entre la fréquence des citations reçues par une revue et celle de son utilisation dans les bibliothèques étudiées.
Gohlert 38, par exemple, a trouvé que sur 50 revues fréquemment citées dans la littérature, 17 revues seulement enregistrent un taux correspondant d'utilisation dans la bibliothèque étudiée (corrélation de 34 % entre deux listes de 50 titres chacune).
Dans un article récent, une équipe de chercheurs du « National physical laboratory » de la Nouvelle-Delhi propose un modèle de sélection des revues qui intègre les trois facteurs suivants : fréquence des citations ; productivité des revues (à travers du dépouillement qui en est fait par les revues secondaires) ; et fréquence d'utilisation des revues en bibliothèque.
La conclusion à laquelle ces chercheurs aboutissent est que la bibliothèque doit s'abonner aux revues dans l'ordre suivant :
1. Les revues qui sont citées, productives et utilisées
2. Les revues qui sont productives, utilisées, mais peu citées
3. Les revues qui sont citées, utilisées, mais peu productives
4. Les revues qui sont utilisées, mais peu productives et peu citées
5. Les revues qui sont productives, citées, mais peu utilisées (cf. Dhawan et al.).
Line et Sandison considèrent que les études de citations et d'utilisation des revues dans les bibliothèques ne suffisent pas pour établir le rapport coût-efficacité de la collection. Ils estiment que la « densité d'utilisation » par article et surtout celle par unité monétaire constituent des mesures plus significatives du rapport coût-efficacité.
La meilleure façon de calculer le rapport coût-efficacité d'une revue est donc de diviser le coût de la revue (abonnement annuel, coût de traitement et de conservation) par le nombre de prêts et de consultations sur place dont elle est l'objet pendant une année.
Quelques études ont d'ailleurs montré que si la distribution de Bradford tenait compte - en plus de la productivité de chaque revue - de son prix d'abonnement, le rang des revues serait modifié (cf. Robertson et Hensman).
Chen, dans l'étude mentionnée plus haut, a établi une corrélation entre la fréquence d'utilisation et le prix des revues utilisées à la MIT science library. Elle a trouvé que les revues les plus chères sont celles qui sont les plus fréquemment utilisées.
Alors que 35,5 % des titres utilisés (49 sur 138 titres) répondent à 90 % des demandes des utilisateurs, il faut 51,5 % du prix d'abonnement en un seul exemplaire aux 138 titres utilisés pour satisfaire la même proportion de demandes.
Ce genre d'étude - en dépit de ses imperfections - peut aider le bibliothécaire à identifier les revues dont il faut acquérir des exemplaires supplémentaires, celles dont l'abonnement doit être interrompu, celles qui méritent d'être reliées, celles dont les numéros anciens doivent être retirés des rayons les plus accessibles, celles qui sont utilisées tellement peu qu'il en coûterait moins de les demander en prêt interbibliothèque que de les acheter, etc.
Quelques auteurs ont essayé de développer des formules qui intègrent les paramètres dont il faut tenir compte pour pouvoir sélectionner les revues et les éliminer en fonction de leur rapport coût-efficacité.
Kraft et al. proposent la formule suivante :
Rj = Cj/Wj
où R est le rapport coût-efficacité de la revue j, C est son coût et W, sa valeur ou son efficacité. Dans le coût, on inclut aussi bien le prix de l'abonnement que le coût de traitement et de conservation de la revue. Le paramètre le plus difficile à calculer est bien entendu la valeur de la revue. Ce paramètre est la somme de plusieurs variables : utilisation totale de la revue (traduite par une note chiffrée, allant de zéro : aucune utilisation, à dix : utilisation très fréquente) ; citations reçues par la revue ; pertinence de la revue ; et disponibilité de la revue dans d'autres bibliothèques.
Une fois le rapport coût-efficacité établi pour chaque titre, il ne reste plus qu'à classer les revues par ordre de mérite (du point de vue coût-efficacité) et à s'abonner, selon les limites budgétaires, à celles qui sont les mieux classées (cf. Kraft et al. ).
Ces techniques de calcul du rapport coût-efficacité sont trop complexes. Leur emploi nécessite la collecte de données qu'on ne peut obtenir - si l'on dispose des moyens adéquats - qu'au prix de recherches fort longues et fastidieuses.
Pour éviter quand même de ne se fier qu'à sa propre intuition, le bibliothécaire peut associer le corps enseignant à ses décisions d'achat ou d'élimination de documents. Une technique assez simple consiste à fournir toutes les données disponibles concernant le prix des publications, leur fréquence de citation et d'utilisation, etc. et à demander aux membres du corps enseignant de proposer -en connaissance de cause - de répartir les crédits disponibles de la façon la plus rentable. Les propositions recueillies peuvent aider le bibliothécaire à prendre des décisions qui vont dans le sens de l'optimisation du rapport coût-efficacité de la collection.
Remarques finales
Les techniques d'évaluation des ressources documentaires sont très nombreuses, très variées et de valeur inégale. Ces techniques ont été développées pour différents objectifs d'évaluation. Elles ont été utilisées parfois indépendamment les unes des autres et parfois en conjugaison les unes avec les autres. Aucune de ces techniques n'est « bonne » dans l'absolu, chacune d'entre elles est le produit d'un environnement particulier. L'évaluation d'une collection n'est pas un concept désincarné qu'on peut mettre invariablement en application n'importe où et n'importe quand.
Les techniques d'évaluation qu'on a évoquées seront peut-être sans aucune valeur si des bouleversements technologiques viennent à modifier les modes d'accès à la documentation.
Quelle importance que la collection d'une bibliothèque universitaire soit faible, si celle-ci peut avoir un accès immédiat 39 à toutes les publications demandées ? En dehors du programme d'accès universel aux publications de l'IFLA (International federation of library associations and institutions) et de l'UNESCO, dont l'objectif est de faciliter au maximum l'accès aux publications par les usagers, là où ils se trouvent et quand ils en ont besoin, deux technologies puissantes peuvent transformer de fond en comble les données du problème. Il s'agit des banques de données en texte intégral et de la télécopie 40.
